Exa indique avoir amélioré son système d’embeddings de documents sur les puces AWS Inferentia2 et Trainium2, qu’elle utilise pour préparer des pages web à la recherche sémantique. L’entreprise fait état d’une amélioration de 47 % des performances et d’une baisse de 47 % du coût par million de documents par rapport à sa configuration initiale.
Ses travaux ont notamment porté sur des kernels personnalisés pour les mécanismes d’attention et les réseaux de neurones, ainsi que sur la gestion de la mémoire. Exa affirme avoir vérifié les résultats par rapport à son modèle de référence, avec un seuil de similarité cosinus de 0,999 ; elle n’a signalé aucun changement concernant son produit de recherche ou ses tarifs clients.
Pourquoi c'est important
Pour Exa, réduire le coût des embeddings par million de documents peut rendre moins coûteux l’entretien d’un index de milliards de pages ; l’entreprise n’a pas indiqué si cela entraînerait un changement de prix ou de service pour ses clients.