Oossa

Exa réduit de 47 % le coût des embeddings sur les puces AWS

Exa affirme que des changements logiciels et apportés aux kernels ont accru le débit des embeddings sur AWS Inferentia2 et Trainium2, réduisant de 47 % le coût par million de documents.

BrèvePar Publié par Oossa: 1 min de lecture

Exa indique avoir amélioré son système d’embeddings de documents sur les puces AWS Inferentia2 et Trainium2, qu’elle utilise pour préparer des pages web à la recherche sémantique. L’entreprise fait état d’une amélioration de 47 % des performances et d’une baisse de 47 % du coût par million de documents par rapport à sa configuration initiale.

Ses travaux ont notamment porté sur des kernels personnalisés pour les mécanismes d’attention et les réseaux de neurones, ainsi que sur la gestion de la mémoire. Exa affirme avoir vérifié les résultats par rapport à son modèle de référence, avec un seuil de similarité cosinus de 0,999 ; elle n’a signalé aucun changement concernant son produit de recherche ou ses tarifs clients.

Pourquoi c'est important

Pour Exa, réduire le coût des embeddings par million de documents peut rendre moins coûteux l’entretien d’un index de milliards de pages ; l’entreprise n’a pas indiqué si cela entraînerait un changement de prix ou de service pour ses clients.

Cet article vous a-t-il été utile ?
Partager

À lire ensuite

Oossa · Newsletter

La semaine de l'IA, expliquée

Chaque lundi : l'essentiel de l'actualité, en langage clair. Gratuit, sans spam.