Oossa

Exa reduce un 47% el costo de generar embeddings en AWS

Exa afirma que los cambios en el software y los kernels aumentaron el rendimiento de los embeddings en AWS Inferentia2 y Trainium2, y redujeron un 47% el costo por millón de documentos.

BrevePor Publicado por Oossa: 1 min de lectura

Exa afirma que mejoró su sistema para generar embeddings de documentos con chips AWS Inferentia2 y Trainium2, que utiliza para preparar páginas web para la búsqueda semántica. La empresa informa de una mejora del 47% tanto en rendimiento como en costo por millón de documentos, en comparación con su configuración inicial.

El trabajo incluyó kernels personalizados de atención y redes neuronales, además de cambios en el uso de memoria. Exa afirma que validó los resultados frente a su modelo de referencia con un umbral de similitud coseno de 0.999; no informó de cambios en su producto de búsqueda ni en los precios para clientes.

Por qué importa

Para Exa, reducir el costo por millón de documentos puede abaratar el mantenimiento de un índice con miles de millones de páginas; la empresa no dijo si los clientes notarán cambios en los precios o el servicio.

¿Te resultó útil este artículo?
Compartir

Sigue leyendo

Oossa · Boletín

La semana en IA, explicada

Cada lunes: las noticias que vale la pena conocer, en lenguaje sencillo. Gratis, sin spam.