Exa afirma que mejoró su sistema para generar embeddings de documentos con chips AWS Inferentia2 y Trainium2, que utiliza para preparar páginas web para la búsqueda semántica. La empresa informa de una mejora del 47% tanto en rendimiento como en costo por millón de documentos, en comparación con su configuración inicial.
El trabajo incluyó kernels personalizados de atención y redes neuronales, además de cambios en el uso de memoria. Exa afirma que validó los resultados frente a su modelo de referencia con un umbral de similitud coseno de 0.999; no informó de cambios en su producto de búsqueda ni en los precios para clientes.
Por qué importa
Para Exa, reducir el costo por millón de documentos puede abaratar el mantenimiento de un índice con miles de millones de páginas; la empresa no dijo si los clientes notarán cambios en los precios o el servicio.