A Exa afirma que aprimorou seu sistema de embeddings de documentos nos chips AWS Inferentia2 e Trainium2, usados para preparar páginas da web para buscas semânticas. Segundo a empresa, o desempenho melhorou 47%, e o custo por milhão de documentos caiu na mesma proporção em comparação com a configuração inicial.
O trabalho incluiu kernels personalizados de atenção e de redes neurais, além de mudanças no uso da memória. A Exa diz que validou os resultados em relação ao modelo de referência com um limite de similaridade de cosseno de 0.999; a empresa não informou mudanças em seu produto de busca nem nos preços cobrados dos clientes.
Por que importa
Para a Exa, reduzir o custo por milhão de documentos pode baratear a manutenção de um índice com bilhões de páginas. A empresa não informou se haverá mudanças nos preços ou nos serviços para os clientes.