Oossa

Exa reduz em 47% o custo de embeddings na AWS

A Exa afirma que mudanças no software e nos kernels aumentaram a capacidade de processamento do AWS Inferentia2 e Trainium2, reduzindo em 47% o custo por milhão de documentos.

NotaPor Publicado pelo Oossa: 1 min de leitura

A Exa afirma que aprimorou seu sistema de embeddings de documentos nos chips AWS Inferentia2 e Trainium2, usados para preparar páginas da web para buscas semânticas. Segundo a empresa, o desempenho melhorou 47%, e o custo por milhão de documentos caiu na mesma proporção em comparação com a configuração inicial.

O trabalho incluiu kernels personalizados de atenção e de redes neurais, além de mudanças no uso da memória. A Exa diz que validou os resultados em relação ao modelo de referência com um limite de similaridade de cosseno de 0.999; a empresa não informou mudanças em seu produto de busca nem nos preços cobrados dos clientes.

Por que importa

Para a Exa, reduzir o custo por milhão de documentos pode baratear a manutenção de um índice com bilhões de páginas. A empresa não informou se haverá mudanças nos preços ou nos serviços para os clientes.

Este artigo foi útil?
Compartilhar

Leia a seguir

Oossa · Newsletter

A semana em IA, explicada

Toda segunda-feira: as notícias que valem a pena, em linguagem simples. Grátis, sem spam.