Exa afferma di aver migliorato il proprio sistema di generazione degli embedding per i documenti sui chip AWS Inferentia2 e Trainium2, utilizzati per preparare le pagine web alla ricerca semantica. Rispetto alla configurazione iniziale, l’azienda riferisce un miglioramento del 47% sia delle prestazioni sia del costo per milione di documenti.
Il lavoro ha incluso kernel personalizzati per i meccanismi di attenzione e le reti neurali, oltre a modifiche all’uso della memoria. Exa afferma di aver verificato i risultati confrontandoli con il proprio modello di riferimento e applicando una soglia di similarità coseno di 0,999; non ha segnalato modifiche al prodotto di ricerca né ai prezzi per i clienti.
Perché conta
Per Exa, ridurre il costo per milione di documenti può rendere meno oneroso mantenere un indice di miliardi di pagine; l’azienda non ha detto se i clienti noteranno cambiamenti nei prezzi o nel servizio.