Oossa

Exa riduce del 47% i costi degli embedding su chip AWS

Exa afferma che le modifiche al software e ai kernel hanno aumentato la velocità di elaborazione degli embedding su AWS Inferentia2 e Trainium2, riducendo del 47% il costo per milione di documenti.

BreveDi Pubblicato da Oossa: 1 min di lettura

Exa afferma di aver migliorato il proprio sistema di generazione degli embedding per i documenti sui chip AWS Inferentia2 e Trainium2, utilizzati per preparare le pagine web alla ricerca semantica. Rispetto alla configurazione iniziale, l’azienda riferisce un miglioramento del 47% sia delle prestazioni sia del costo per milione di documenti.

Il lavoro ha incluso kernel personalizzati per i meccanismi di attenzione e le reti neurali, oltre a modifiche all’uso della memoria. Exa afferma di aver verificato i risultati confrontandoli con il proprio modello di riferimento e applicando una soglia di similarità coseno di 0,999; non ha segnalato modifiche al prodotto di ricerca né ai prezzi per i clienti.

Perché conta

Per Exa, ridurre il costo per milione di documenti può rendere meno oneroso mantenere un indice di miliardi di pagine; l’azienda non ha detto se i clienti noteranno cambiamenti nei prezzi o nel servizio.

Questo articolo ti è stato utile?
Condividi

Leggi anche

Oossa · Newsletter

La settimana dell'IA, spiegata

Ogni lunedì: le notizie che contano, in parole semplici. Gratis, niente spam.