Exa zegt zijn systeem voor document-embeddings op AWS Inferentia2- en Trainium2-chips te hebben verbeterd. Het gebruikt die chips om webpagina’s klaar te maken voor semantisch zoeken. Volgens het bedrijf zijn zowel de prestaties als de kosten per miljoen documenten met 47% verbeterd ten opzichte van de oorspronkelijke opzet.
De werkzaamheden omvatten aangepaste kernels voor attention en neurale netwerken, plus aanpassingen aan het geheugengebruik. Exa zegt de resultaten te hebben vergeleken met zijn referentiemodel en daarbij een drempel van 0.999 voor cosinussimilariteit te hebben gehanteerd. Het bedrijf meldde geen wijzigingen aan zijn zoekproduct of klanttarieven.
Waarom het ertoe doet
Lagere kosten per miljoen documenten kunnen het voor Exa goedkoper maken om een index met miljarden pagina’s bij te houden. Het bedrijf heeft niet gezegd of klanten veranderingen zullen merken in prijs of dienstverlening.