Exa hat nach eigenen Angaben sein System zum Embedding von Dokumenten auf AWS Inferentia2 und Trainium2 verbessert. Damit bereitet das Unternehmen Webseiten für die semantische Suche auf. Im Vergleich zur ursprünglichen Konfiguration meldet Exa eine Steigerung der Leistung um 47 % und eine Senkung der Kosten pro Million Dokumente um 47 %.
Zu den Änderungen gehörten eigens entwickelte Attention- und Neural-Network-Kernels sowie Anpassungen bei der Speichernutzung. Exa zufolge wurden die Ergebnisse anhand eines Schwellenwerts von 0,999 für die Kosinusähnlichkeit mit dem Referenzmodell abgeglichen. Eine Änderung am Suchprodukt oder an den Preisen für Kunden meldete das Unternehmen nicht.
Warum es wichtig ist
Niedrigere Embedding-Kosten pro Million Dokumente können es Exa erleichtern, einen Index mit Milliarden von Webseiten zu pflegen. Das Unternehmen machte keine Angaben dazu, ob sich Preise oder Leistungen für Kunden ändern.