Oossa

Exa senkt Dokument-Embedding-Kosten auf AWS-Chips um 47 %

Laut Exa steigerten Software- und Kernel-Anpassungen den Durchsatz beim Embedding auf AWS Inferentia2 und Trainium2. Die Kosten pro Million Dokumente sanken dadurch um 47 %.

KurzmeldungVon Von Oossa veröffentlicht: 1 Min. Lesezeit

Exa hat nach eigenen Angaben sein System zum Embedding von Dokumenten auf AWS Inferentia2 und Trainium2 verbessert. Damit bereitet das Unternehmen Webseiten für die semantische Suche auf. Im Vergleich zur ursprünglichen Konfiguration meldet Exa eine Steigerung der Leistung um 47 % und eine Senkung der Kosten pro Million Dokumente um 47 %.

Zu den Änderungen gehörten eigens entwickelte Attention- und Neural-Network-Kernels sowie Anpassungen bei der Speichernutzung. Exa zufolge wurden die Ergebnisse anhand eines Schwellenwerts von 0,999 für die Kosinusähnlichkeit mit dem Referenzmodell abgeglichen. Eine Änderung am Suchprodukt oder an den Preisen für Kunden meldete das Unternehmen nicht.

Warum es wichtig ist

Niedrigere Embedding-Kosten pro Million Dokumente können es Exa erleichtern, einen Index mit Milliarden von Webseiten zu pflegen. Das Unternehmen machte keine Angaben dazu, ob sich Preise oder Leistungen für Kunden ändern.

War dieser Artikel hilfreich?
Teilen

Als Nächstes lesen

Oossa · Newsletter

Die KI-Woche, erklärt

Jeden Montag: die Nachrichten, die man kennen sollte – verständlich. Kostenlos, kein Spam.