Oossa

Wiederverwendete Blöcke sollen Spracherkennungsmodelle verkleinern

Forschende schlagen vor, Gewichte über wiederholte Blöcke hinweg gemeinsam zu nutzen. So soll ein ASR-Modell kleiner werden, ohne viel Genauigkeit gegenüber größeren Modellen einzubüßen.

KurzmeldungVon Von Oossa veröffentlicht: 1 Min. Lesezeit

Ein Team schlägt in einem auf arXiv veröffentlichten Beitrag ein Spracherkennungsmodell vor, das einen kleinen Satz von Blöcken wiederverwendet, statt jeder Schicht eigene Parameter zu geben. Den Forschenden zufolge benötigt dieser Ansatz in Kombination mit Trainingsmethoden, die Wissen aus größeren Modellen übertragen, etwa ein Zehntel so viele Parameter und behält dabei die Genauigkeit bei.

Bei Benchmarks der Open ASR Leaderboard erreichte ihr Modell mit zwei gemeinsam genutzten Blöcken laut Abstract 97,4 % der durchschnittlichen Genauigkeit großer Modelle. Das Team beschreibt außerdem eine Methode, um das kompakte Modell an einzelne Nutzer anzupassen. Das Abstract enthält jedoch keine Messwerte für Geräte und belegt nicht, wie gut das Modell im Alltag funktioniert.

Warum es wichtig ist

Für Entwickler von Spracherkennung auf Uhren und Brillen könnten weniger Modellparameter die knappen Speicherressourcen entlasten. Ob das Design auf realen Geräten tatsächlich Geschwindigkeits- oder Energieeinsparungen bringt, ist jedoch noch offen.

War dieser Artikel hilfreich?
Teilen

Als Nächstes lesen

Oossa · Newsletter

Die KI-Woche, erklärt

Jeden Montag: die Nachrichten, die man kennen sollte – verständlich. Kostenlos, kein Spam.