Das Projekt ggml‑org/llama.cpp hat am 21. Okt. 2026 Version b11780 veröffentlicht. Neu ist eine Echtzeit-Transkriptions-API, die über WebSockets läuft. Beim WebSocket-Handshake prüft die API den API-Schlüssel und antwortet mit 401, wenn er fehlt oder ungültig ist. Audiostreams starten nun, sobald der Server-Slot bereit ist. So werden Deadlocks verhindert, die zuvor die Sitzung offen hielten. Die Implementierung folgt dem Realtime-Schema im Stil von Google Assistant. Clients müssen Audio daher mit der nativen Abtastrate des Modells senden.
Warum es wichtig ist
Entwickler können ihren Apps jetzt Live-Spracherkennung mit llama.cpp hinzufügen, ohne eine eigene Serverinfrastruktur aufbauen zu müssen.
