Projektet ggml‑org/llama.cpp släppte version b11780 den 21 okt 2026. Den introducerar ett API för transkribering i realtid via WebSocket. API:et kontrollerar API-nyckeln under WebSocket-handskakningen och svarar med 401 om nyckeln saknas eller är felaktig. Ljudströmningen startar nu så snart en serverplats är aktiv, vilket förhindrar dödlägen som tidigare höll sessionen öppen. Lösningen följer Realtime-schemat i Google Assistant-stil, så klienter måste skicka ljud med modellens ursprungliga samplingsfrekvens.
Varför det spelar roll
Utvecklare kan nu lägga till tal-till-text i realtid i appar med llama.cpp utan att behöva bygga en egen serverinfrastruktur.
