Проект ggml‑org/llama.cpp выпустил версию b11780 21 октября 2026 года. В ней появился API для транскрибации в реальном времени через веб-сокеты. API проверяет ключ доступа во время рукопожатия веб-сокета и возвращает код 401, если ключ отсутствует или указан неверно. Потоковую передачу аудио теперь запускают, как только слот сервера становится активным: это предотвращает взаимные блокировки, из-за которых сессия раньше не завершалась. Реализация соответствует схеме Realtime в стиле Google Assistant, поэтому клиенты должны передавать аудио с исходной частотой дискретизации модели.
Почему это важно
Разработчики теперь могут добавлять в приложения преобразование речи в текст в реальном времени с помощью llama.cpp, не создавая собственную серверную инфраструктуру.
