В релизе b11850 проект llama.cpp добавил поддержку моделей для генерации речи Soprano-80M и Soprano-1.1-80M. В основе этих моделей лежит Qwen3, а для декодирования аудио используется Vocos. Теперь llama.cpp поддерживает их в своём мультимодальном коде.
Согласно примечаниям к релизу, декодер обрабатывает высказывание целиком. Поэтому в потоковом режиме llama.cpp отправляет аудио одним фрагментом после завершения обработки конвейером, а не передаёт его по частям. В примечаниях описана поддержка программного обеспечения, но не указаны условия доступа к моделям и их производительность.
Почему это важно
Разработчики, использующие llama.cpp, могут добавить эти речевые модели Soprano в свои проекты. Но приложениям, которым нужно получать аудио небольшими потоковыми фрагментами, может потребоваться другой подход. В примечаниях к релизу не указана скорость генерации.
