ggml-org выпустила llama.cpp v1.0.0 — первый релиз проекта с номером 1.0. В список изменений вошли обновления со времени выхода v0.9.0: поддержка новых аппаратных бэкендов, повышение производительности, исправления безопасности сервера и изменения чат-интерфейса.
В релизе появилась поддержка FP8 для кэша ключей и значений — он используется для хранения контекста беседы, — а сервер получил совместимый с OpenAI эндпоинт для генерации речи. На странице релиза говорится, что дополнительная информация появится в 15:00 CET, но подробностей о значении перехода к версии 1.0 там нет.
Почему это важно
Пользователи сервера llama.cpp смогут воспользоваться новым эндпоинтом для генерации речи, однако в примечаниях к релизу не указано, какие модели его поддерживают и как его настроить.
