A ggml-org lançou o llama.cpp v1.0.0, a primeira versão 1.0 do projeto. O changelog reúne as mudanças desde a v0.9.0, incluindo suporte a novos back-ends de hardware e melhorias de desempenho, além de correções de segurança no servidor e atualizações na interface de chat.
A versão adiciona suporte a FP8 para o cache de chave-valor, um recurso usado para armazenar o contexto da conversa, e inclui no servidor um endpoint de geração de fala compatível com a OpenAI. A página da versão diz que mais informações estariam disponíveis às 3 p.m. CET, mas não explica em mais detalhes o que significa o marco da versão 1.0.
Por que importa
Quem usa o servidor do llama.cpp pode recorrer ao novo endpoint de geração de fala, embora as notas da versão não especifiquem quais modelos são compatíveis nem como configurá-lo.
