ggml-org ha pubblicato llama.cpp v1.0.0, la prima versione 1.0 del progetto. Il changelog raccoglie le modifiche dalla v0.9.0, tra cui il supporto per nuovi backend hardware e miglioramenti delle prestazioni, oltre a correzioni di sicurezza per il server e aggiornamenti all’interfaccia chat.
La versione introduce il supporto a FP8 per la cache key-value, usata per memorizzare il contesto della conversazione, e aggiunge al server un endpoint per la generazione vocale compatibile con OpenAI. La pagina della versione indica che ulteriori informazioni sarebbero state disponibili alle 15:00 CET, ma non spiega più nel dettaglio cosa comporti il traguardo della versione 1.0.
Perché conta
Chi usa il server di llama.cpp può sfruttare il nuovo endpoint per la generazione vocale, anche se le note di rilascio non specificano quali modelli lo supportino né come configurarlo.
