ggml-org a publié llama.cpp v1.0.0, la première version 1.0 du projet. Le journal des modifications récapitule les évolutions depuis la v0.9.0 : prise en charge de nouveaux accélérateurs matériels et améliorations des performances, mais aussi correctifs de sécurité du serveur et mises à jour de l’interface de discussion.
Cette version ajoute la prise en charge du format FP8 pour le cache clé-valeur, une option de stockage du contexte des conversations, ainsi qu’un point de terminaison de génération vocale compatible avec OpenAI sur le serveur. La page de publication indique que davantage d’informations seront disponibles à 15 h CET, sans toutefois expliquer plus en détail ce que représente le passage à la version 1.0.
Pourquoi c'est important
Les personnes qui utilisent le serveur de llama.cpp peuvent désormais profiter de son nouveau point de terminaison de génération vocale, même si les notes de version ne précisent ni les modèles compatibles ni la marche à suivre pour le configurer.
