ggml-org hat llama.cpp v1.0.0 veröffentlicht – die erste Version 1.0 des Projekts. Das Changelog umfasst Änderungen seit v0.9.0, darunter Unterstützung für neue Hardware-Backends und Leistungsverbesserungen sowie Sicherheitskorrekturen für den Server und Aktualisierungen der Chat-Oberfläche.
Die Version bietet FP8-Unterstützung für den Key-Value-Cache, der zum Speichern des Gesprächskontexts dient, und ergänzt den Server um einen OpenAI-kompatiblen Endpunkt zur Spracherzeugung. Auf der Release-Seite heißt es, weitere Informationen würden um 15 Uhr CET veröffentlicht. Eine ausführlichere Erklärung zur Bedeutung des Meilensteins 1.0 gibt es dort jedoch nicht.
Warum es wichtig ist
Wer den Server von llama.cpp betreibt, kann den neuen Endpunkt zur Spracherzeugung nutzen. In den Versionshinweisen steht allerdings nicht, welche Modelle ihn unterstützen oder wie er eingerichtet wird.
