ggml-org heeft llama.cpp v1.0.0 uitgebracht, de eerste 1.0-release van het project. Het wijzigingsoverzicht behandelt het werk sinds v0.9.0, waaronder ondersteuning voor nieuwe hardwareback-ends en prestatieverbeteringen, maar ook beveiligingsupdates voor de server en aanpassingen aan de chatinterface.
De release voegt FP8-ondersteuning toe voor de key-valuecache, een optie om gesprekscontext op te slaan, en een OpenAI-compatibel eindpunt voor spraakgeneratie aan de server. Op de releasepagina staat dat er om 3 p.m. CET meer informatie beschikbaar zou komen, maar er wordt niet uitgebreider toegelicht wat de mijlpaal van versie 1.0 inhoudt.
Waarom het ertoe doet
Wie de server van llama.cpp gebruikt, kan het nieuwe eindpunt voor spraakgeneratie benutten. De releaseopmerkingen vermelden echter niet welke modellen dit ondersteunen of hoe je het instelt.
