ggml-org har släppt llama.cpp v1.0.0, projektets första 1.0-version. Ändringsloggen omfattar arbetet sedan v0.9.0, bland annat stöd för nya hårdvarubakdelar och prestandaförändringar samt säkerhetsfixar för servern och uppdateringar av chattgränssnittet.
I versionen tillkommer FP8-stöd för nyckel-värdecachen, ett alternativ för att lagra konversationskontext, liksom en OpenAI-kompatibel slutpunkt för talgenerering i servern. På releasesidan står det att mer information skulle finnas tillgänglig kl. 15.00 CET, men där förklaras inte närmare vad milstolpen 1.0 innebär.
Varför det spelar roll
Den som kör llama.cpp-servern kan använda den nya slutpunkten för talgenerering, men versionsinformationen anger inte vilka modeller som stöder den eller hur den konfigureras.
