Het project ggml-org/llama.cpp heeft versie b11768 uitgebracht. De server is aangepast: Server-Sent Events van de Responses API bevatten nu het veld output_index, waardoor ze beter compatibel zijn met streamingclients. De wijziging hergebruikt ook streamingcode van Anthropic en verwijdert ongebruikte velden voor toolaanroepen. Voor macOS (Apple Silicon en Intel), iOS en verschillende Ubuntu-configuraties zijn vooraf gebouwde binaries te downloaden.
Waarom het ertoe doet
Ontwikkelaars die llama.cpp gebruiken, kunnen nu betrouwbaar bijhouden bij welk deel van een gestreamd antwoord elk fragment hoort. Dat vereenvoudigt de integratie met chatapplicaties.
