Projektet ggml-org/llama.cpp har släppt version b11768. Uppdateringen åtgärdar servern så att Server-Sent Events i Responses API nu innehåller fältet output_index, vilket förbättrar kompatibiliteten med klienter för strömmande svar. Ändringen återanvänder också Anthropic-kod för strömning och rensar bort oanvända fält för verktygsanrop. Färdigbyggda binärfiler för macOS (Apple Silicon och Intel), iOS och flera Ubuntu-konfigurationer finns att ladda ner.
Varför det spelar roll
Utvecklare som använder llama.cpp kan nu på ett tillförlitligt sätt se vilken del av ett strömmande svar varje segment hör till, vilket förenklar integrationen med chattappar.
