Das Projekt ggml-org/llama.cpp hat Version b11768 veröffentlicht. Darin wird der Server so angepasst, dass Server-Sent Events der Responses API jetzt ein Feld namens output_index enthalten. Das verbessert die Kompatibilität mit Streaming-Clients. Außerdem verwendet die Version erneut den Streaming-Code von Anthropic und räumt nicht mehr genutzte Felder für Tool-Aufrufe auf. Vorab kompilierte Binärversionen für macOS (Apple Silicon und Intel), iOS sowie verschiedene Ubuntu-Konfigurationen stehen zum Download bereit.
Warum es wichtig ist
Entwickler, die llama.cpp nutzen, können jetzt zuverlässig nachvollziehen, zu welchem Teil einer gestreamten Antwort jeder Abschnitt gehört. Das vereinfacht die Integration in Chat-Anwendungen.
