Le projet ggml‑org/llama.cpp a publié la version b11768. Cette version corrige le serveur afin que les événements Server-Sent Events de l’API Responses incluent désormais le champ output_index, pour une meilleure compatibilité avec les clients de streaming. Elle réutilise également le code de streaming d’Anthropic et supprime des champs inutilisés liés aux appels d’outils. Des binaires précompilés pour macOS (Apple Silicon et Intel), iOS et plusieurs configurations Ubuntu sont disponibles au téléchargement.
Pourquoi c'est important
Les développeurs qui utilisent llama.cpp peuvent désormais identifier de manière fiable la partie de la réponse en streaming à laquelle appartient chaque segment, ce qui facilite l’intégration aux applications de chat.
