Oossa

llama.cpp b11768 añade un índice de salida a la API de streaming

El entorno de ejecución de LLM de código abierto actualiza su servidor para incluir output_index en los eventos SSE y ofrece nuevas versiones binarias para macOS, Linux e iOS.

BrevePor Publicado por Oossa: 1 min de lectura

El proyecto ggml‑org/llama.cpp publicó la versión b11768. La actualización corrige el servidor para que los eventos Server-Sent Events de la Responses API incluyan el campo output_index, lo que mejora la compatibilidad con los clientes de streaming. El cambio también reutiliza el código de streaming de Anthropic y elimina campos de llamadas a herramientas que ya no se usan. Se pueden descargar binarios precompilados para macOS (Apple Silicon e Intel), iOS y varias configuraciones de Ubuntu.

Por qué importa

Los desarrolladores que usan llama.cpp ahora pueden identificar de forma fiable a qué parte de una respuesta en streaming corresponde cada fragmento, lo que simplifica la integración con aplicaciones de chat.

¿Te resultó útil este artículo?
Compartir

Sigue leyendo

Oossa · Boletín

La semana en IA, explicada

Cada lunes: las noticias que vale la pena conocer, en lenguaje sencillo. Gratis, sin spam.