ggml-org/llama.cpp 프로젝트가 b11768 버전을 출시했다. 이번 버전에서는 Responses API의 서버 전송 이벤트(SSE)에 output_index 필드가 포함되도록 서버를 수정해 스트리밍 클라이언트와의 호환성을 높였다. Anthropic 스트리밍 코드를 재사용하고 사용하지 않는 도구 호출 필드도 정리했다. macOS(Apple Silicon 및 Intel), iOS와 여러 Ubuntu 구성용 사전 빌드 바이너리를 다운로드할 수 있다.
왜 중요한가
llama.cpp를 사용하는 개발자는 스트리밍 응답의 각 청크가 어느 부분에 해당하는지 더 안정적으로 파악할 수 있어 채팅 앱과의 연동이 쉬워진다.