Oossa

llama.cpp b11768, 스트리밍 API에 출력 인덱스 추가

오픈소스 LLM 런타임의 서버가 SSE 이벤트에 output_index를 포함하도록 업데이트됐으며, macOS·Linux·iOS용 새 바이너리 빌드도 제공된다.

짧은 소식작성: Oossa 게시일: 1 분 읽기

ggml-org/llama.cpp 프로젝트가 b11768 버전을 출시했다. 이번 버전에서는 Responses API의 서버 전송 이벤트(SSE)에 output_index 필드가 포함되도록 서버를 수정해 스트리밍 클라이언트와의 호환성을 높였다. Anthropic 스트리밍 코드를 재사용하고 사용하지 않는 도구 호출 필드도 정리했다. macOS(Apple Silicon 및 Intel), iOS와 여러 Ubuntu 구성용 사전 빌드 바이너리를 다운로드할 수 있다.

왜 중요한가

llama.cpp를 사용하는 개발자는 스트리밍 응답의 각 청크가 어느 부분에 해당하는지 더 안정적으로 파악할 수 있어 채팅 앱과의 연동이 쉬워진다.

이 기사가 도움이 되었나요?
공유

다음 읽을거리

Oossa · 뉴스레터

이번 주 AI, 쉽게 정리

매주 월요일, 알아둘 만한 소식을 쉬운 말로. 무료, 스팸 없음.