ggml-org가 프로젝트 첫 1.0 버전인 llama.cpp v1.0.0을 공개했다. 변경 내역에는 v0.9.0 이후 적용된 새 하드웨어 백엔드 지원과 성능 개선, 서버 보안 수정, 채팅 인터페이스 업데이트가 담겼다.
이번 릴리스에서는 대화 맥락을 저장하는 데 쓰이는 옵션인 키-값 캐시에 FP8 지원이 추가됐으며, 서버에는 OpenAI 호환 음성 생성 엔드포인트가 도입됐다. 릴리스 페이지는 자세한 내용이 CET 오후 3시에 공개될 예정이라고 밝혔지만, 1.0 버전의 의미를 구체적으로 설명하지는 않았다.
왜 중요한가
llama.cpp 서버를 운영하는 사람은 새 음성 생성 엔드포인트를 사용할 수 있다. 다만 릴리스 노트에는 이 기능을 지원하는 모델이나 설정 방법이 나와 있지 않다.
