ggml-org 팀이 서버 변경 사항을 담은 llama.cpp b12419를 출시했습니다. 이제 서버는 빈 중단 문자열을 무시합니다. 중단 문자열은 모델이 응답을 끝낼 시점을 알려주는 텍스트 시퀀스입니다.
출시 페이지에는 macOS, iOS, Linux용 빌드가 올라와 있으며, 일부 Linux 시스템에서는 CPU 및 Vulkan 버전도 제공됩니다.
왜 중요한가
llama.cpp 서버를 사용하는 사람은 빈 중단 문자열을 입력해도 서버가 이를 중단 시퀀스로 처리하지 않게 할 수 있습니다. 출시 노트에는 그 밖의 동작 변경 사항은 설명돼 있지 않습니다.