ggml-org가 언어 모델 실행 소프트웨어의 새 버전인 llama.cpp b12029를 출시했다. 릴리스 노트에 기재된 변경 사항은 하나로, 멀티모달 입력 처리에 쓰이는 특수 토큰인 InternVL의 CLS 토큰 순서를 수정했다. macOS, iOS와 CPU 및 Vulkan 빌드를 포함한 여러 Linux 구성용 다운로드가 제공된다. 릴리스 노트에는 이번 수정이 어떤 사용자나 작업에 영향을 미치는지는 설명돼 있지 않다.
왜 중요한가
llama.cpp에서 InternVL을 실행하는 사용자는 토큰 순서 수정의 혜택을 볼 수 있지만, 릴리스 노트에는 실제 효과나 적용 범위가 명시돼 있지 않다.