llama.cpp 프로젝트가 GraniteSwitchDecisionFullOptions 기능을 추가한 새 버전(b11707)을 공개했다. 이 기능을 사용하면 각 스위치 모델에서 기존 66개 대신 고유한 단일 토큰 표식을 최대 256개까지 사용할 수 있다. 코드는 모델별 어휘에서 어떤 문자가 단일 토큰 항목을 이루는지 자동으로 찾아낸다. 이번 변경은 C++ 변환 계층에 적용됐으며 릴리스 노트에도 안내돼 있다.
왜 중요한가
개발자는 토큰 목록을 직접 만들지 않고도 Granite 모델용으로 더 풍부한 의사결정 프롬프트를 구성할 수 있다.