Oossa

llama.cpp, 단일 토큰 스위치 옵션 최대 256개 지원

오픈소스 llama.cpp 라이브러리가 Granite 스위치 모델에서 서로 다른 옵션 표식을 최대 256개까지 매핑할 수 있게 됐다.

짧은 소식작성: Oossa 게시일: 1 분 읽기

llama.cpp 프로젝트가 GraniteSwitchDecisionFullOptions 기능을 추가한 새 버전(b11707)을 공개했다. 이 기능을 사용하면 각 스위치 모델에서 기존 66개 대신 고유한 단일 토큰 표식을 최대 256개까지 사용할 수 있다. 코드는 모델별 어휘에서 어떤 문자가 단일 토큰 항목을 이루는지 자동으로 찾아낸다. 이번 변경은 C++ 변환 계층에 적용됐으며 릴리스 노트에도 안내돼 있다.

왜 중요한가

개발자는 토큰 목록을 직접 만들지 않고도 Granite 모델용으로 더 풍부한 의사결정 프롬프트를 구성할 수 있다.

이 기사가 도움이 되었나요?
공유

다음 읽을거리

Oossa · 뉴스레터

이번 주 AI, 쉽게 정리

매주 월요일, 알아둘 만한 소식을 쉬운 말로. 무료, 스팸 없음.