llama.cpp 프로젝트가 b11709 릴리스에서 Aleph Alpha의 독일어·영어 추론 모델 Kolibri-1 지원을 추가했습니다. 이 모델은 매개변수 78 billion개를 갖췄으며, 토큰마다 3.46 billion개가 활성화되는 전문가 혼합(MoE) 구조를 사용합니다.
업데이트에서는 슬라이딩 윈도우 어텐션과 FP8 체크포인트 형식을 포함해 Kolibri-1의 모델 아키텍처를 변환하고 실행할 수 있도록 지원한다고 설명합니다. 다만 모델을 내려받는 방법이나 실행 가능한 기기는 안내하지 않습니다.
왜 중요한가
llama.cpp 사용자는 프로젝트를 통해 Kolibri-1을 다룰 수 있게 될 수 있지만, 릴리스 노트만으로는 모델 가중치를 어디서 구할 수 있는지, 어떤 하드웨어가 필요한지 알 수 없습니다.