Oossa

llama.cpp, Aleph Alpha의 Kolibri-1 지원 추가

b11709 릴리스에서 780억 개의 매개변수를 가진 독일어·영어 추론 모델을 지원합니다. 업데이트에는 모델 가중치를 어디서 구할 수 있는지에 대한 안내가 없습니다.

짧은 소식작성: Oossa 게시일: 1 분 읽기

llama.cpp 프로젝트가 b11709 릴리스에서 Aleph Alpha의 독일어·영어 추론 모델 Kolibri-1 지원을 추가했습니다. 이 모델은 매개변수 78 billion개를 갖췄으며, 토큰마다 3.46 billion개가 활성화되는 전문가 혼합(MoE) 구조를 사용합니다.

업데이트에서는 슬라이딩 윈도우 어텐션과 FP8 체크포인트 형식을 포함해 Kolibri-1의 모델 아키텍처를 변환하고 실행할 수 있도록 지원한다고 설명합니다. 다만 모델을 내려받는 방법이나 실행 가능한 기기는 안내하지 않습니다.

왜 중요한가

llama.cpp 사용자는 프로젝트를 통해 Kolibri-1을 다룰 수 있게 될 수 있지만, 릴리스 노트만으로는 모델 가중치를 어디서 구할 수 있는지, 어떤 하드웨어가 필요한지 알 수 없습니다.

이 기사가 도움이 되었나요?
공유

다음 읽을거리

Oossa · 뉴스레터

이번 주 AI, 쉽게 정리

매주 월요일, 알아둘 만한 소식을 쉬운 말로. 무료, 스팸 없음.