문샷 AI가 키미 K3.1 프로의 가중치를 공개했다. 개발자는 가중치를 내려받아 자체 인프라에서 모델을 실행하고 수정할 수 있다. 문샷 AI는 지난달 모델을 발표할 때 예고한 일정에 따라 4일(현지시간) Hugging Face에 파일을 올렸다. 가중치는 약 1.56테라바이트(TB)로, 96개 파일에 나뉘어 있다. 모델 설정과 입력을 처리하는 데 필요한 코드도 함께 제공한다.
키미 K3.1 프로는 전체 매개변수가 2조8000억개인 전문가 혼합(MoE) 모델이다. 이 방식은 모델의 일부만 골라 계산에 쓰며, 이 모델은 추론 때 1040억개 매개변수를 활성화한다. 텍스트와 이미지를 처리하고, 입력 문맥은 최대 약 100만 토큰까지 지원한다. 다만 문샷 AI는 모델 카드에서 긴 문맥을 다루는 기술을 설명했지만, 실제 작업에서의 처리 속도나 비용을 보여주는 수치는 공개하지 않았다.
어떤 구조를 적용했나
이번에 공개된 모델 카드에 따르면 내부 구조는 KDA와 DeepSeek 희소 어텐션(DSA)을 결합했다. 어텐션은 모델이 입력의 어느 부분을 참고할지 계산하는 방식이다. 전체 93개 계층 가운데 69개는 KDA, 24개는 게이트형 DSA로 구성됐다. 앞선 Kimi K3에서 전체 어텐션을 수행하던 게이트형 MLA 계층을 DSA로 바꾼 것이다. 문샷 AI는 DSA가 입력 토큰 중 참고할 대상을 추려 긴 문맥 처리의 연산 효율을 높인다고 설명했다.
가중치는 MXFP4 형식으로 배포하고, 실행 중 만들어지는 중간 계산값에는 MXFP8을 쓴다. 학습 단계부터 저정밀도 연산을 고려하는 양자화 인식 학습(QAT)도 적용했다. 자체 서버에서 모델을 돌릴 개발자에게는 vLLM, SGLang, TokenSpeed를 권장한다. 이는 모델을 내려받아 직접 운영할 때 쓸 수 있는 추론 엔진이다. 개발자는 문샷 AI의 API를 이용하는 방법도 선택할 수 있다.
상업적 이용에는 조건이 있다
가중치는 자체 라이선스에 따라 사용·수정·미세조정·재배포와 상업적 활용이 허용된다. 하지만 모델 서비스 사업자와 계열사의 합산 매출이 연속된 12개월 동안 2000만달러를 넘으면 상업적으로 쓰기 전에 별도 계약을 맺어야 한다. 모델을 활용한 상용 제품이나 서비스의 월간 활성 사용자가 1억명을 넘거나 월매출이 2000만달러를 초과할 때는 화면에 모델명을 표시해야 한다. 내부 이용과 문샷 AI 공식 제품, 인증 추론 파트너를 통한 이용에는 이 계약 및 표시 조건이 적용되지 않는다.
키미 K3.1 프로는 코딩, 3D 제작, 금융 연구 등 에이전트 작업을 겨냥한다. 문샷 AI는 앞선 출시 발표에서 가중치 공개에 따른 악용 위험을 줄이기 위해 중간 학습 데이터와 강화학습 과제에서 사이버 보안 관련 내용을 선별해 제거했다고 밝혔다. 회사는 일반적인 코딩 작업은 유지하면서 취약점 악용 능력을 낮추려는 조치라고 설명했다. 실제로 어느 정도 위험을 줄였는지에 관한 평가 결과는 이번 공개 내용에 담기지 않았다.
왜 중요한가
자체 인프라를 운영하는 개발자는 모델 가중치를 받아 키미 K3.1 프로를 직접 수정하거나 미세조정할 수 있다. 다만 1.56TB의 파일을 다뤄야 하고, 상업적 이용은 사업자 매출과 서비스 규모에 따라 조건이 달라진다. 실제 운영에 필요한 하드웨어와 성능은 공개 내용만으로 확인되지 않는다.
