Paradigma는 2026년 11월 18일 수학적 추론에 특화한 새 언어 모델 Limite 1B – Violetto를 공개한다고 발표했다. 매개변수 10억 개를 갖춘 이 모델은 수학 중심으로 엄선한 말뭉치에서 가져온 2370억 토큰으로 학습됐다. 범용 비서 역할을 목표로 하는 대규모 모델과 달리, Violetto는 지시 조정이 제한적으로 이뤄졌으며 단일 턴 문제 풀이 모델이나 대규모 시스템 안에서 빠르게 작동하는 구성 요소로 쓰이도록 설계됐다.
Violetto는 하나의 프롬프트에서 최대 131k 토큰을 처리할 수 있다. 일반적인 채팅 모델의 컨텍스트 길이가 대체로 4–8k 토큰에 그치는 것과 비교하면 훨씬 길다. 긴 컨텍스트 창 덕분에 문제 설명이나 증명, 코드 조각을 큰 분량 그대로 입력해 처리할 수 있다. 개발진은 최적화된 서빙 구현도 공개했으며, 다른 수학 특화 모델에 비해 학습과 추론 비용을 낮게 유지한다고 밝혔다.
벤치마크 테스트에서 Violetto는 2026 American Invitational Mathematics Examination (AIME)에서 94.01%, 추론 능력의 한계를 시험하도록 설계된 더 어려운 문제 모음 BeyondAIME에서 74.25%를 기록했다. 이 수치는 Paradigma의 내부 평가 기준에서 Violetto보다 규모가 몇 배 큰 모델들과 견줄 만한 수준이다. 이 결과는 지식 증류, 목표형 지도 미세 조정, 엄선한 학습 과정에 따른 인간 피드백 강화 학습(RLHF)을 결합한 사후 학습 절차를 거쳐 얻었다.
작고 수학에 특화한 모델을 공개한 이유는?
연구팀은 모델 규모가 작으면 하드웨어 요구 사항이 낮아져 대학이나 취미로 연구하는 사람도 데이터센터급 GPU 클러스터 없이 수학 중심 작업을 수행하기 쉽다고 설명한다. Apache 2.0 라이선스로 공개돼 누구나 체크포인트를 내려받고, 아키텍처를 수정하거나 서빙 코드를 자체 애플리케이션에 통합할 수 있다. Paradigma는 이를 통해 자동 정리 증명, 숙제 도움 도구, 대량 처리 기호 연산 파이프라인 분야에서 더 많은 실험이 이뤄지길 기대한다.
왜 중요한가
학생과 교육자는 비싼 클라우드 크레딧 없이도 복잡한 수학 문제를 풀 수 있는 무료 도구로 Violetto를 활용할 수 있다. 연구자는 빠르고 병렬 처리에 적합한 풀이 모델을 더 큰 AI 파이프라인에 통합해 자동 증명 생성 작업을 앞당길 수 있다. 다만 대화 기능은 제한적으로 조정돼 범용 챗봇으로는 성능이 좋지 않을 수 있다.