카카오는 COLM 2026과 TokShop에서 학습 비용을 줄이는 방법과 모델 크기를 낮추는 기술을 공개했다. BBT 비교 실험에서 파라미터 수가 최대 40.4% 줄었다고 밝혔다.
짧은 소식작성: OossaOossa 게시일: 1 분 읽기
카카오는 언어모델링 학회 COLM 2026과 토크나이제이션 워크숍 TokShop에서 연구 성과를 발표했다. COLM 논문은 대규모 전문가 혼합(MoE) 모델의 최적 학습률을 전체 학습 비용의 약 1%로 예측하는 방법을 다뤘다. 이 방법은 카카오의 카나나-2.6-155b-a17b 사전학습에 적용돼 10조 토큰 규모의 학습에 활용됐다.
TokShop에서 공개한 BBT는 문자를 바이트 단위로 다루는 경량화 기술이다. 카카오가 제시한 비교 실험에서는 파라미터 수가 20.2~40.4% 감소하고 성능은 2.7~6.6% 개선됐다. 실험의 구체적인 평가 조건은 기사에 제시되지 않았다.
기기 내에서 AI를 실행하는 개발자에게 BBT의 파라미터 감소는 메모리 부담을 줄일 가능성이 있지만, 실제 기기에서의 성능이나 적용 조건은 기사만으로 확인할 수 없다.
모델
Claude 기반 에이전트 3개로 구성된 새 검토 시스템이 핵심 주장 오류의 73.43%를 찾아냈다. 기존 최고 기록인 14.81%를 크게 웃도는 수치다.
모델
Mistral의 신규 1조 매개변수 모델은 독립 지수에서 38점을 기록했지만, 경쟁 오픈 모델보다 작업당 비용이 높다.
모델
OpenAI는 AI로 만든 콘텐츠를 실제 언론에 퍼뜨려 허위 보도를 심으려 한 영향력 공작 2건을 공개하고, 관련 계정을 차단했다.
Oossa · 뉴스레터
이번 주 AI, 쉽게 정리
매주 월요일, 알아둘 만한 소식을 쉬운 말로. 무료, 스팸 없음.
