Fireworks AI가 2.8조 매개변수와 100만 토큰 컨텍스트 창을 갖춘 Kimi K3 모델의 강화학습 속도를 높인 방법을 담은 기술 보고서를 공개했다. 회사는 새로운 커널과 통신 기법을 통해 순전파와 역전파 속도를 1.3~2.6배 높였다고 설명했다. 같은 설정에서 Kimi 기반 법률 모델 Harvey Tenet은 LAB Contracts 벤치마크에서 전 항목 통과율 19.7%를 기록해, 종전 최고 기록인 Fable 5의 11.5%를 앞섰다.
왜 중요한가
속도 향상으로 개발자들은 특정 분야에 맞춘 AI 정책을 더 빠르게 개선할 수 있다. 법률 벤치마크 점수가 높아진 것은 모델이 복잡한 계약서 분석을 더 잘 수행할 수 있음을 보여준다.