Dory1.0-4B, 반복 계산으로 정확도 높여

연구진이 추론 시 공유 블록을 반복 실행할 수 있는 40억 개 매개변수 언어 모델 Dory1.0-4B를 공개했다. 이에 따라 계산 예산마다 별도의 대형 모델을 준비하지 않아도, 하나의 체크포인트로 계산량을 달리할 수 있다.

논문에 따르면 루프를 두 번 이상 사용했을 때 12개 벤치마크 평균에서 여러 대형 모델을 앞섰다. 루프를 네 번 사용하면 에이전트형 벤치마크에서 Dory가 생성한 토큰 수는 한 번 사용했을 때보다 1.3~2.5배 적었다. 연구진은 루프 횟수와 관계없이 모델의 KV 캐시 사용량은 동일하다고 밝혔으며, 네 가지 형식의 체크포인트를 공개했다.