Liancheng Fang과 Zhuowei Li가 이끄는 연구팀은 2026년 10월 6일, 각 토큰의 예측 난이도에 따라 연산량을 조절하는 확산 언어 모델 ALoDLM을 소개한 논문을 공개했다. 이 모델은 잠재 표현을 반복적으로 다듬어 예측하기 쉬운 토큰은 일찍 확정하고, 어려운 토큰에는 더 많은 단계를 할애한다. 1.7 billion 및 8 billion 파라미터 규모로 학습한 ALoDLM은 11개 벤치마크에서 테스트한 모든 확산 모델과 같은 규모의 자기회귀 기준 모델을 능가했으며, 빠른 병렬 디코딩도 유지했다.
왜 중요한가
이 접근법이 대규모로도 효과를 낸다면, 개발자들은 속도를 희생하지 않고 더 높은 품질의 텍스트를 생성할 수 있어 빠르고 신뢰할 수 있는 AI 글쓰기가 필요한 애플리케이션에 도움이 될 수 있다.