ALoDLM論文、トークンごとに計算量を調整する拡散言語モデルを提案

Liancheng Fang氏とZhuowei Li氏が率いる研究チームはOct 6, 2026、トークンごとの予測の難しさに応じて計算量を調整する拡散言語モデル「ALoDLM」を説明した論文を公開した。このモデルは潜在表現を反復的に洗練し、予測しやすいトークンは早い段階で確定する一方、難しいトークンにはより多くのステップを費やす。1.7 billionと8 billionのパラメーター数で学習したALoDLMは、11のベンチマークで、評価対象となったすべての拡散モデルと同規模の自己回帰モデルを上回り、並列デコードの高速性も保った。