LayerTrim、推論力を保つ学習不要の枝刈り手法

新手法LayerTrimはデコーダー層のMLP部分を削減。Qwen3‑14Bの処理速度を1.24倍に高め、メモリ使用量を19.7%削減しながら、長文推論能力を維持する。

短信著者： OossaOossa公開日: 2026年10月15日 5:08 UTC1 分で読める

研究者らは、大規模言語モデル向けの学習不要な構造化枝刈り手法「LayerTrim」を発表した。注意機構はそのままに、デコーダー層のうち冗長な部分を取り除くことで、長文推論を必要とするタスクの性能維持を目指す。パラメーター数140億のQwen3では、枝刈りを行っていないモデルと比べ、prefillが1.24倍高速になり、GPUメモリーのピーク使用量が19.7%減少した。3つのモデルと5つのベンチマークで、従来手法のRESPと比べて平均精度が最大21.4ポイント向上した。