# LayerTrim、推論力を保つ学習不要の枝刈り手法

> 新手法LayerTrimはデコーダー層のMLP部分を削減。Qwen3‑14Bの処理速度を1.24倍に高め、メモリ使用量を19.7%削減しながら、長文推論能力を維持する。

Oossa · 2026-10-15 · https://oossa.com/ja/layertrim-offers-training-free-pruning-that-keeps-reasoning-ability

研究者らは、大規模言語モデル向けの学習不要な構造化枝刈り手法「LayerTrim」を発表した。注意機構はそのままに、デコーダー層のうち冗長な部分を取り除くことで、長文推論を必要とするタスクの性能維持を目指す。パラメーター数140億のQwen3では、枝刈りを行っていないモデルと比べ、prefillが1.24倍高速になり、GPUメモリーのピーク使用量が19.7%減少した。3つのモデルと5つのベンチマークで、従来手法のRESPと比べて平均精度が最大21.4ポイント向上した。

## 事実

- 論文は2026年10月15日（木）に公開された
- Qwen3‑14Bでprefillが1.24倍高速になり、GPUメモリーのピーク使用量が19.7%減少する

## なぜ重要か

高コストな再学習を行わずに、推論タスク向けの小型で高速な言語モデルを導入できる。

## 出典と参考資料

1. [Unlocking Structured Pruning for Reasoning Language Models via Attention-Preserving MLP Trimming](https://arxiv.org/abs/2610.19121) – arXiv cs.LG, 2026-10-15

最終更新: 2026-10-15