# LayerTrim无需训练即可剪枝，并保留推理能力

> LayerTrim精简解码器层中的部分MLP，使Qwen3‑14B速度提升1.24倍、内存占用降低19.7%，同时保留长篇推理能力。

Oossa · 2026-10-15 · https://oossa.com/zh/layertrim-offers-training-free-pruning-that-keeps-reasoning-ability

研究人员推出了LayerTrim，这是一种无需训练、面向大型语言模型的结构化剪枝技术。它会移除冗余的解码器层，同时保留注意力机制，从而有助于维持模型在需要长篇推理的任务上的表现。在拥有140亿参数的Qwen3模型上，与未剪枝的模型相比，LayerTrim使预填充速度提升1.24倍，并将GPU峰值内存占用降低19.7%。在3个模型和5项基准测试中，与此前的RESP方法相比，其平均准确率最高提升了21.4个百分点。

## 事实

- 论文发表于2026年10月15日（星期四）
- LayerTrim使Qwen3‑14B的预填充速度提升1.24倍，GPU峰值内存占用降低19.7%

## 为什么重要

开发者无需承担高昂的重新训练成本，就能部署更小、更快、适用于推理任务的语言模型。

## 来源与参考

1. [Unlocking Structured Pruning for Reasoning Language Models via Attention-Preserving MLP Trimming](https://arxiv.org/abs/2610.19121) – arXiv cs.LG, 2026-10-15

最后更新: 2026-10-15