# LayerTrim kürzt Modelle ohne Training und erhält ihre Schlussfolgerungsfähigkeit

> Die neue Methode beschneidet Teile der MLPs in Decoderschichten. Bei Qwen3‑14B beschleunigt sie die Verarbeitung um das 1,24‑Fache und senkt den Speicherbedarf um 19,7 Prozent – bei weiterhin starken Leistungen im ausführlichen Schlussfolgern.

Oossa · 2026-10-15 · https://oossa.com/de/layertrim-offers-training-free-pruning-that-keeps-reasoning-ability

Forschende haben LayerTrim vorgestellt, eine Methode zum strukturierten Beschneiden großer Sprachmodelle, für die kein zusätzliches Training nötig ist. Sie entfernt redundante Decoderschichten, lässt die Aufmerksamkeitsmechanismen aber intakt. So bleibt die Leistung bei Aufgaben erhalten, die ausführliches Schlussfolgern erfordern. Beim Qwen3-Modell mit 14 Milliarden Parametern verarbeitet LayerTrim Eingaben in der Prefill-Phase 1,24-mal schneller und senkt den Spitzenwert des GPU-Speicherverbrauchs im Vergleich zum unbeschnittenen Modell um 19,7 Prozent. Über drei Modelle und fünf Benchmarks hinweg verbesserte die Methode die durchschnittliche Genauigkeit gegenüber dem früheren Verfahren RESP um bis zu 21,4 Punkte.

## Die Fakten

- Das Paper wurde am Do., 15. Okt. 2026, veröffentlicht.
- LayerTrim ermöglicht bei Qwen3‑14B ein 1,24-mal schnelleres Prefill und senkt den Spitzenwert des GPU-Speicherverbrauchs um 19,7 Prozent.

## Warum es wichtig ist

Entwickler können kleinere, schnellere Sprachmodelle für Schlussfolgerungsaufgaben einsetzen, ohne sie kostspielig neu trainieren zu müssen.

## Quellen und Referenzen

1. [Unlocking Structured Pruning for Reasoning Language Models via Attention-Preserving MLP Trimming](https://arxiv.org/abs/2610.19121) – arXiv cs.LG, 2026-10-15

Zuletzt aktualisiert: 2026-10-15