Forschende haben LayerTrim vorgestellt, eine Methode zum strukturierten Beschneiden großer Sprachmodelle, für die kein zusätzliches Training nötig ist. Sie entfernt redundante Decoderschichten, lässt die Aufmerksamkeitsmechanismen aber intakt. So bleibt die Leistung bei Aufgaben erhalten, die ausführliches Schlussfolgern erfordern. Beim Qwen3-Modell mit 14 Milliarden Parametern verarbeitet LayerTrim Eingaben in der Prefill-Phase 1,24-mal schneller und senkt den Spitzenwert des GPU-Speicherverbrauchs im Vergleich zum unbeschnittenen Modell um 19,7 Prozent. Über drei Modelle und fünf Benchmarks hinweg verbesserte die Methode die durchschnittliche Genauigkeit gegenüber dem früheren Verfahren RESP um bis zu 21,4 Punkte.
Warum es wichtig ist
Entwickler können kleinere, schnellere Sprachmodelle für Schlussfolgerungsaufgaben einsetzen, ohne sie kostspielig neu trainieren zu müssen.
