Zhen Li und sein Team haben am 7. Okt. 2026 eine neue Technik namens TRIAGE vorgestellt. Sie arbeitet direkt mit NVFP4, einem 4-Bit-Format für Gewichte und Aktivierungen, und gleicht beim Reinforcement Learning die Policy-Gradient-Updates aus. Die Methode erkennt Abweichungen auf Segmentebene und korrigiert sie in begrenztem Umfang, ohne den Betrieb mit niedriger Präzision zu verändern. Tests mit Qwen3‑4B und Qwen3‑30B‑A3B zeigten ein stabiles Training und die gleiche Qualität wie bei voller Präzision in fünf Benchmarks zum mathematischen Schlussfolgern. Zudem war der Rollout bis zu 2,3-mal schneller als mit BF16.
Warum es wichtig ist
Damit können Entwickler große Sprachmodelle mit 4-Bit-Hardware schneller trainieren, ohne Genauigkeit einzubüßen – und so Rechenkosten sparen.
