Zhen Li et son équipe ont dévoilé le 7 octobre 2026 une nouvelle technique appelée TRIAGE. Compatible avec le format natif NVFP4, qui utilise des poids et des activations sur 4 bits, elle équilibre les mises à jour du gradient de politique pendant l’apprentissage par renforcement. La méthode repère les écarts au niveau des segments et les corrige dans des limites définies, sans modifier l’exécution en basse précision. Des tests sur Qwen3‑4B et Qwen3‑30B‑A3B ont montré un entraînement stable et une qualité équivalente à la pleine précision sur cinq benchmarks de raisonnement mathématique, avec une vitesse de génération des trajectoires jusqu’à 2,3 fois supérieure à celle de BF16.
Pourquoi c'est important
Cette méthode permet aux développeurs d’entraîner plus rapidement des grands modèles de langage sur du matériel 4 bits sans perte de précision, et donc de réduire les coûts de calcul.
