Oossa

TRIAGE estabiliza o treinamento de RL em 4 bits nos modelos Qwen

Pesquisadores apresentam o TRIAGE, um ajuste que considera a direção das atualizações e mantém a execução em 4 bits, com desempenho equivalente ao de precisão total em testes de matemática.

NotaPor Publicado pelo Oossa: 1 min de leitura

Zhen Li e sua equipe divulgaram uma nova técnica chamada TRIAGE em 7 de outubro de 2026. Ela opera nativamente no formato NVFP4, de 4 bits para pesos e ativações, e equilibra as atualizações de gradiente de política durante o aprendizado por reforço. O método identifica incompatibilidades no nível dos segmentos e aplica correções limitadas, sem alterar a execução em baixa precisão. Testes com Qwen3‑4B e Qwen3‑30B‑A3B mostraram treinamento estável e qualidade equivalente à de precisão total em cinco benchmarks de raciocínio matemático, além de uma velocidade de geração de trajetórias até 2,3 vezes maior que a do BF16.

Por que importa

A técnica permite que desenvolvedores treinem modelos de linguagem grandes mais rapidamente em hardware de 4 bits, sem perder precisão, reduzindo os custos computacionais.

Este artigo foi útil?
Compartilhar

Leia a seguir

Oossa · Newsletter

A semana em IA, explicada

Toda segunda-feira: as notícias que valem a pena, em linguagem simples. Grátis, sem spam.