Oossa

TRIAGE, Qwen 모델의 4비트 강화학습 안정화

연구진이 4비트 연산을 유지하면서 수학 벤치마크에서 전정밀도 성능을 내는 방향 인식형 보정 기법 TRIAGE를 공개했다.

짧은 소식작성: Oossa 게시일: 1 분 읽기

Zhen Li 연구팀은 2026년 10월 7일 새로운 기법 TRIAGE를 공개했다. 이 기법은 4비트 가중치·활성값 형식인 네이티브 NVFP4에서 작동하며, 강화학습 중 정책 경사 업데이트의 균형을 맞춘다. 세그먼트 단위로 불일치를 진단하고 제한된 범위에서 보정해 저정밀도 연산 방식은 그대로 유지한다. Qwen3‑4B와 Qwen3‑30B‑A3B를 대상으로 한 테스트에서 5개 수학 추론 벤치마크의 전정밀도 수준 성능을 내면서 안정적으로 학습됐으며, 롤아웃 속도는 BF16보다 최대 2.3배 빨랐다.

왜 중요한가

정확도를 잃지 않으면서 4비트 하드웨어로 대규모 언어 모델을 더 빠르게 학습할 수 있어 연산 비용을 줄이는 데 도움이 된다.

이 기사가 도움이 되었나요?
공유

다음 읽을거리

Oossa · 뉴스레터

이번 주 AI, 쉽게 정리

매주 월요일, 알아둘 만한 소식을 쉬운 말로. 무료, 스팸 없음.