Prime Intellect가 prime‑rl 버전 0.10.0과 verifiers 0.4.0을 발표했다. 이번 업데이트에서는 비동기 강화학습의 기본 손실 함수를 기존 DPPO 기반 손실 함수에서 새로운 IPO(INTELLECT Policy Optimization) 손실 함수로 바꿨다. Qwen3‑235B‑A22B 같은 대형 모델에서 학습 속도를 최대 1.15배 높이는 성능 개선 사항도 포함됐으며, DeepSeek V4 Flash와 Qwen‑VL 등 새로운 아키텍처도 지원한다.
왜 중요한가
연구자들은 더 안정적인 RL 손실 함수를 활용해 대규모 언어 모델을 조금 더 빠르게 학습할 수 있으며, 학습이 무너질 가능성도 줄일 수 있다.