새 APEX 컨트롤러는 Qwen3-8B 모델의 추론 시간을 최대 5.24배 단축하고, 낭비되는 초안 토큰을 41% 줄인다.
짧은 소식작성: OossaOossa 게시일: 1 분 읽기
연구진은 생성할 초안 토큰 수와 사용할 추측 디코딩 방식을 선택하는 학습 기반 컨트롤러 APEX를 선보였다. APEX는 vLLM 추론 엔진에 통합되며, Qwen3-8B 언어 모델에서 테스트됐다. 6개 벤치마크 작업에서 APEX는 표준 자기회귀 디코딩보다 최대 5.24배 빠른 속도를 기록했다. APEX‑Depth 변형은 고정된 크기 16의 n‑그램 초안 방식보다 낭비되는 토큰을 41% 줄이면서도 3.27배의 속도 향상을 유지했다.
개발자는 대규모 언어 모델을 더 빠르고 저렴하게 실행할 수 있어, 실시간 AI 기능의 비용 부담을 낮출 수 있다.
모델
Claude 기반 에이전트 3개로 구성된 새 검토 시스템이 핵심 주장 오류의 73.43%를 찾아냈다. 기존 최고 기록인 14.81%를 크게 웃도는 수치다.
모델
Mistral의 신규 1조 매개변수 모델은 독립 지수에서 38점을 기록했지만, 경쟁 오픈 모델보다 작업당 비용이 높다.
모델
OpenAI는 AI로 만든 콘텐츠를 실제 언론에 퍼뜨려 허위 보도를 심으려 한 영향력 공작 2건을 공개하고, 관련 계정을 차단했다.
Oossa · 뉴스레터
이번 주 AI, 쉽게 정리
매주 월요일, 알아둘 만한 소식을 쉬운 말로. 무료, 스팸 없음.
