새 LRCC 방식은 Llama와 Qwen 모델이 토큰마다 효율적인 경로와 더 풍부한 경로를 선택하게 해, 추가 하드웨어 없이 정확도를 높인다.
짧은 소식작성: OossaOossa 게시일: 1 분 읽기
연구진이 압축된 언어 모델의 성능을 높이는 방법인 저랭크 조건부 연산(LRCC)을 공개했다. 각 Transformer 블록에 작은 라우터를 추가해 현재 토큰에 따라 여러 저랭크 경로 중 하나를 고른다. 학습되는 부분은 라우터뿐이며 저랭크 행렬은 고정된 상태로 유지된다. Llama‑2‑7B, Llama‑3.2‑1B, Qwen을 대상으로 시험한 결과, LRCC는 정적 저랭크 압축 모델보다 Llama‑2‑7B의 다운스트림 정확도를 7.6%포인트 높였고, 디코딩 속도가 같을 때 퍼플렉서티도 개선했다.
개발자는 연산 비용을 낮추면서도 정확도를 유지하는 토큰 적응형 모델을 실행할 수 있어, Llama나 Qwen을 사용하는 애플리케이션의 연산 비용을 줄일 수 있다.
모델
Claude 기반 에이전트 3개로 구성된 새 검토 시스템이 핵심 주장 오류의 73.43%를 찾아냈다. 기존 최고 기록인 14.81%를 크게 웃도는 수치다.
모델
Mistral의 신규 1조 매개변수 모델은 독립 지수에서 38점을 기록했지만, 경쟁 오픈 모델보다 작업당 비용이 높다.
모델
OpenAI는 AI로 만든 콘텐츠를 실제 언론에 퍼뜨려 허위 보도를 심으려 한 영향력 공작 2건을 공개하고, 관련 계정을 차단했다.
Oossa · 뉴스레터
이번 주 AI, 쉽게 정리
매주 월요일, 알아둘 만한 소식을 쉬운 말로. 무료, 스팸 없음.
