새로운 RoLaQ 기법은 멀티헤드 잠재 어텐션 모델의 저비트 키-값 캐시 정확도와 디코딩 처리량을 높인다.
짧은 소식작성: OossaOossa 게시일: 1 분 읽기
Shiyu Ji가 이끄는 연구진이 멀티헤드 잠재 어텐션에 쓰이는 2비트 키-값 캐시를 위한 보정 기법 RoLaQ를 공개했다. 이 기법은 모델 가중치를 고정한 채 회전과 양자화 범위를 함께 조정한다. 3개 모델과 6개 벤치마크를 대상으로 한 테스트에서 RoLaQ는 2비트 방식 가운데 평균 정확도가 가장 높았다. DeepSeek‑V2‑Lite에서는 SGLang 구현을 통해 256K 토큰 컨텍스트에서 BF16 캐시 대비 용량은 3.96배, 디코딩 속도는 2.51배로 높아졌다.
긴 컨텍스트 언어 모델을 개발하는 이들은 추가 하드웨어 없이 더 큰 프롬프트를 더 빠르게 처리할 수 있다.
연구
OpenAI는 범용 모델로도 로봇을 제어할 수 있다고 보고, 로봇 연구진을 핵심 연구 조직과 Applied 조직으로 옮긴다.
연구
Gemini Robotics 2.5는 200개 넘는 작업에서 이전 모델보다 높은 성공률을 보였습니다. 공장 시험은 아직 개념 증명 단계입니다.
연구
차세대 센서·액추에이터·휴머노이드 배터리를 신규 과제로 지정했다. 2027년부터 기술 개발과 실증에 예산을 투입한다.
Oossa · 뉴스레터
이번 주 AI, 쉽게 정리
매주 월요일, 알아둘 만한 소식을 쉬운 말로. 무료, 스팸 없음.
