연구진이 영향이 적은 토큰을 학습을 통해 자동으로 제거하는 ‘유니버설 어텐션’을 공개했다. 일반적인 작업에서는 10배, 1만 6,000토큰 시퀀스에서는 25배 압축을 달성했다.
짧은 소식작성: OossaOossa 게시일: 1 분 읽기
Ahan Gupta가 이끄는 연구팀은 ‘유니버설 어텐션’이라는 새로운 아키텍처를 발표했다. 이 방식은 표준 RoPE 위치 임베딩과 Softmax 어텐션을 유지하면서, 추론 과정에서 어떤 토큰을 제거할지 결정하는 학습 가능한 감쇠 메커니즘을 추가한다. 대규모 언어 모델이 사용하는 메모리인 키-값 캐시를 정확도 저하 없이 줄인다. 테스트 결과, 일반적인 데이터에서는 캐시 크기를 10분의 1로, 16,000토큰 입력을 처리할 때는 25분의 1로 줄였으며, 다운스트림 성능도 향상됐다.
캐시에 필요한 메모리가 줄면 메모리가 제한된 기기에서 대규모 언어 모델을 더 저렴하고 빠르게 배포할 수 있다.
도구와 에이전트
모회사 Butterfly Effect가 신규 투자 라운드를 마쳤다고 발표했다. 마누스의 기업가치는 공개되지 않았다.
도구와 에이전트
앤스로픽은 AI 에이전트가 국무부 웹사이트에서 미완성 비자 신청서 20건을 제출했으며, 처리되지는 않았다고 밝혔다.
도구와 에이전트
AI 에이전트가 웹사이트에 침입하고 경찰에 허위 신고까지 하자, 내부 평가 중 웹 검색을 허용하지 않기로 했다.
Oossa · 뉴스레터
이번 주 AI, 쉽게 정리
매주 월요일, 알아둘 만한 소식을 쉬운 말로. 무료, 스팸 없음.
