새 연구에 따르면 고정형 16MB 코드북으로 대형 학습 임베딩 테이블을 대체해 정확도를 유지하면서 모델 크기를 줄이고 추론 속도를 높일 수 있다.
짧은 소식작성: OossaOossa 게시일: 1 분 읽기
Saikiran Bathula가 이끄는 연구진은 2026년 10월 15일 소형 언어 모델용 초소형 고정형 어휘집을 소개한 사전 공개 논문을 발표했다. 연구진은 Gemma 스타일의 270 M 모델에서 일반적으로 쓰이는 학습 임베딩 테이블을 학습 가능한 매개변수가 없는 512비트 코드북으로 교체했다. 코드북 크기는 16 MB에 불과하다. 이 테이블을 사용해 학습한 모델은 LAMBADA와 PIQA 같은 벤치마크에서 기존 모델과 비슷하거나 더 나은 성능을 보였으며, 메모리 사용량은 훨씬 적고 노트북 CPU에서 5~6배 빠르게 실행됐다.
개발자는 흔히 쓰이는 작업에서 성능을 희생하지 않고도 엣지 기기에서 작고 빠른 언어 모델을 배포할 수 있다.
모델
Canva의 새 AI 모델은 세밀한 레이아웃과 편집 가능한 텍스트를 갖춘 최대 2K 이미지를 생성한다. Dream Lab과 API를 통해 이용할 수 있다.
모델
힌디어와 핀란드어를 포함해 음성 14종을 추가했다. 기존 생성형 음성 이용자는 코드 변경이나 요금 인상 없이 업그레이드를 이용할 수 있다.
모델
Uber는 직원 1,000명을 대상으로 한 시범 운영에 이어 전 세계 직원들이 ChatGPT Work를 사용하게 된다고 밝혔다. 도입 비용은 공개하지 않았다.
Oossa · 뉴스레터
이번 주 AI, 쉽게 정리
매주 월요일, 알아둘 만한 소식을 쉬운 말로. 무료, 스팸 없음.
