새로운 TurboMamba 아키텍처는 예측 손실을 줄이고, 비슷한 Mamba 기반 모델보다 최대 6배 빠르게 작동합니다.
짧은 소식작성: OossaOossa 게시일: 1 분 읽기
Hanxin Zhang이 이끄는 연구진은 각 토큰 블록에 작은 Transformer를 결합한 전역 Mamba-3 블록으로 구성된 언어 모델 설계 TurboMamba를 선보였습니다. 여기에 이전 블록의 마지막 토큰에 직접 접근하는 기능, 소규모 점수 보정, 최근 토큰 빈도를 학습해 혼합하는 기능 등 세 가지 경량 조정을 더했습니다. 공개 FineWeb-Edu 데이터셋을 이용한 테스트에서 TurboMamba는 표준 Transformer와 Mamba-3 변형 모델을 포함한 12개 기준 모델보다 속도와 정확도 모두에서 앞섰습니다.
연구진은 언어 모델을 더 빠르고 저렴하게 학습하고 실행할 수 있어, 새로운 AI 프로젝트를 시작하는 데 드는 비용 부담이 줄어듭니다.
모델
Canva의 새 AI 모델은 세밀한 레이아웃과 편집 가능한 텍스트를 갖춘 최대 2K 이미지를 생성한다. Dream Lab과 API를 통해 이용할 수 있다.
모델
힌디어와 핀란드어를 포함해 음성 14종을 추가했다. 기존 생성형 음성 이용자는 코드 변경이나 요금 인상 없이 업그레이드를 이용할 수 있다.
모델
Uber는 직원 1,000명을 대상으로 한 시범 운영에 이어 전 세계 직원들이 ChatGPT Work를 사용하게 된다고 밝혔다. 도입 비용은 공개하지 않았다.
Oossa · 뉴스레터
이번 주 AI, 쉽게 정리
매주 월요일, 알아둘 만한 소식을 쉬운 말로. 무료, 스팸 없음.
