오픈소스 LLM 런타임이 Apple Silicon용 새 행렬 곱셈 커널을 도입해 일부 양자화 모델의 토큰 생성 시간을 줄인다.
짧은 소식작성: OossaOossa 게시일: 1 분 읽기
llama.cpp 프로젝트는 2026년 10월 5일 버전 b11404를 출시했다. 이번 버전에는 Apple GPU에서 여러 행(2~16개)을 한 번에 곱하는 Metal 커널이 추가됐다. 이 커널은 각 가중치를 한 번만 역양자화하고 SIMD 그룹 간에 작업을 나눠 처리하므로, M3 Ultra에서 추측 디코딩 속도가 기존 행렬-벡터 연산 방식보다 빨라진다. 새 커널은 Apple7 GPU 제품군을 지원하는 기기에서만, 행 수가 기준치에 도달했을 때(예: F32는 6개 행) 사용된다. 이번 변경에는 퓨전 로직 개선과 문제를 일으켰던 배치 복사 퓨전 제거도 포함됐다.
llama.cpp를 사용하는 Apple Silicon 사용자는 추측 디코딩으로 텍스트를 생성할 때 지연 시간이 줄어들며, 특히 M3 Ultra 기기에서 효과를 볼 수 있다.
모델
Canva의 새 AI 모델은 세밀한 레이아웃과 편집 가능한 텍스트를 갖춘 최대 2K 이미지를 생성한다. Dream Lab과 API를 통해 이용할 수 있다.
모델
힌디어와 핀란드어를 포함해 음성 14종을 추가했다. 기존 생성형 음성 이용자는 코드 변경이나 요금 인상 없이 업그레이드를 이용할 수 있다.
모델
Uber는 직원 1,000명을 대상으로 한 시범 운영에 이어 전 세계 직원들이 ChatGPT Work를 사용하게 된다고 밝혔다. 도입 비용은 공개하지 않았다.
Oossa · 뉴스레터
이번 주 AI, 쉽게 정리
매주 월요일, 알아둘 만한 소식을 쉬운 말로. 무료, 스팸 없음.
