오픈소스 LLM 실행 도구가 양자화 가중치용 SYCL 최적화와 macOS, iOS, Linux용 새 바이너리를 포함한 b11685를 공개했습니다.
짧은 소식작성: OossaOossa 게시일: 1 분 읽기
ggml-org 팀이 llama.cpp 버전 b11685를 공개했습니다. 이번 버전에는 q4_K 및 q5_K 가중치의 역양자화에 적용되는 ‘와이드 스토어’라는 SYCL 최적화가 추가됐습니다. macOS Apple Silicon과 macOS Intel, iOS용 사전 빌드 바이너리와 CPU, Vulkan, CUDA 12.8을 지원하는 여러 Ubuntu 빌드도 포함됩니다. 이번 변경은 SYCL 호환 GPU에서 양자화 모델의 추론 속도를 높이는 데 초점을 맞췄습니다.
개발자는 SYCL GPU에서 양자화 LLM을 더 빠르게 실행할 수 있어, AI 앱에 활용할 수 있는 저렴한 하드웨어 선택지가 늘어납니다.
모델
Canva의 새 AI 모델은 세밀한 레이아웃과 편집 가능한 텍스트를 갖춘 최대 2K 이미지를 생성한다. Dream Lab과 API를 통해 이용할 수 있다.
모델
힌디어와 핀란드어를 포함해 음성 14종을 추가했다. 기존 생성형 음성 이용자는 코드 변경이나 요금 인상 없이 업그레이드를 이용할 수 있다.
모델
Uber는 직원 1,000명을 대상으로 한 시범 운영에 이어 전 세계 직원들이 ChatGPT Work를 사용하게 된다고 밝혔다. 도입 비용은 공개하지 않았다.
Oossa · 뉴스레터
이번 주 AI, 쉽게 정리
매주 월요일, 알아둘 만한 소식을 쉬운 말로. 무료, 스팸 없음.
