오픈소스 LLM 런타임 llama.cpp가 macOS, iOS와 여러 Linux 환경용 바이너리를 공개했다. MoE 캐시 처리 개선으로 CPU 작업이 멈추지 않는다.
짧은 소식작성: OossaOossa 게시일: 1 분 읽기
ggml‑org가 llama.cpp 버전 b12206을 출시했다. 이번 업데이트는 MoE(전문가 혼합) 캐시를 수정해 CPU가 캐시된 전문가를 기다리지 않도록 했다. Apple Silicon 및 Intel Mac용 macOS, iOS와 x64, arm64, s390x 및 Vulkan 또는 zDNN을 지원하는 여러 Ubuntu 구성용 사전 빌드 바이너리도 제공된다.
이전 MoE 캐시 방식에서 발생하던 CPU 병목 없이 개발자가 자신의 기기에서 LLM을 더 빠르게 실행할 수 있다.
모델
문서·이미지 이해 평가에서 Claude Opus 5보다 높은 점수를 냈다. API는 2주간 무료지만 이후 요금과 가중치 공개 계획은 미정이다.
모델
클로드를 활용해 첫 구조 모델을 34시간 만에 만들었다고 앤트로픽은 밝혔다. 볼트의 생물학적 기능은 여전히 밝혀지지 않았다.
모델
젠틀몬스터와 워비파커가 각자 디자인한 AI 안경을 예약 판매합니다. 12월 출시 예정이며 가격은 공개되지 않았습니다.
Oossa · 뉴스레터
이번 주 AI, 쉽게 정리
매주 월요일, 알아둘 만한 소식을 쉬운 말로. 무료, 스팸 없음.
