오픈소스 라이브러리 llama.cpp가 호스트 메모리에 보관하는 GPU 캐시에 MoE 데이터를 저장하는 기능을 추가했습니다.
짧은 소식작성: OossaOossa 게시일: 최종 업데이트: 1 분 읽기
ggml‑org 팀은 2026‑10‑08에 llama.cpp 버전 b11480을 출시했습니다. 이번 업데이트에는 호스트 메모리에 두는 MoE 전문가용 GPU 캐시가 추가돼 대형 모델을 GPU에서 더 빠르게 실행할 수 있습니다. 이 변경 사항은 Claude의 지원을 받았다고 표시돼 있으며, 새로운 llama_moe_cache_ptr API를 사용합니다. macOS, iOS 및 여러 Ubuntu 구성용 사전 빌드 바이너리를 다운로드할 수 있습니다.
개발자는 이제 일반 소비자용 GPU에서 MoE 모델을 더 효율적으로 실행할 수 있어 AI 프로젝트의 하드웨어 비용을 낮출 수 있습니다.
모델
Claude 기반 에이전트 3개로 구성된 새 검토 시스템이 핵심 주장 오류의 73.43%를 찾아냈다. 기존 최고 기록인 14.81%를 크게 웃도는 수치다.
모델
Mistral의 신규 1조 매개변수 모델은 독립 지수에서 38점을 기록했지만, 경쟁 오픈 모델보다 작업당 비용이 높다.
모델
OpenAI는 AI로 만든 콘텐츠를 실제 언론에 퍼뜨려 허위 보도를 심으려 한 영향력 공작 2건을 공개하고, 관련 계정을 차단했다.
Oossa · 뉴스레터
이번 주 AI, 쉽게 정리
매주 월요일, 알아둘 만한 소식을 쉬운 말로. 무료, 스팸 없음.
