오픈소스 LLaMA 추론 라이브러리가 불필요한 GPU 메모리 복사를 줄여 특정 작업의 오버헤드를 낮췄다.
짧은 소식작성: OossaOossa 게시일: 1 분 읽기
ggml-org 팀은 2026-10-09에 llama.cpp 버전 b11534를 공개했다. 이번 업데이트는 상태 스냅샷 복사를 순환 캐시에 통합하고, K = 1인 비투기적 디코딩 사례에서 불필요한 CUDA 복사를 없앴다. 변경 사항은 CUDA 백엔드에만 적용되므로 CPU 및 Vulkan 빌드에는 영향을 주지 않는다. macOS, iOS와 여러 Ubuntu 버전용 사전 빌드 바이너리를 다운로드할 수 있다.
CUDA 버전을 사용하는 경우 GPU 메모리 트래픽이 소폭 줄어들어, 지원되는 하드웨어에서 속도가 향상될 수 있다.
GPU에서 이동하는 데이터가 줄어 CUDA 사용자의 추론 속도가 향상될 수 있다.
모델
Claude 기반 에이전트 3개로 구성된 새 검토 시스템이 핵심 주장 오류의 73.43%를 찾아냈다. 기존 최고 기록인 14.81%를 크게 웃도는 수치다.
모델
Mistral의 신규 1조 매개변수 모델은 독립 지수에서 38점을 기록했지만, 경쟁 오픈 모델보다 작업당 비용이 높다.
모델
OpenAI는 AI로 만든 콘텐츠를 실제 언론에 퍼뜨려 허위 보도를 심으려 한 영향력 공작 2건을 공개하고, 관련 계정을 차단했다.
Oossa · 뉴스레터
이번 주 AI, 쉽게 정리
매주 월요일, 알아둘 만한 소식을 쉬운 말로. 무료, 스팸 없음.
