Oossa

llama.cpp 업데이트, 백엔드 프리페치 처리 개선

b12328 릴리스는 프리페치 로직을 개선하고, 지원되지 않는 기기에서는 MoE 캐시를 건너뜁니다.

짧은 소식작성: Oossa 게시일: 1 분 읽기

ggml‑org/llama.cpp 프로젝트가 2026-11-12에 버전 b12328을 출시했습니다. 이번 업데이트에서는 백엔드가 앞선 분할 단계에서 계산된 입력만 프리페치하도록 변경해, 이후 덮어쓸 텐서를 읽지 않도록 했습니다. 또 현재 기기에서 캐시된 작업을 실행할 수 없는 경우 MoE(전문가 혼합) 캐시를 건너뛰는 검사를 추가해 불필요한 데이터 복사를 방지합니다.

왜 중요한가

MoE 작업을 처리할 수 없는 하드웨어에서도 메모리 트래픽이 줄고 추론 속도가 빨라질 것으로 기대할 수 있습니다.

이 기사가 도움이 되었나요?
공유

다음 읽을거리

Oossa · 뉴스레터

이번 주 AI, 쉽게 정리

매주 월요일, 알아둘 만한 소식을 쉬운 말로. 무료, 스팸 없음.