ggml‑org/llama.cpp 프로젝트가 2026-11-12에 버전 b12328을 출시했습니다. 이번 업데이트에서는 백엔드가 앞선 분할 단계에서 계산된 입력만 프리페치하도록 변경해, 이후 덮어쓸 텐서를 읽지 않도록 했습니다. 또 현재 기기에서 캐시된 작업을 실행할 수 없는 경우 MoE(전문가 혼합) 캐시를 건너뛰는 검사를 추가해 불필요한 데이터 복사를 방지합니다.
왜 중요한가
MoE 작업을 처리할 수 없는 하드웨어에서도 메모리 트래픽이 줄고 추론 속도가 빨라질 것으로 기대할 수 있습니다.