ggml-org 팀이 llama.cpp 버전 b11777을 공개했다. 이번 업데이트에서는 Qwen 모델의 출력을 3차원 텐서에서 2차원 텐서로 변경해 불필요한 마지막 재구성 단계를 없앴다. macOS(Apple Silicon 및 Intel), iOS와 Vulkan 및 CUDA 옵션을 포함한 여러 Ubuntu 빌드용으로 바로 실행할 수 있는 바이너리도 제공한다.
왜 중요한가
개발자는 새 바이너리를 내려받아 소스에서 직접 빌드하지 않고도 더 다양한 기기에서 로컬 LLM을 실행할 수 있다.