ggml‑org 팀이 llama.cpp 버전 b11494를 공개했습니다. 이번 업데이트에서는 CUDA 백엔드가 워프당 GDN 상태 열을 2개 대신 4개 할당하도록 변경했습니다. 이제 이 설정이 기본값입니다. macOS(Apple Silicon 및 Intel), iOS, 여러 Ubuntu 빌드용 바이너리를 다운로드할 수 있습니다.
왜 중요한가
NVIDIA GPU에서 llama.cpp를 사용하는 개발자는 코드를 변경하지 않고도 추론 속도 향상을 기대할 수 있습니다.