llama.cpp 프로젝트가 b12122 버전을 출시했습니다. 이번 버전에는 MMQ 행렬 곱셈 경로에서 NVFP4 게이트/업 행렬 곱셈과 GLU 연산을 융합하는 CUDA 최적화가 추가됐습니다. NVFP4는 일부 AI 연산에 쓰이는 소형 숫자 형식입니다. 연산 단계를 결합하면 별도로 처리해야 하는 작업을 줄일 수 있지만, 릴리스 노트에는 성능 측정 결과가 공개되지 않았습니다.
이번 릴리스에는 x64, Arm64, s390x용 Ubuntu 빌드와 macOS 및 iOS용 다운로드 빌드도 포함됩니다.
왜 중요한가
CUDA에서 지원되는 NVFP4 작업을 실행하는 사용자는 융합 연산 경로를 이용할 수 있지만, 릴리스 노트에는 속도나 메모리 사용량 개선 폭이 공개되지 않았습니다.