Projektet llama.cpp har släppt version b12122, som lägger till en CUDA-optimering där NVFP4-matrismultiplikationer för gate/up slås ihop med en GLU-operation i MMQ, projektets flöde för matrismultiplikationer. NVFP4 är ett kompakt talformat som används i vissa AI-beräkningar. När flera steg kombineras kan mängden separat arbete minska, men versionsinformationen innehåller inga prestandamätningar.
Versionen innehåller också nedladdningsbara byggversioner för macOS, iOS och Ubuntu på x64, Arm64 och s390x.
Varför det spelar roll
Den som kör CUDA-arbetslaster med stöd för NVFP4 kan få tillgång till det sammanslagna beräkningsflödet, men versionsinformationen anger inte hur mycket snabbare det går eller hur mycket minne som kan sparas.
