Das llama.cpp-Projekt hat Version b12122 veröffentlicht. Sie bringt eine CUDA-Optimierung mit, die NVFP4-Gate-/Up-Matrixmultiplikationen in MMQ, dem Matrixmultiplikationspfad des Projekts, mit einer GLU-Operation zusammenführt. NVFP4 ist ein kompaktes Zahlenformat, das bei manchen KI-Berechnungen zum Einsatz kommt. Durch das Zusammenführen der Schritte kann zusätzlicher Einzelaufwand entfallen; die Release Notes enthalten jedoch keine Leistungswerte.
Zum Release gehören außerdem herunterladbare Builds für macOS, iOS und Ubuntu auf x64, Arm64 und s390x.
Warum es wichtig ist
Wer unterstützte NVFP4-Workloads mit CUDA ausführt, kann möglicherweise den fusionierten Berechnungspfad nutzen. Die Release Notes beziffern jedoch weder mögliche Geschwindigkeits- noch Speichervorteile.
