Het llama.cpp-project heeft versie b12122 uitgebracht. Die bevat een CUDA-optimalisatie die NVFP4-matrixvermenigvuldigingen voor gate/up samenvoegt met een GLU-bewerking in MMQ, het pad voor matrixvermenigvuldigingen. NVFP4 is een compacte getalnotatie die bij sommige AI-berekeningen wordt gebruikt. Door stappen te combineren kan apart werk worden verminderd, maar de release-opmerkingen bevatten geen prestatiemetingen.
De release bevat ook downloadbare builds voor macOS, iOS en Ubuntu op x64, Arm64 en s390x.
Waarom het ertoe doet
Wie ondersteunde NVFP4-workloads op CUDA uitvoert, kan mogelijk het gefuseerde rekenpad gebruiken. De release-opmerkingen geven echter geen cijfers over eventuele snelheids- of geheugenwinst.
