Le projet llama.cpp a publié la version b12122, qui ajoute une optimisation CUDA fusionnant les multiplications de matrices gate/up en NVFP4 avec une opération GLU dans MMQ, son chemin de multiplication matricielle. NVFP4 est un format numérique compact utilisé dans certains calculs d’IA ; regrouper ces étapes peut réduire les opérations distinctes, mais les notes de version ne fournissent aucune mesure de performance.
La version comprend également des versions téléchargeables pour macOS, iOS et Ubuntu, sur x64, Arm64 et s390x.
Pourquoi c'est important
Les personnes utilisant sous CUDA des charges de travail NVFP4 prises en charge pourront peut-être bénéficier du chemin de calcul fusionné, mais les notes de version ne chiffrent aucun gain de vitesse ni de mémoire.
