El proyecto llama.cpp lanzó la versión b12122, que incorpora una optimización de CUDA que fusiona las multiplicaciones de matrices gate/up de NVFP4 con una operación GLU en MMQ, su ruta de multiplicación de matrices. NVFP4 es un formato numérico compacto que se usa en algunos cálculos de IA; combinar pasos puede reducir el trabajo por separado, aunque las notas de la versión no incluyen mediciones de rendimiento.
La versión también ofrece compilaciones descargables para macOS, iOS y Ubuntu en x64, Arm64 y s390x.
Por qué importa
Quienes ejecuten cargas de trabajo NVFP4 compatibles en CUDA podrían aprovechar la ruta de cálculo fusionada, pero las notas de la versión no cuantifican las mejoras de velocidad ni de memoria.
