O projeto llama.cpp lançou a versão b12122, que adiciona uma otimização CUDA que funde multiplicações de matrizes gate/up de NVFP4 com uma operação GLU no MMQ, seu caminho de multiplicação de matrizes. NVFP4 é um formato numérico compacto usado em algumas computações de IA; combinar etapas pode reduzir o trabalho feito separadamente, embora as notas da versão não apresentem medições de desempenho.
A versão também inclui compilações para download para macOS, iOS e Ubuntu em x64, Arm64 e s390x.
Por que importa
Quem executa cargas de trabalho compatíveis com NVFP4 em CUDA pode usar o caminho de computação fundida, mas as notas da versão não quantificam ganhos de velocidade ou de memória.
