Il progetto llama.cpp ha rilasciato la versione b12122, che introduce un’ottimizzazione CUDA: nel percorso MMQ, dedicato alla moltiplicazione di matrici, fonde le moltiplicazioni di matrici gate/up con un’operazione GLU per NVFP4. NVFP4 è un formato numerico compatto usato in alcuni calcoli di IA; accorpare più passaggi può ridurre il lavoro da svolgere separatamente, anche se le note di rilascio non riportano misurazioni delle prestazioni.
La versione include inoltre build scaricabili per macOS, iOS e Ubuntu su x64, Arm64 e s390x.
Perché conta
Chi usa workload NVFP4 supportati su CUDA potrebbe beneficiare del percorso di calcolo fuso, ma le note di rilascio non quantificano eventuali miglioramenti in termini di velocità o memoria.
