El equipo de ggml-org publicó la versión b12329 de llama.cpp. Incluye una optimización para CUDA que integra el manejo de las escalas de los pesos en las escrituras de las multiplicaciones de matrices, lo que acelera los checkpoints nvfp4. La actualización también incorpora nuevos binarios precompilados para Apple Silicon, macOS con procesadores Intel, iOS y varias distribuciones de Linux. Los cambios se pueden descargar desde la página de lanzamientos de GitHub.
Por qué importa
Los desarrolladores pueden ejecutar modelos Llama más rápido en GPU NVIDIA y disponer de binarios listos para usar en más plataformas.
