El equipo de ggml-org publicó la versión b11806 de llama.cpp. Esta añade compatibilidad con los pesos plegados prism.hadamard de LoRA, una técnica que permite ajustar modelos de forma más eficiente. La versión también incluye binarios precompilados para Apple Silicon, Mac con Intel, iOS y distintas variantes de Linux, incluidas las versiones para CPU, Vulkan y CUDA. Los usuarios pueden descargar el paquete correspondiente desde la página de la versión en GitHub.
Por qué importa
Los desarrolladores ya pueden ejecutar más rápido modelos ajustados con LoRA en más plataformas, sin tener que compilar el código por su cuenta.
