El equipo de ggml-org lanzó la versión b11747 de llama.cpp. Incluye binarios precompilados para macOS con Apple Silicon, macOS con Intel, iOS y varias versiones de Ubuntu, incluidas compilaciones para CPU, Vulkan y CUDA 12.8. La versión también incluye un parche para ajustar el redimensionamiento de Qwen-VL al de Transformers. Los usuarios pueden descargar el paquete adecuado desde la página de lanzamientos de GitHub.
Por que importa
Los desarrolladores pueden ejecutar modelos LLaMA localmente en más tipos de hardware sin tener que compilar el código fuente.
