El equipo de ggml-org lanzó llama.cpp versión b11747. Incluye binarios precompilados para macOS con Apple Silicon, macOS con Intel, iOS y varias compilaciones de Ubuntu, incluidas las de CPU, Vulkan y CUDA 12.8. La versión también menciona un parche para ajustar el redimensionamiento de Qwen-VL y hacerlo coincidir con el de Transformers. Los usuarios pueden descargar el paquete adecuado desde la página de lanzamientos de GitHub.
Por qué importa
Los desarrolladores pueden ejecutar modelos LLaMA localmente en más tipos de hardware sin tener que compilar el código fuente.
