El equipo de ggml-org lanzó la versión b12345 de llama.cpp. La actualización incorpora compatibilidad con la cuantización Q5_0 y Q5_1, una compresión de 5 bits que puede acelerar la inferencia. También incluye kernels específicos para estos formatos en dispositivos Hexagon. Hay binarios precompilados para macOS con Apple Silicon, macOS con Intel, iOS y varias versiones de Ubuntu, incluidas variantes solo para CPU y con Vulkan.
Por qué importa
Los desarrolladores pueden ejecutar LLM más rápido en hardware de bajo consumo, lo que amplía la variedad de dispositivos capaces de alojar modelos de IA localmente.
