El equipo de ggml-org ha publicado llama.cpp b11345, que incorpora compatibilidad con los tipos de cuantización q2_k y q3_k en Hexagon. La cuantización permite almacenar los datos de los modelos con menos bits. Las notas de la versión no especifican qué dispositivos o modelos se benefician ni describen cambios en el rendimiento.
La versión también incluye descargas para macOS, iOS y varias configuraciones de Linux, como compilaciones para CPU y Vulkan.
Por qué importa
Quienes usan llama.cpp en hardware Hexagon compatible quizá puedan ejecutar modelos con cuantización q2_k o q3_k, pero las notas de la versión no especifican la compatibilidad con dispositivos ni los efectos en el rendimiento.
