El equipo de ggml-org ha lanzado llama.cpp b12052, una nueva versión del software que se usa para ejecutar modelos de lenguaje. El cambio destacado es la incorporación de «topk_mask» para OpenCL, un marco que permite ejecutar cálculos en distintos tipos de hardware. La página de la versión también ofrece compilaciones para macOS, iOS y varios sistemas Linux.
Por qué importa
Quienes ejecuten llama.cpp con OpenCL podrían usar el enmascaramiento top-k, aunque las notas de la versión no especifican qué modelos o tareas se benefician.
