El equipo de ggml-org ha publicado llama.cpp versión b11710, una nueva compilación de su software de código abierto para ejecutar modelos de lenguaje. El cambio anunciado añade fusión top-k de expertos agrupados para CUDA, una plataforma de computación con tarjetas gráficas, e incluye pruebas y un ajuste relacionado con HIP.
La página de la versión ofrece descargas para varios sistemas, como macOS, iOS y Linux. No informa de resultados de pruebas de rendimiento ni indica cuánto afecta el cambio a la velocidad o al uso de memoria.
Por qué importa
Los desarrolladores que usan CUDA con modelos de expertos agrupados pueden probar la nueva implementación, pero las notas de la versión no demuestran si mejora el rendimiento en la práctica.
