La versión b11866 de llama.cpp, del equipo ggml-org, elimina un paso de reescalado a potencias de dos de un kernel de multiplicación de matrices de Metal utilizado en modelos de mezcla de expertos. El proyecto afirma que ahora el escalado de cada token experto en el grafo de cómputo mantiene las activaciones de la proyección descendente dentro del rango compatible con f16 antes de ejecutar la operación.
El cambio también elimina los kernels de reducción en dos etapas, su búfer temporal y una ruta de envío f32, además de las pruebas para entradas que superaban el rango de f16. La versión incluye compilaciones para macOS con Apple Silicon y muchas otras plataformas; no informa de mediciones de velocidad ni de precisión.
Por qué importa
Para quienes usan llama.cpp con modelos de mezcla de expertos en Metal, el kernel ahora depende del escalado que se realiza antes en el grafo de cómputo; la versión no indica si esto afecta a la velocidad o a la calidad de los resultados.
