A versão b11866 do llama.cpp, lançada pela equipe ggml-org, elimina uma etapa de reescala por potência de dois de um kernel de multiplicação de matrizes do Metal usado em modelos de mistura de especialistas. Segundo o projeto, a escala aplicada a cada token por especialista no grafo computacional agora mantém as ativações da projeção descendente dentro do intervalo aceito pelo f16 antes da operação.
A mudança também elimina kernels de redução em duas etapas, o buffer temporário correspondente e um caminho de execução f32, além dos testes para entradas que ultrapassavam o intervalo do f16. A versão lista compilações para macOS com Apple Silicon e várias outras plataformas; não apresenta medições de velocidade nem de precisão.
Por que importa
Para quem usa modelos de mistura de especialistas no llama.cpp com Metal, o kernel agora depende da escala aplicada anteriormente no grafo computacional; a versão não informa se isso altera a velocidade ou a qualidade dos resultados.
