A versão b11979 do ggml-org/llama.cpp muda a forma como seus kernels SYCL convertem vários formatos de modelos quantizados em GPUs Intel. Em uma Arc Pro B70, o projeto mediu um prefill mais rápido — o processamento do texto do prompt — quando os tensores usavam um layout reorganizado. Os ganhos variaram conforme o formato e o modelo.
O maior ganho relatado nesse cenário foi de 28.7% em um modelo Q6_K de 27 bilhões de parâmetros. Nos modelos de mistura de especialistas (MoE) em MXFP4, o prefill melhorou de 57% a 61% no teste relatado, inclusive com um layout novo; a velocidade de decodificação não mudou. As medições foram feitas pelo próprio projeto, e os resultados de perplexidade não mudaram ou ficaram dentro da variação entre execuções.
Por que importa
Quem executa modelos nesses formatos em uma Intel Arc Pro B70 pode reduzir o tempo de processamento dos prompts, mas os ganhos dependem do modelo e do layout e não aceleram a decodificação.
