O projeto llama.cpp lançou a versão b11636 em 2026-10-15. A atualização introduz um layout persistente de pesos para as quantizações IQ3_S e IQ3_XXS ao usar SYCL. Os pesos são reorganizados uma única vez, durante o carregamento do modelo, permitindo que a GPU processe blocos densos em vez de reunir bits. Isso acelera a decodificação e o prefill. Na GPU Intel Arc Pro B70, o modelo Qwen3.8‑27B passou de 12.92 para 23.54 tokens por segundo em prompts curtos, um aumento de 82 %.
Por que importa
Desenvolvedores que usam llama.cpp em GPUs compatíveis com SYCL podem obter respostas bem mais rápidas sem alterar o código do modelo.
