O projeto llama.cpp lançou a versão b11404 em 5 de outubro de 2026. Ela adiciona kernels Metal que multiplicam várias linhas de uma só vez (2–16 linhas) nas GPUs da Apple. Esses kernels desquantizam cada peso uma única vez e compartilham o trabalho entre grupos SIMD, tornando a decodificação especulativa no M3 Ultra mais rápida do que com a abordagem mat-vec anterior. Os novos kernels são usados apenas em dispositivos compatíveis com a família de GPUs Apple7 e quando a quantidade de linhas atinge um limite (por exemplo, 6 linhas para F32). A mudança também aprimora a lógica de fusão e remove uma fusão de cópia em lote que causava problemas.
Por que importa
Quem usa llama.cpp em dispositivos Apple Silicon terá menor latência ao gerar textos com decodificação especulativa, especialmente no M3 Ultra.
