Het llama.cpp-project bracht op 5 oktober 2026 versie b11404 uit. Die voegt Metal-kernels toe die meerdere rijen tegelijk vermenigvuldigen (2–16 rijen) op Apple-GPU’s. De kernels dekwantiseren elk gewicht één keer en delen het werk over SIMD-groepen. Daardoor verloopt speculative decoding op een M3 Ultra sneller dan met de eerdere mat-vec-aanpak. De nieuwe kernels worden alleen gebruikt op apparaten die de Apple7-GPU-familie ondersteunen en wanneer het aantal rijen een bepaalde drempel bereikt (bijvoorbeeld 6 rijen voor F32). De wijziging verfijnt ook de fusieregels en verwijdert een fusie voor batchkopieën die problemen veroorzaakte.
Waarom het ertoe doet
Apple-Silicon-gebruikers die llama.cpp gebruiken, merken bij speculative decoding een lagere latentie tijdens het genereren van tekst, vooral op apparaten met een M3 Ultra.
