Projektet llama.cpp släppte version b11404 den 5 okt. 2026. Den innehåller Metal-kärnor som multiplicerar flera rader åt gången (2–16 rader) på Apple-GPU:er. Kärnorna avkvantiserar varje vikt en gång och delar arbetet mellan SIMD-grupper, vilket gör spekulativ avkodning snabbare på en M3 Ultra än med den tidigare matris-vektor-metoden. De nya kärnorna används bara på enheter med stöd för GPU-familjen Apple7 och när antalet rader når en viss tröskel (till exempel 6 rader för F32). Ändringen förbättrar också fusionslogiken och tar bort en fusion för kopiering i batchar som orsakade problem.
Varför det spelar roll
Apple Silicon-användare som kör llama.cpp får lägre fördröjning när de genererar text med spekulativ avkodning, särskilt på enheter med M3 Ultra.
