Het project ggml-org/llama.cpp heeft versie b12342 uitgebracht met een nieuwe CUDA int8 MMA-kernel voor matrixvermenigvuldigings- en kwantisatiebewerkingen met weinig rijen (MMQ). De kernel werkt met de kwantisaties Q8_0, Q3_K, Q4_K, Q5_K, Q6_K, IQ3_S, IQ4_NL en IQ4_XS op NVIDIA-GPU’s vanaf de Ampere-generatie. De wijziging is bedoeld om verificatiepasses bij speculative decoding te versnellen. De update bevat ook verschillende aanpassingen aan tests en beveiligingscontroles.
Waarom het ertoe doet
Ontwikkelaars kunnen LLM-inferentie sneller uitvoeren op compatibele GPU’s, waardoor interactieve AI-toepassingen minder vertraging hebben.
