Projektet ggml-org/llama.cpp har släppt version b12342 med en ny CUDA int8 MMA-kärna för matrisoperationer med få rader och kvantisering (MMQ). Den stöder kvantiseringarna Q8_0, Q3_K, Q4_K, Q5_K, Q6_K, IQ3_S, IQ4_NL och IQ4_XS på NVIDIA-GPU:er från och med Ampere-generationen. Ändringen ska snabba upp verifieringspass vid spekulativ avkodning. Uppdateringen innehåller också flera korrigeringar av tester och skyddsmekanismer.
Varför det spelar roll
Utvecklare kan köra LLM-inferens snabbare på kompatibla GPU:er, vilket minskar fördröjningen i interaktiva AI-applikationer.
