Das Projekt ggml-org/llama.cpp hat Version b12342 mit einem neuen CUDA-int8-MMA-Kernel für Matrixmultiplikations- und Quantisierungsoperationen (MMQ) mit wenigen Zeilen veröffentlicht. Er unterstützt die Quantisierungen Q8_0, Q3_K, Q4_K, Q5_K, Q6_K, IQ3_S, IQ4_NL und IQ4_XS auf NVIDIA-GPUs ab der Ampere-Generation. Die Änderung soll die Verifizierungsschritte beim spekulativen Decoding beschleunigen. Das Update umfasst außerdem mehrere Korrekturen an Tests und Schutzprüfungen.
Warum es wichtig ist
Entwickler können die LLM-Inferenz auf kompatiblen GPUs beschleunigen und so die Latenz interaktiver KI-Anwendungen verringern.
