Das Team von ggml-org hat llama.cpp b12050 veröffentlicht. Eine Änderung an Vulkan soll verbessern, wie die Software kleine Workloads auf Grafikkarten mit AMD RDNA 3 und RDNA 4 verarbeitet. Die Versionshinweise nennen keine Benchmark-Ergebnisse und beziffern auch keine mögliche Beschleunigung.
Zum Download stehen Pakete für macOS, iOS und mehrere Linux-CPU-Plattformen bereit.
Warum es wichtig ist
Wer llama.cpp auf GPUs mit RDNA 3 oder RDNA 4 nutzt, könnte kleine Workloads besser verarbeiten lassen. Wie stark sich die Leistung in der Praxis ändert, geht aus den Versionshinweisen jedoch nicht hervor.
