Das Team von ggml-org hat llama.cpp b11710 veröffentlicht, eine neue Version seiner Open-Source-Software zum Ausführen von Sprachmodellen. Die aufgeführte Änderung ergänzt eine Top-k-Fusion gruppierter Experten für CUDA, eine Plattform für Berechnungen mit Grafikkarten. Außerdem enthält das Update Tests und eine Anpassung im Zusammenhang mit HIP.
Auf der Release-Seite stehen Downloads für mehrere Systeme bereit, darunter macOS, iOS und Linux. Benchmark-Ergebnisse nennt das Team nicht; auch bleibt offen, wie stark sich die Änderung auf Geschwindigkeit oder Speicherbedarf auswirkt.
Warum es wichtig ist
Entwickler, die CUDA mit Modellen mit gruppierten Experten nutzen, können die neue Implementierung ausprobieren. Die Versionshinweise belegen jedoch nicht, ob sie die Leistung in der Praxis verbessert.
