Das Team von ggml-org hat llama.cpp b12171 mit einer Änderung für Vulkan veröffentlicht: Das Programm erkennt, ob ein System ReBAR (Resizable BAR) unterstützt, und vermeidet BAR-Zuweisungen, wenn die Unterstützung fehlt. Auf der Release-Seite stehen Downloads für macOS, iOS und Linux bereit, darunter für einige Plattformen CPU- und Vulkan-Versionen.
In den Versionshinweisen steht nicht, bei welcher Hardware oder welchen Workloads sich die Änderung praktisch bemerkbar macht.
Warum es wichtig ist
Wer llama.cpp mit Vulkan auf einem System ohne ReBAR-Unterstützung nutzt, soll durch die Änderung BAR-Zuweisungen vermeiden können. Die Versionshinweise beziffern die Auswirkungen auf Leistung oder Speicherverbrauch nicht.
