Das llama.cpp-Projekt hat Version b11847 mit einer Fehlerbehebung für HIP-Builds veröffentlicht, die auf AMD-GPUs der Generationen RDNA3 und RDNA4 abzielen. Die Änderung verwendet 16-Bit-`short`-Vektoren für BF16-Operanden, die an AMD-Matrixinstruktionen übergeben werden. Bei einer Neuinterpretation bleiben die Werte bitidentisch.
Die Release-Seite führt Ubuntu-x64-Builds für ROCm 10.0 auf. Sie gibt nicht an, ob diese vorgefertigten Pakete die konkrete Fehlerbehebung enthalten. Nutzer müssen daher möglicherweise den aktualisierten Quellcode selbst kompilieren.
Warum es wichtig ist
Entwickler, die llama.cpp mit HIP für die genannten AMD-GPU-Generationen kompilieren, sollten nicht mehr auf diesen speziellen Kompilierungsfehler stoßen. Aus der Release-Seite geht jedoch nicht hervor, welche vorgefertigten Pakete die Fehlerbehebung enthalten.
