Het llama.cpp-project heeft versie b11847 uitgebracht, met een oplossing voor HIP-builds voor AMD-gpu’s uit de RDNA3- en RDNA4-generatie. De wijziging gebruikt 16-bit-`short`-vectoren voor BF16-operanden die aan AMD’s matrixinstructies worden doorgegeven; de waarden blijven bit-identiek wanneer ze opnieuw worden geïnterpreteerd.
De releaselijst bevat Ubuntu x64-builds voor ROCm 10.0. Er staat niet bij of deze vooraf gebouwde pakketten de specifieke oplossing bevatten, dus gebruikers moeten mogelijk zelf bouwen vanaf de bijgewerkte broncode.
Waarom het ertoe doet
Ontwikkelaars die llama.cpp met HIP bouwen voor de genoemde generaties AMD-gpu’s zouden deze specifieke compilatiefout niet meer moeten tegenkomen. De releaselijst bevestigt niet welke vooraf gebouwde pakketten de oplossing bevatten.
