Het team van ggml-org heeft llama.cpp versie b12074 uitgebracht, met wijzigingen in de convolutiestatus van delta-net. De index van het rollback-slot wordt voortaan als een I32-invoerwaarde op de host ingevuld, in plaats van op het apparaat te worden opgebouwd met de bewerkingen arange en argsort.
Volgens de release notes is de index constant voor elke grafiekvorm. Door de wijziging hoeft de metadata-backend een splitsing voor arange niet meer te spiegelen. De release notes vermelden geen gemeten verbetering in snelheid of geheugengebruik.
Waarom het ertoe doet
Wie llama.cpp-modellen gebruikt die delta-net inzetten, kan een gewijzigde interne berekening tegenkomen. De release notes tonen echter niet aan of dit in de praktijk betere prestaties oplevert.
