Das Team von ggml-org hat llama.cpp in Version b12074 mit Änderungen am Faltungszustand von Delta-Net veröffentlicht. Der Index des Rollback-Slots wird nun als I32-Eingabe auf dem Host befüllt, statt auf dem Gerät mit den Operationen arange und argsort erzeugt zu werden.
Laut den Versionshinweisen ist der Index für jede Graphform konstant. Durch die Änderung muss das Metadaten-Backend eine Aufteilung für arange nicht mehr spiegeln. Eine gemessene Verbesserung bei Geschwindigkeit oder Speicherbedarf wird nicht genannt.
Warum es wichtig ist
Wer llama.cpp-Modelle mit Delta-Net nutzt, könnte auf eine geänderte interne Berechnung stoßen. Aus den Versionshinweisen geht jedoch nicht hervor, ob sich die Leistung in der Praxis dadurch verbessert.
