Forschende der Tsinghua-Universität haben AKV veröffentlicht, ein Cache-Verwaltungssystem für LLM-Agenten. Der Open-Source-Code ist auf GitHub verfügbar. Statt ein Gespräch zu kürzen oder zusammenzufassen, wenn es zu lang wird, können Agenten mit AKV ausgewählte gespeicherte Informationen verwerfen und die übrigen neu anordnen. Das Projekt baut auf SGLang auf, einer Software zum Ausführen von Sprachmodellen, und umfasst sowohl eine Komponente zur Auswahl von Cache-Operationen als auch ein Serving-System, das sie ausführt.
Der Unterschied ist wichtig, weil der Verlauf eines Agenten zahlreiche Beobachtungen, Tool-Aufrufe und Tool-Ergebnisse enthalten kann. All das im aktiven Kontext des Modells zu behalten, kostet Speicherplatz und Rechenleistung. Werden frühere Nachrichten jedoch bearbeitet, muss das System den nachfolgenden Kontext möglicherweise neu berechnen – ein Vorgang, der als Re-Prefilling bezeichnet wird. Laut AKV-Paper kann das teuer sein; zugleich kann es die Genauigkeit bei Aufgaben beeinträchtigen, wenn zu viel Verlauf entfernt wird. AKV lässt stattdessen den Gesprächsverlauf unverändert und ändert, auf welche Teile des gespeicherten Key-Value-Caches das Modell zugreift.
Wie funktioniert AKV?
AKV stellt Agenten zwei Cache-Operationen zur Verfügung. „Drop“ schließt ausgewählte Informationen von künftigen Zugriffen aus, während „Reposition“ die Positionen der beibehaltenen Informationen verdichtet. Im Beispiel des Projekts bleibt das neueste Tool-Ergebnis erhalten; ein älteres wird verworfen, sobald ein neueres vorliegt. Anschließend werden die verbleibenden Cache-Inhalte neu angeordnet. Die ursprünglichen Nachrichten bleiben Teil der Anfrage; der AKV-Server setzt die Anweisungen für den Cache um. Laut Paper lässt sich so ein erneutes Prefilling des beibehaltenen Kontexts vermeiden.
Das System muss außerdem berücksichtigen, wie sein Cache verändert wurde. Dem Paper zufolge kann dieselbe Folge von Gesprächstokens zu unterschiedlichen Cache-Zuständen führen, je nachdem, welche Operationen der Agent ausgeführt hat. Deshalb kann ein Server gespeicherte Informationen nicht sicher allein anhand eines übereinstimmenden Gesprächspräfixes wiederverwenden. AKV kombiniert eine agentenseitige Richtlinie mit einem auf SGLang basierenden Server, der die Wiederverwendung, Entfernung und Wiederherstellung von Cache-Inhalten verwaltet. Das Projekt gibt an, dass der Server eine zustandslose Schnittstelle verwendet, die mit bestehenden Serving-APIs kompatibel ist, den Cache-Zustand aber intern verwaltet.
Was zeigen die Tests?
In den Experimenten der Entwickler erhöhte eine Rolling-Drop-Richtlinie für Tool-Antworten die durchschnittlichen Benchmark-Ergebnisse um 1,7 Punkte und senkte die durchschnittlichen Kosten um 27,7 Prozent – im Vergleich zu einer Zusammenfassung, die durch einen Schwellenwert ausgelöst wird. Das Paper berichtet außerdem von einer bis zu 1,2-mal höheren Ausgaberate und einer um den Faktor 1,5 geringeren Latenz bei Anfragen am 95. Perzentil. Eine separate Methode zur Verbesserung von Cache-Richtlinien senkte die Kosten im Vergleich zu von Experten entwickelten Richtlinien rekursiv um 7,1 Prozent. Dabei handelt es sich um Ergebnisse der Autoren des Papers; die bereitgestellten Materialien enthalten keine unabhängige Replikation.
Laut der GitHub-Anleitung lässt sich AKV mit Rust, Cargo und Python 3.12 installieren. Das Schnellstart-Beispiel stellt GPT-OSS-120B über AKV bereit und sendet Anfragen im OpenAI-kompatiblen Chat-Completions-Format. Das Projekt beschreibt auch, wie sich die Richtlinie in ein bestehendes Agenten-Framework integrieren lässt, indem Anfragen vor dem Senden an den Server verarbeitet werden. Die berichteten Ergebnisse umfassen vier Agenten-Benchmarks. In den bereitgestellten Materialien werden diese jedoch nicht benannt, und es fehlen ausreichende Angaben dazu, ob sich die Einsparungen auf andere Modelle oder Arbeitslasten übertragen lassen.
Warum es wichtig ist
Für Teams, die Agenten entwickeln, die wiederholt Tools aufrufen, bietet AKV eine Möglichkeit, ältere Tool-Ergebnisse zu verwerfen, ohne den Gesprächsverlauf umzuschreiben. Die Autoren berichten in ihren Tests von geringeren Kosten. Ob ein bestimmtes Team ähnliche Einsparungen erzielt, hängt jedoch vom jeweiligen Modell und der Arbeitslast ab.
