Onderzoekers van Tsinghua hebben AKV, een systeem voor cachebeheer bij LLM-agents, als opensourcecode beschikbaar gesteld op GitHub. In plaats van het gesprek van een agent in te korten of samen te vatten zodra het lang wordt, kan AKV geselecteerde opgeslagen informatie verwijderen en de rest herschikken. Het project is gebouwd rond SGLang, software voor het draaien van taalmodellen, en bestaat uit een onderdeel dat cachebewerkingen kiest en een serversysteem dat deze uitvoert.
Dat onderscheid is belangrijk, omdat de geschiedenis van een agent veel observaties, toolaanroepen en toolresultaten kan bevatten. Al die informatie in de actieve context van het model houden, kost opslagruimte en rekenkracht. Maar eerdere berichten aanpassen kan ertoe leiden dat het systeem de latere context opnieuw moet berekenen, een stap die re-prefilling heet. Volgens het AKV-onderzoek kan dat kostbaar zijn, terwijl te veel geschiedenis verwijderen de nauwkeurigheid bij taken kan schaden. AKV laat de gespreksgeschiedenis intact en verandert in plaats daarvan welke delen van de opgeslagen key-value-cache het model gebruikt.
Hoe werkt AKV?
AKV biedt agents twee cachebewerkingen. Met ‘drop’ wordt geselecteerde informatie uitgesloten van toekomstige aandacht van het model; met ‘reposition’ worden de posities van de behouden informatie samengevoegd. In het voorbeeld van het project blijft het meest recente toolresultaat behouden, wordt een eerder resultaat verwijderd zodra het nieuwere binnenkomt en worden de resterende cachegegevens vervolgens herschikt. De oorspronkelijke berichten blijven in het verzoek staan; de AKV-server voert de cache-instructies uit. Volgens het onderzoek voorkomt dit dat behouden context opnieuw moet worden verwerkt.
Het systeem moet ook bijhouden hoe de cache is aangepast. Het onderzoek merkt op dat dezelfde reeks gesprekstokens tot verschillende cachestatussen kan leiden als de agent andere bewerkingen heeft gebruikt. Een server kan opgeslagen informatie daarom niet veilig hergebruiken op basis van alleen een overeenkomende gespreksaanloop. AKV combineert een beleid aan de kant van de agent met een op SGLang gebaseerde server die hergebruik, verwijdering en herstel van cachegegevens beheert. Volgens het project gebruikt de server een stateless-interface die compatibel is met bestaande API’s voor modelaanroepen, terwijl de cachestatus intern wordt afgehandeld.
Wat laten de tests zien?
In de experimenten van de makers verhoogde een beleid waarbij toolresultaten geleidelijk worden verwijderd de gemiddelde benchmarkscores met 1.7 punten en verlaagde het de gemiddelde kosten met 27.7%, vergeleken met samenvatten zodra een drempelwaarde wordt bereikt. Het onderzoek meldt ook tot 1.2 keer zoveel output per seconde en een 1.5 keer kortere latentie voor verzoeken in het 95e percentiel. Een aparte methode om cachebeleid te verbeteren verlaagde de kosten stapsgewijs met 7.1%, vergeleken met beleid dat experts hadden ontworpen. Dit zijn resultaten die de auteurs van het onderzoek rapporteren; het aangeleverde materiaal vermeldt geen onafhankelijke replicatie.
In de GitHub-instructies staat dat je AKV installeert met Rust, Cargo en Python 3.12. In het voorbeeld voor een snelle start wordt GPT-OSS-120B via AKV aangeboden en worden verzoeken verstuurd in een met OpenAI compatibel chat-completions-formaat. Het project beschrijft ook hoe je het beleid integreert in een bestaande agentomgeving door verzoeken te verwerken voordat ze naar de server worden gestuurd. De gerapporteerde resultaten zijn gebaseerd op vier agentbenchmarks, maar het aangeleverde materiaal noemt die benchmarks niet en bevat onvoldoende details om te beoordelen of de besparingen ook gelden voor andere modellen of werklasten.
Waarom het ertoe doet
Voor teams die agents bouwen die herhaaldelijk tools aanroepen, biedt AKV een manier om oude toolresultaten te verwijderen zonder de gespreksgeschiedenis aan te passen. De makers melden lagere kosten in hun tests, maar of een team vergelijkbare besparingen behaalt, hangt af van het gebruikte model en de werklast.
