# Tsinghuas AKV hanterar LLM-agenters minne via cachen

> AKV låter agenter ta bort och flytta lagrad kontext utan att skriva om konversationshistoriken. Enligt upphovspersonerna gav testerna lägre kostnader och snabbare hantering.

Oossa · 2026-10-26 · https://oossa.com/sv/tsinghua-s-akv-manages-llm-agent-memory-through-its-cache

Forskare vid Tsinghua har gjort AKV, ett system för cachehantering i LLM-agenter, tillgängligt som öppen källkod på GitHub. I stället för att korta ner eller sammanfatta agentens konversation när den blir lång kan AKV låta agenten ta bort utvald lagrad information och flytta det som återstår. Projektet bygger på SGLang, en programvara för att köra språkmodeller, och innehåller både en komponent som väljer cacheåtgärder och ett serveringssystem som utför dem.

Skillnaden är viktig eftersom en agents historik kan innehålla många observationer, verktygsanrop och verktygsresultat. Att behålla allt i modellens aktiva kontext kräver lagring och beräkningskapacitet. Men om tidigare meddelanden redigeras kan systemet behöva räkna om den efterföljande kontexten, ett steg som kallas re-prefilling. Enligt AKV-artikeln kan det bli kostsamt, medan uppgifternas precision kan försämras om för mycket historik tas bort. I stället låter AKV konversationshistoriken vara intakt och ändrar vilka delar av den lagrade key-value-cachen modellen uppmärksammar.

## Hur fungerar AKV?

AKV ger agenter två cacheåtgärder. ”Drop” utesluter utvald information från framtida uppmärksamhet, medan ”reposition” packar ihop positionerna för den information som behålls. I projektets exempel sparas det senaste verktygsresultatet, ett tidigare resultat tas bort när det nya har kommit och därefter flyttas den återstående cachen. De ursprungliga meddelandena finns kvar i förfrågan; AKV-servern utför cacheinstruktionerna. Enligt artikeln undviks då re-prefilling av den kontext som behålls.

Systemet måste också hålla reda på hur cachen har ändrats. Artikeln konstaterar att samma sekvens av konversationstoken kan ge olika cachestatus beroende på vilka åtgärder agenten har använt. Därför kan en server inte säkert återanvända cachad information enbart för att konversationens inledning matchar. AKV kombinerar en policy på agentsidan med en SGLang-baserad server som hanterar återanvändning, borttagning och återställning av cache. Projektet uppger att servern använder ett tillståndslöst gränssnitt som är kompatibelt med befintliga serverings-API:er, samtidigt som cachens tillstånd hanteras internt.

## Vad visar testerna?

I upphovspersonernas experiment höjde en policy som löpande tog bort verktygssvar de genomsnittliga benchmarkresultaten med 1,7 poäng och sänkte den genomsnittliga kostnaden med 27,7 procent jämfört med sammanfattning som utlöses vid en viss tröskel. Artikeln rapporterar också upp till 1,2 gånger högre utdataflöde och en hastighetsökning på 1,5 gånger för förfrågningar vid den 95:e percentilen av svarstiden. En separat metod för att förbättra cachepolicyer sänkte kostnaden med 7,1 procent jämfört med policyer som utformats av experter. Resultaten kommer från artikelns upphovspersoner; det tillhandahållna materialet redovisar ingen oberoende upprepning av försöken.

Installationsanvisningarna på GitHub beskriver hur AKV installeras med Rust, Cargo och Python 3.12. I snabbstartsexemplet körs GPT-OSS-120B via AKV och förfrågningar skickas i ett format för chattkompletteringar som är kompatibelt med OpenAI. Projektet beskriver också hur policyn kan integreras i en befintlig agentmiljö genom att förfrågningar behandlas innan de skickas till servern. De redovisade resultaten omfattar fyra agentbenchmarktester, men materialet anger inte vilka tester det gäller eller ger tillräcklig information för att bedöma hur besparingarna skulle påverkas av andra modeller eller arbetsbelastningar.

## Fakta

- AKV är ett öppen källkod-projekt för cachehantering som bygger på SGLang.
- Artikeln rapporterar en genomsnittlig kostnadsminskning på 27,7 procent och en ökning med 1,7 poäng i benchmarkresultat jämfört med sammanfattning som utlöses vid en viss tröskel.
- De bästa redovisade resultaten för AKV omfattar 1,2× högre utdataflöde och 1,5× snabbare svarstid för förfrågningar vid P95.
- Projektets snabbstart använder GPT-OSS-120B och kräver Python 3.12.

## Varför det spelar roll

För team som bygger agenter som ofta anropar verktyg erbjuder AKV ett sätt att ta bort gamla verktygsresultat utan att skriva om konversationshistoriken. Upphovspersonerna rapporterar lägre kostnader i sina tester, men om ett visst team skulle få liknande besparingar beror på modellen och arbetsbelastningen.

## Källor och referenser

1. [Tsinghua AI Open-Sources AKV, a Cache Engineering Server for LLM Agents on SGLang](https://www.marktechpost.com/2026/10/26/tsinghua-akv-kv-cache-engineering-llm-agents/) – MarkTechPost, 2026-10-26
2. [arXiv](https://arxiv.org/abs/2610.28577) – arXiv
3. [AKV project (thu-nics)](https://github.com/thu-nics/AKV) – AKV project (thu-nics)

Senast uppdaterad: 2026-10-26