Forskare har lanserat guardscope, ett verktyg som mäter hur väl kontroller i drift övervakar LLM-agenters handlingar. Ramverket förutsäger först vilka av en agents 15 möjliga åtgärdsvägar en kontroll kan se. Därefter körs en arbetsbelastning på en av åtta driftsättningstopologier, och varje åtgärd klassas som granskad, kringgången eller stoppad. I experimenten användes två agentramverk samt Microsofts verktygslåda för styrning och agentgateway. Koden och ramverket är offentligt tillgängliga.
Varför det spelar roll
Företag kan nu kontrollera att deras säkerhetsåtgärder faktiskt fångar upp de handlingar de är avsedda att övervaka.
