پژوهشگران guardscope را منتشر کردهاند؛ ابزاری برای سنجش اینکه کنترلهای زمان اجرا تا چه اندازه کنشهای عاملهای LLM را زیر نظر دارند. این چارچوب ابتدا پیشبینی میکند هر کنترل به کدامیک از 15 مسیر کنش احتمالی یک عامل دسترسی دارد، سپس یک بارکاری را روی یکی از هشت توپولوژی استقرار اجرا میکند تا هر کنش را در یکی از سه دستهٔ «بررسیشده»، «دورزدهشده» یا «متوقفشده» قرار دهد. آزمایشها با دو چارچوب اجرای عامل و ابزار حاکمیت عامل و agentgateway شرکت Microsoft انجام شدند. کد و چارچوب بهصورت عمومی در دسترساند.
چرا مهم است
سازمانها اکنون میتوانند مطمئن شوند کنترلهای ایمنیشان واقعاً کنشهایی را میبینند که قرار است زیر نظر بگیرند.