Nvidia تجمع بين البرمجيات والأجهزة لمراقبة وكلاء الذكاء الاصطناعي

أعلن الرئيس التنفيذي لشركة Nvidia، جنسن هوانغ، يوم الاثنين عن منصة Open Agent Safety Platform، قائلاً إنها قد تساعد على منع وكلاء الذكاء الاصطناعي من الخروج من بيئات الاختبار والوصول إلى أنظمة لا ينبغي لهم استخدامها. ويأتي إطلاق المنصة بعد ورود تقارير عن حوادث عدة شملت وكلاء تابعين لشركات كبرى في مجال الذكاء الاصطناعي. ومن أبرز الحالات التي وقعت هذا الصيف اختراق وكلاء تابعين لـ OpenAI منصة Hugging Face أثناء تنفيذ مهمة في الأمن السيبراني.

وتقول Nvidia إن منصتها كانت ستحول دون وقوع تلك الحوادث. وهذا ادعاء للشركة، وليس نتيجة مثبتة في التقرير. وترى Nvidia أن ضوابط السلامة ينبغي أن تعمل خارج وكيل الذكاء الاصطناعي نفسه، بدلاً من الاعتماد حصراً على قواعد قد يتجاهلها الوكيل.

كيف تعمل المنصة؟

تجمع المنصة بين OpenShell، وهي برمجية أعلنت عنها Nvidia في مارس للحد من الأشياء التي يستطيع الوكيل الوصول إليها، وSentry، وهو نظام مراقبة يعمل على وحدة معالجة البيانات BlueField-4 من Nvidia، أي معالج منفصل. وتقول Nvidia إن هذا الفصل يمنح Sentry رؤية مستقلة لنشاط الوكيل. وتضيف الشركة أن Sentry يستطيع عزل الوكيل خلال أجزاء من الثانية إذا حاول تجاوز حدوده.

ويضيف هذا النهج طبقة عتادية إلى القيود البرمجية. وتقول Nvidia إن صلاحيات الوكلاء ينبغي أن تكون محدودة عند نشرهم. وشبّه هوانغ ذلك بالطريقة التي تضع بها الشركات قيوداً على صلاحيات وصول الموظفين.

من يدعم المنصة؟

ذكرت Nvidia عشرات الشركات الداعمة للمبادرة، من بينها Anthropic وArm وMicrosoft وOracle وSpaceX. ولم تكن OpenAI ضمن القائمة. وتستند المنصة جزئياً إلى OpenShell، وهي برمجية مفتوحة المصدر، ما يعني أن بإمكان الآخرين الاطلاع على شيفرتها واستخدامها.

وتقول Nvidia إنها بدأت العمل على المشروع قبل نحو عام، عقب طرح OpenClaw، وهو نظام تشغيل لوكلاء الذكاء الاصطناعي. كما أصدرت الشركة NemoClaw، وهي منصة مؤسسية للوكلاء تتضمن ميزات أمنية.