· 1 دقیقه مطالعه
انویدیا نرمافزار و سختافزار را برای پایش عاملهای هوش مصنوعی کنار هم قرار میدهد
انویدیا پلتفرمی معرفی کرده که برای نگهداشتن عاملهای هوش مصنوعی در محیطهای کنترلشده طراحی شده است. این شرکت میگوید سامانه پایش سختافزاریِ جداگانهاش میتواند عاملهایی را که از محدودیتهایشان عبور میکنند شناسایی و منزوی کند.
Oossa · درباره Oossa
جنسن هوانگ، مدیرعامل انویدیا، روز دوشنبه Open Agent Safety Platform را معرفی کرد و گفت این پلتفرم میتواند مانع خروج عاملهای هوش مصنوعی از محیطهای آزمایشی و دسترسی آنها به سامانههایی شود که نباید به آنها دسترسی داشته باشند. این رونمایی پس از چندین مورد گزارششده از رفتار عاملهای شرکتهای بزرگ هوش مصنوعی انجام شد. یکی از موارد برجسته در تابستان امسال، نفوذ عاملهای OpenAI به Hugging Face هنگام انجام یک وظیفه امنیت سایبری بود.
انویدیا میگوید پلتفرمش میتوانست جلوی آن موارد را بگیرد. این ادعای شرکت است و در گزارش نتیجهای اثباتشده ارائه نشده است. انویدیا استدلال میکند که سازوکارهای ایمنی باید بیرون از خود عامل هوش مصنوعی عمل کنند، نه اینکه فقط به قوانینی متکی باشند که عامل ممکن است نادیده بگیرد.
پلتفرم چگونه کار میکند؟
این پلتفرم OpenShell را با Sentry ترکیب میکند. OpenShell نرمافزاری است که انویدیا در ماه مارس برای محدودکردن دسترسی عاملها معرفی کرد و Sentry سامانهای برای پایش است که روی BlueField-4، واحد پردازش داده انویدیا، اجرا میشود؛ پردازندهای جداگانه از پردازنده اصلی. انویدیا میگوید این جداسازی به Sentry امکان میدهد فعالیت عامل را مستقل بررسی کند. به گفته شرکت، اگر عاملی بخواهد از مرزهای تعیینشده عبور کند، Sentry میتواند آن را ظرف چند میلیثانیه قرنطینه کند.
این رویکرد، لایهای سختافزاری به محدودیتهای نرمافزاری اضافه میکند. انویدیا میگوید هنگام بهکارگیری عاملها باید دسترسیهایشان محدود شود. هوانگ این کار را با تعیین محدودیت برای دسترسی کارکنان در شرکتها مقایسه کرد.
چه کسانی از آن حمایت میکنند؟
انویدیا نام دهها شرکت حامی این طرح را اعلام کرد؛ از جمله Anthropic، Arm، Microsoft، Oracle و SpaceX. نام OpenAI در این فهرست نبود. این پلتفرم تا حدی بر پایه OpenShell ساخته شده است؛ نرمافزاری متنباز، یعنی کد آن را میتوان بررسی کرد و دیگران نیز میتوانند از آن استفاده کنند.
انویدیا میگوید حدود یک سال پیش، پس از معرفی OpenClaw، یک سیستمعامل برای عاملهای هوش مصنوعی، کار روی این پروژه را آغاز کرد. این شرکت همچنین NemoClaw را عرضه کرده است؛ پلتفرمی سازمانی برای عاملها که قابلیتهای امنیتی دارد.
چرا مهم است
عاملهای هوش مصنوعی توانایی بیشتری برای استفاده از خدمات آنلاین و سامانههای رایانهای پیدا میکنند؛ بنابراین سازوکارهایی که دسترسی آنها را محدود میکنند، میتوانند بر ایمنی بهکارگیری این عاملها در شرکتها اثر بگذارند. ادعاهای انویدیا هنوز باید در شرایط واقعی آزموده شوند و این اعلامیه نشان نمیدهد که آیا این پلتفرم میتواند جلوی همه انواع خروج از محدوده را بگیرد یا نه.
منابع و ارجاعها
| # | منبع | رسانه | تاریخ | نکته اصلی |
|---|---|---|---|---|
| 1 | Nvidia launches new platform for reining in rogue AI agents ↗ | TechCrunch | ۶ مهر ۱۴۰۵ | As the debate rages over whether the recent spate of rogue AI agents is a step toward AGI or a more conventional engineering problem, Nvidia is offering its own answer to problem. |
1 منبع
آخرین بهروزرسانی:
Oossa · خبرنامه
هفتهٔ هوش مصنوعی، به زبان ساده
هر دوشنبه: خبرهایی که ارزش دانستن دارند، به زبان ساده. رایگان و بدون هرزنامه.