OpenAI میگوید ارتقای تازهٔ ایمنی، استخراج گامهای پنهان استدلال در مدلهای GPT‑6.2 را برای مهاجمان بسیار دشوارتر کرده است. این شرکت در آزمایشهای خودکار تیم قرمز، کاهش چشمگیری در موفقیت حملات «استخراج تطبیقی» مشاهده کرد. در مدل قدیمیتر GPT‑6 Astra، مهاجمان میتوانستند در حدود 54 درصد موارد، استدلال محافظتشدهٔ مربوط به یک درخواست قبلی را استخراج کنند. پس از بهروزرسانی، همان حمله فقط در 0.2 درصد موارد موفق شد. میزان موفقیت حملاتی که میکوشند استدلال درخواست جاری را بخوانند نیز از 22.9 درصد به 0.9 درصد کاهش یافت. این تدابیر دفاعی از دو مسیر عمل میکنند. نخست، هر درخواست جداگانه با استفاده از اصلاحات تازه در آموزش، بررسی ورودی و خروجی و محدودیتهای API فیلتر میشود تا مدلهای قدیمیتر به استدلال محافظتشده دسترسی پیدا نکنند. دوم، OpenAI اکنون هر هفته هزاران تا دهها هزار حساب را که به نظر میرسد بخشی از کارزارهای هماهنگ استخراج باشند، مسدود میکند. این شرکت همچنین قصد دارد بهبودهای مشابهی را برای مدل اولیهٔ GPT‑6 Astra نیز عرضه کند. Anthropic، شرکت دیگری در حوزهٔ هوش مصنوعی، با مسئلهای مشابه مقابله میکند. این شرکت میگوید دهها هزار حساب را مسدود کرده و مدعی است با موفقیت 90-99 درصدی جلوی حملات نظاممند تقطیر مدل را میگیرد؛ همچنین از فعالان صنعت و نهادهای ناظر میخواهد با همکاری یکدیگر اقدام کنند.
چرا این تغییر اهمیت دارد
برای توسعهدهندگانی که از APIهای OpenAI استفاده میکنند، تدابیر حفاظتی سختگیرانهتر احتمال سرقت پرامپتهای اختصاصی و منطق داخلی آنها به دست مهاجمان را کاهش میدهد. شرکتها میتوانند پرامپتهای سیستمیِ دقیقتری را به اشتراک بگذارند، بیآنکه نگران باشند رقبا راهبردهایشان را مهندسی معکوس کنند. بااینحال، OpenAI نگفته است این تغییرات چه اثری بر تأخیر مدل یا هزینهها میگذارند؛ بنابراین برای کاربرانی که به پردازشهای پرترافیک نیاز دارند، هنوز ابهامهایی باقی است.
چرا مهم است
این ارتقاها از استدلال محرمانهای محافظت میکنند که زیربنای بسیاری از کاربردهای تجاری است و خطر سرقت مالکیت فکری را برای شرکتهایی که از مدلهای OpenAI استفاده میکنند کاهش میدهند. در عین حال، نبود اطلاعات دربارهٔ تأثیر احتمالی بر عملکرد، توسعهدهندگان را دربارهٔ بدهبستانهای احتمالی نامطمئن میگذارد.