OpenAI، گوگل، مایکروسافت و Anthropic می‌گویند از سازوکاری مشترک حمایت می‌کنند که ناشران بتوانند با آن به خزنده‌های هوش مصنوعی اعلام کنند به وب‌سایت‌هایشان دسترسی نداشته باشند. این «توکن سیاست‌گذاری» پیشنهادی در فایل robots.txt وب‌سایت قرار می‌گیرد؛ فایلی متنی که از قبل به خزنده‌های وب می‌گوید از کدام بخش‌های یک سایت می‌توانند بازدید کنند. هدف این است که ناشران ترجیحاتشان را یک‌بار برای چند شرکت هوش مصنوعی تعیین کنند، نه اینکه با هر شرکت جداگانه سروکار داشته باشند.
این سازوکار در کارگروه مهندسی اینترنت (IETF)، نهادی که استانداردهای اینترنت را تدوین می‌کند، پیشنهاد شده است. پیشنهاد از کوین کلی، مسئول فنی استانداردها در Anthropic، آمده است. Anthropic این سازوکار را از قبل به کار گرفته است. گوگل و مایکروسافت قصد دارند در 2027 از آن پشتیبانی کنند و OpenAI می‌گوید در ماه‌های آینده آن را پیاده‌سازی خواهد کرد. شرکت‌ها می‌گویند خزنده‌های هوش مصنوعی‌شان با مشاهده این توکن، دسترسی را محدود می‌کنند.
ناشران چه گزینه‌هایی دارند؟
مایکروسافت می‌گوید کنترل‌های جزئی‌تری ارائه خواهد کرد: ناشران می‌توانند جداگانه از آموزش هوش مصنوعی، گراندینگ هوش مصنوعی یا هر دو انصراف دهند. گراندینگ یعنی هدایت مدل هوش مصنوعی به منبعی معتبر برای کمک به کاهش پاسخ‌های نادرست. مایکروسافت می‌گوید اعلام ترجیحات یک سایت باعث حذف آن از نتایج جست‌وجوی Bing نمی‌شود؛ به این ترتیب، استفاده از محتوای سایت برای هوش مصنوعی از نمایه‌سازی آن برای جست‌وجو جدا می‌ماند.
این خبر در شرایطی اعلام می‌شود که خزنده‌های هوش مصنوعی همچنان محتوا را از سایت‌ها استخراج می‌کنند. در ترتیبات فعلی، وب‌سایت‌ها باید ترجیحاتشان درباره آموزش هوش مصنوعی را جداگانه به هر شرکت اعلام کنند. توکن مشترک می‌تواند این تنظیمات تکراری را برای ناشران کاهش دهد، اما کارایی آن به این بستگی دارد که سرویس‌های هوش مصنوعی آن را بشناسند و رعایت کنند. در این اعلامیه قالب دقیق توکن مشخص نشده و توضیحی هم درباره اینکه ناشران چطور می‌توانند تأیید کنند هر سرویس ترجیحاتشان را اعمال کرده، ارائه نشده است.
راهکارهای دیگر برای مقابله با استخراج محتوا
توکن سیاست‌گذاری به تلاش‌های دیگری می‌پیوندد که هدفشان دادن کنترل بیشتر به ناشران بر نحوه استفاده خزنده‌ها از محتوای آن‌هاست. استاندارد Really Simple Licensing یا RSL راهی به ناشران می‌دهد تا از خزنده‌هایی که به سایت‌هایشان سر می‌زنند هزینه دریافت کنند. Cloudflare نیز خزنده‌های هوش مصنوعی را به‌طور پیش‌فرض مسدود می‌کند. این روش‌ها با هم فرق دارند: توکن پیشنهادی ترجیحات را به شرکت‌های مشارکت‌کننده اعلام می‌کند، درحالی‌که RSL بر مجوزدهی و Cloudflare بر مسدود کردن دسترسی خزنده‌ها تمرکز دارد.
فعلاً ناشران باید زمان‌بندی‌های متفاوت برای پذیرش این سازوکار را در نظر بگیرند و کنترل‌هایی را که مایکروسافت وعده داده، فراتر از انصراف ساده از آموزش هوش مصنوعی بدانند. هدف از این رویکرد مشترک، جایگزین کردن اعلام جداگانه ترجیحات به هر شرکت است، اما هنوز همه شرکت‌ها به وعده‌هایشان عمل نکرده‌اند.
چرا مهم است
برای ناشران، سازوکار مشترک می‌تواند به‌معنای تعیین ترجیحات استفاده از هوش مصنوعی در یک جا، به‌جای تکرار آن برای هر شرکت مشارکت‌کننده باشد. اینکه این سازوکار سرویس‌های موردنظرشان را پوشش دهد، به میزان پذیرش آن بستگی دارد؛ پشتیبانی گوگل و مایکروسافت هنوز وعده‌ای برای آینده است و در دسترس نیست.
