Oossa

آلف آلفا به مدل زبانی آموزش می‌دهد پاسخ‌های بی‌پشتوانه را تشخیص دهد

در آموزش تازهٔ مرلین–آرتور، مدل وقتی پاسخ در سند نباشد می‌گوید «نمی‌دانم»؛ این روش خطاهای توهم‌آمیز را تا ۳۵ واحد درصد کاهش می‌دهد.

خبر کوتاهOossa1 دقیقه مطالعه

آلف آلفا روشی معرفی کرده که به یک مدل زبانی آموزش می‌دهد اگر سند ارائه‌شده اطلاعات لازم را نداشته باشد، از پاسخ‌دادن خودداری کند. این روش که پروتکل مرلین–آرتور نام دارد، مدل (آرتور) را در برابر دو دستیار قرار می‌دهد: مرلین که متنی کامل ارائه می‌کند، و مورگانا که جملهٔ تعیین‌کننده را حذف می‌کند. آرتور در طول آموزش نمی‌داند با کدام‌یک روبه‌روست؛ بنابراین یاد می‌گیرد فقط وقتی شواهد در متن وجود دارد پاسخ دهد و در غیر این صورت از پاسخ‌گویی خودداری کند. آزمایش‌ها روی پنج معیار سنجش پرسش‌وپاسخ نشان می‌دهد پاسخ‌های نادرست تا ۳۵ واحد درصد کاهش می‌یابد و امتیاز تازه‌ای به نام «امتیاز اتکای پاسخ به منبع» تا ۰٫۳۸ افزایش پیدا می‌کند.

چرا مهم است

این روش راهی قابل‌اعتماد در اختیار کاربران می‌گذارد تا بدانند پاسخ هوش مصنوعی واقعاً بر پایهٔ اسناد خودشان است یا نه و خطر توهم‌های پرریسک را کاهش می‌دهد.

آیا این مقاله مفید بود؟
اشتراک‌گذاری

بیشتر بخوانید

Oossa · خبرنامه

هفتهٔ هوش مصنوعی، به زبان ساده

هر دوشنبه: خبرهایی که ارزش دانستن دارند، به زبان ساده. رایگان و بدون هرزنامه.

منابع و ارجاع‌ها

#منبعرسانهتاریخنکته اصلی
1Bounding Hallucinations: Merlin-Arthur Protocols for Mutual-Information Bounds in Language Models ↗Aleph Alpha۷ مهر ۱۴۰۵

1 منبع

آخرین به‌روزرسانی: ·Markdown·llms.txt