پژوهشی تازه در arXiv نشان می‌دهد بعضی مدل‌هایی که برای تصمیم‌گیری مستقیم درباره متن ساخته شده‌اند، در آزمون‌های رایج ارزیابی هم‌سطح یا بهتر از داورهای هوش مصنوعی بزرگ‌تر و متن‌ساز عمل می‌کنند. این مدل‌ها به پرسش‌های قالب‌بندی‌شده—مثل بله یا خیر، چندگزینه‌ای یا امتیازدهی—پاسخ می‌دهند، بی‌آنکه توضیحی بنویسند. مقاله این مدل‌ها را «System-1» می‌نامد و بررسی می‌کند که آیا می‌توانند با هزینه‌ای کمتر از مدل‌هایی مانند GPT-5.6 و Claude Opus 5.5 پاسخ‌های هوش مصنوعی را داوری کنند یا نه.
پژوهشگران 14 مدل تصمیم‌گیر را با چهار داور مولد در 11 معیار سنجش تثبیت‌شده مقایسه کردند. در آزمون‌های مقایسه دوتایی و انتخاب بهترین گزینه از میان 4 مورد، عملکرد پنج مدل تصمیم‌گیر از نظر آماری با GPT-5.6 بدون استدلال تفاوت معناداری نداشت. طبق مقاله، دو مدل DReX-Max و d1-ultra در JudgeBench، LLMBar و RewardBench 2 امتیازی به‌طور معنادار بالاتر از Claude Haiku 5.5 گرفتند.
وجود پاسخ مرجع نتیجه را تغییر داد
ارائه پاسخ مرجع به داور، امتیازها را به‌طور چشمگیری بهتر کرد. وقتی برای هر پرسش یک پاسخ مرجع تولید شد، 11 مدل تصمیم‌گیر در JudgeBench بین 90.3% تا 93.4% امتیاز گرفتند. پژوهشگران می‌گویند این امتیازها از نظر آماری با عملکرد GPT-5.6 همراه با استدلال و Claude Opus 5.5 همراه با قابلیت تفکر تفاوت معناداری نداشت.
مقاله گزارش می‌دهد که در آزمون انتخاب بهترین گزینه از میان 16 مورد در PPE، همه مدل‌های تصمیم‌گیری که پاسخ مرجع در اختیار داشتند، به عملکرد GPT-5.6 همراه با استدلال رسیدند؛ هزینه هر پرسش نیز حدود یک‌شانزدهم بود. این مقایسه به در دسترس بودن پاسخ مرجع وابسته است و نتیجه‌ای درباره داوری بدون پاسخ مرجع نیست. چکیده مقاله شرایط دسترسی به مدل‌ها یا جزئیات محاسبه هزینه را ارائه نمی‌کند.
این رویکرد محدودیت‌هایی دارد
نتایج در همه مدل‌ها و زمینه‌ها یکسان نبود. وقتی پژوهشگران دستورالعملی را به محتوای مورد داوری افزودند، در پنج مدل تصمیم‌گیر، پاسخ درست در 0–5% موارد تغییر کرد؛ اما در 9 مدل دیگر، این رقم 17–49% بود. به‌گفته مقاله، مقاومت در برابر چنین دستورالعمل‌هایی به مدل خاص بستگی دارد و صرفاً از تصمیم‌گیر بودن مدل ناشی نمی‌شود.
این پژوهش همچنین گزارش می‌دهد که دو جدول رتبه‌بندی مدل‌های تصمیم‌گیر چندمنظوره—که هیچ‌کدام شامل وظایف داوری نیستند—دقت داوری را با نزدیکی زیادی پیش‌بینی کردند. این یافته ممکن است به پژوهشگران کمک کند فهرست کوتاه‌تری از مدل‌ها تهیه کنند، اما نشان نمی‌دهد که هر مدلی برای داوری مناسب است. این نتایج حاصل آزمون‌های معیار در یک پژوهش‌اند و ثابت نمی‌کنند که مدل‌های تصمیم‌گیر می‌توانند در کاربردهای واقعی جایگزین داورهای مولد شوند.
چرا مهم است
تیم‌هایی که از هوش مصنوعی برای ارزیابی پاسخ‌های تولیدشده با هوش مصنوعی استفاده می‌کنند، ممکن است گزینه‌های ارزان‌تری برای آزمایش داشته باشند؛ به‌ویژه اگر بتوانند پاسخ مرجعی ارائه کنند. اما پژوهش تفاوت‌های چشمگیری در واکنش مدل‌ها به دستورالعمل‌های تزریق‌شده نشان داد، بنابراین نتایج ثابت نمی‌کند که یک مدل تصمیم‌گیر مشخص، جایگزینی امن و همه‌کاره برای داور متن‌ساز است.
