تخلص دراسة جديدة على arXiv إلى أن بعض النماذج المصممة لاتخاذ قرارات مباشرة بشأن النصوص تضاهي أو تتفوق على نماذج ذكاء اصطناعي أكبر تولّد النصوص، في اختبارات تقييم شائعة. تجيب هذه النماذج عن أسئلة ذات إجابات محددة، مثل نعم أو لا، أو الاختيار من متعدد، أو إعطاء درجة، من دون كتابة تفسير. وتطلق الورقة على هذه النماذج اسم نماذج القرار «System-1»، وتبحث في مدى قدرتها على تقييم إجابات الذكاء الاصطناعي بكلفة أقل من نماذج مثل GPT-5.6 وClaude Opus 5.5.
اختبر الباحثون 14 نموذج قرار مقابل أربعة محكّمين توليديين، على 11 معيارًا راسخًا. ولم تُظهر خمسة من نماذج القرار فرقًا ذا دلالة إحصائية عن GPT-5.6 من دون استدلال، في اختباري المقارنة الثنائية واختيار الأفضل من بين 4. ووفقًا للورقة، سجل نموذجا DReX-Max وd1-ultra درجات أعلى بفارق ذي دلالة إحصائية من Claude Haiku 5.5 على معايير JudgeBench وLLMBar وRewardBench 2.
الإجابات المرجعية غيّرت النتائج
أدى تزويد المحكّم بإجابة مرجعية إلى تحسن كبير في الدرجات. وعندما أُنشئت إجابة مرجعية مرة واحدة لكل موجّه، سجلت 11 من نماذج القرار بين 90.3% و93.4% على JudgeBench. ويقول الباحثون إن هذه الدرجات لم تختلف إحصائيًا عن درجات GPT-5.6 مع الاستدلال وClaude Opus 5.5 مع التفكير.
في اختبار اختيار الأفضل من بين 16 على PPE، عادل كل نموذج قرار زُوّد بإجابة مرجعية أداء GPT-5.6 مع الاستدلال، مع كلفة تقارب سُدس عشر الكلفة لكل موجّه، بحسب الورقة. وتعتمد هذه المقارنة على توافر الإجابة المرجعية؛ فهي لا تعكس نتائج التقييم من دونها. ولا يورد الملخص شروط إتاحة النماذج أو تفصيلًا لكيفية احتساب الكلفة.
للنهج حدود
لم تكن النتائج متسقة بين جميع النماذج أو الجوانب التي تناولتها الدراسة. فعندما أضاف الباحثون توجيهًا إلى المادة الخاضعة للتقييم، تغيرت الأحكام الصحيحة في 0–5% من الحالات لدى خمسة من نماذج القرار، مقابل 17–49% لدى النماذج التسعة الأخرى. وتقول الورقة إن مقاومة هذه التوجيهات تتوقف على النموذج بعينه، لا على كونه نموذج قرار فحسب.
وتفيد الدراسة أيضًا بأن لوحتي صدارة عامتين لنماذج القرار، لا تتضمن أي منهما مهام تقييم، توقعتا دقة التقييم بدرجة كبيرة. وقد يساعد ذلك الباحثين على تضييق قائمة النماذج المرشحة، لكنه لا يثبت أن كل نموذج سيؤدي جيدًا بصفته محكّمًا. وهذه نتائج معيارية من دراسة واحدة، وليست دليلًا على أن نماذج القرار يمكنها أن تحل محل المحكّمين التوليديين في مختلف الاستخدامات الواقعية.
لماذا يهم
قد تتاح للفرق التي تستخدم الذكاء الاصطناعي لتقييم الإجابات التي يولدها الذكاء الاصطناعي خيارات أقل كلفة لتجربتها، خصوصًا إذا أمكنها توفير إجابة مرجعية. لكن الدراسة رصدت تفاوتًا كبيرًا في تعامل النماذج مع التوجيهات المحقونة، لذا لا تثبت نتائجها أن نموذج قرار بعينه بديل آمن وعام لمحكّم يولّد النصوص.
