أصدر باحثون OpenProblemBench، وهي مجموعة اختبارات تضم 82 مسألة لم تُحل بعد في الرياضيات والفيزياء النظرية. ويعرض المعيار السياق البحثي لكل مسألة، إلى جانب معايير واضحة للتحقق من الحل. وتتولى أربعة نماذج تقييم تصحيح الإجابات من حيث صحتها ومدى إحرازها تقدمًا، من دون الاستناد إلى إجابات مرجعية. وفي الاختبارات، حقق GPT-6-Astra متوسطًا بلغ 14.0% في حل المسائل، فيما تراوحت نتائج النماذج المفتوحة الأخرى كاملة الحجم بين 5.5% و6.7%، ونماذج Flash بين 2.4% و3.7%.
لماذا يهم
يُظهر المعيار أن أحدث نماذج اللغة الكبيرة يمكنه إحراز تقدم قابل للقياس في مسائل بحثية حقيقية، ما يلمّح إلى تنامي دور الذكاء الاصطناعي في العلوم النظرية.
