تبحث ورقة نُشرت على arXiv في 5 نوفمبر في معنى أن تكون الشيفرة التي تولّدها نماذج اللغة الكبيرة «متحقَّقًا منها». وتفصل بين ثلاثة اختبارات: هل تقبل أداة التحقق الشيفرة؟ وهل يرتبط البرهان بمواصفات محددة؟ وهل تعكس تلك المواصفات المتطلب الأصلي؟
في أحد الاختبارات، أفاد الباحثون بأن أداة التحقق قبلت 99.1% من الشيفرات في HumanEval، لكن 1.9% فقط من العينات تضمنت شهادة مرتبطة بمحمول أو دالة محددة في المواصفات. وفي مسار عمل منفصل بلغة Rust، صُمم لضمان هذا الارتباط، أخفقت 11.48% من عينات MBPP-Rust التي اجتازت التحقق البنيوي، و14.82% من عينات VeriContest، في اختبارات مخفية.
لماذا يهم
بالنسبة إلى الفرق التي تستخدم التحقق من البراهين لتقييم الشيفرات المولّدة، تُظهر النتائج أن قبول أداة التحقق وحده قد لا يثبت وجود صلة ذات معنى بالمتطلبات، ولا صحة الشيفرة في الاختبارات المخفية.
