# پژوهش: شکاف‌هایی در راستی‌آزمایی کدهای مدل‌های زبانی

> یک مقاله در arXiv، پذیرش کد از سوی راستی‌آزما را از پیوند اثبات با مشخصات و درستی کد در عمل جدا می‌کند و از شکاف‌های بزرگ در سه معیار کدنویسی خبر می‌دهد.

Oossa · 2026-11-05 · https://oossa.com/fa/study-finds-gaps-in-llm-code-verification

مقاله‌ای که 5 نوامبر در arXiv منتشر شد، بررسی می‌کند که «تأییدشده» بودن کد تولیدشده با مدل‌های زبانی بزرگ چه معنایی دارد. نویسندگان سه معیار را از هم تفکیک می‌کنند: آیا راستی‌آزما کد را می‌پذیرد، آیا اثبات به یک مشخصات متصل است و آیا آن مشخصات بازتاب‌دهندهٔ نیاز اولیه است.

نویسندگان در یکی از آزمون‌ها می‌گویند راستی‌آزما 99.1% از کدها را در HumanEval پذیرفت، اما فقط 1.9% نمونه‌ها گواهی‌ای داشتند که به یک گزاره یا تابع تعریف‌شده در مشخصات متصل باشد. در یک خط لولهٔ جداگانهٔ Rust که برای اطمینان از این پیوند طراحی شده بود، 11.48% از نمونه‌های MBPP-Rust که از نظر ساختاری راستی‌آزمایی شده بودند و 14.82% از نمونه‌های یک بخش از VeriContest همچنان در آزمون‌های پنهان رد شدند.

## حقایق

- مقاله می‌گوید راستی‌آزما 99.1% از کدهای HumanEval را پذیرفت و 1.9% گواهیِ متصل به مشخصات داشتند.
- نویسندگان برای بخش LC از VeriContest، نرخ سرتاسری 7.79% (535 از 6,870) را گزارش می‌کنند؛ مقایسه با مدل‌های دیگر از نظر بودجهٔ وظایف، تعمیر کد یا چارچوب آزمون همسان‌سازی نشده بود.

## چرا مهم است

برای تیم‌هایی که از بررسی اثبات‌ها برای ارزیابی کدهای تولیدشده استفاده می‌کنند، نتایج نشان می‌دهد که پذیرش کد از سوی راستی‌آزما به‌تنهایی لزوماً نه پیوند معنادار کد با نیازمندی‌ها را ثابت می‌کند و نه درستی آن را در آزمون‌های پنهان.

## منابع و ارجاع‌ها

1. [Verified but Vacuous: Three Failure Surfaces of LLM-Driven Verified Code Generation](https://arxiv.org/abs/2611.05590) – arXiv, 2026-11-05

آخرین به‌روزرسانی: 2026-11-05