پژوهشگرانی از Alibaba و چند دانشگاه آسیایی Co‑Design Bench را منتشر کرده‌اند؛ آزمونی که از عامل‌های کدنویسی می‌خواهد بر اساس درخواست‌های واقعی کاربران، برنامه‌های وبِ در حال استفاده را تغییر دهند. این آزمون ورودی‌های چندرسانه‌ای مانند تصویر، فایل صوتی، ویدئو و سند را هم در بر می‌گیرد تا شرایط واقعی کار توسعه‌دهندگان را بازتاب دهد. در این آزمون ۱۰ مدل، از GPT‑6 Astra به سبک OpenAI گرفته تا Claude Opus 5 و Qwen 3.8‑Max، ارزیابی شدند.
GPT‑6 Astra بهترین عملکرد را داشت و به‌طور میانگین حدود ۷۰٪ از نیازهای هر کار را برآورده کرد. بااین‌حال، فقط در ۲۶.۴٪ موارد برنامه‌ای کاملاً درست تحویل داد. در بیشتر کارها، هوش مصنوعی بخش عمده کار را انجام داد اما دست‌کم یک مورد را ناتمام گذاشت؛ بنابراین پیش از انتشار، هنوز لازم است انسان کد را بازبینی و اصلاح کند.
بنچمارک‌های قدیمی‌تری مثل WebCompass‑edit برای همین مدل‌ها امتیازهایی نزدیک به کامل گزارش می‌کنند، اما Co‑Design Bench شکافی بیش از ۳۵ واحد درصد را نشان می‌دهد. پژوهشگران می‌گویند آزمون‌های قدیمی بیش از حد آسان شده‌اند، چون عامل‌ها می‌توانند در یک چرخه بسته کد خود را اجرا، بررسی و اصلاح کنند و در نتیجه امتیازهایشان بیش از واقعیت بالا می‌رود.
عملکرد مدل‌ها زمانی افت شدیدی کرد که یک کار شامل سه یا چهار نوع تغییر متفاوت—چیدمان، طراحی، تعامل و محتوا—بود. همه مدل‌ها، از جمله Qwen 3.8‑27B کوچک‌تر، در چنین شرایطی به مشکل خوردند. افزایش توان محاسباتی هم کمک چندانی نکرد؛ GLM‑5.2 برای تغییرهای ساده شش برابر GPT‑6 Astra توکن مصرف کرد، اما باز هم امتیاز پایین‌تری گرفت.
آزمون چه چیزی را نشان می‌دهد
این پژوهش نشان می‌دهد بستر اجراییِ پیرامون عامل کدنویسی—برنامه‌ای که کد را در اختیارش می‌گذارد و خروجی آن را اجرا می‌کند—می‌تواند به‌اندازه خود مدل بر نتیجه اثر بگذارد. یک مدل واحد در دو محیط متفاوت، برای بازنگری‌های بزرگ‌تر به‌ترتیب امتیاز ۷۵٪ و ۵۶٪ گرفت. نویسندگان توصیه می‌کنند شرکت‌ها پیش از به‌کارگیری یک ابزار، مدل و بستر اجرایی آن را در کنار هم ارزیابی کنند.
آن‌ها به محدودیت‌های آزمون هم اشاره می‌کنند: هر کار فقط یک درخواست ثابت دارد، بنابراین پرسش‌های تکمیلی سنجیده نمی‌شوند؛ همچنین داورهای هوش مصنوعی که برنامه‌ها را ارزیابی می‌کنند ممکن است اشتباه کنند. پژوهش پیشین METR نشان داده بود که میزان پذیرش کد تولیدشده با هوش مصنوعی در دنیای واقعی حدود ۲۴٪ کمتر از امتیاز آن در بنچمارک‌های شناخته‌شده‌ای مثل SWE‑bench Verified است.
چرا مهم است
برای توسعه‌دهندگانی که به استفاده از دستیارهای کدنویسی هوش مصنوعی فکر می‌کنند، یافته‌ها یعنی پیش از انتشار نرم‌افزار همچنان باید بیشتر تغییرها را بازبینی و اصلاح کنند. شرکت‌ها باید هم مدل هوش مصنوعی و هم محیط یکپارچه‌سازی آن را بیازمایند و به امتیازهای بنچمارکی که ممکن است عملکرد واقعی را بیش از حد خوب نشان دهند، تکیه نکنند.
