رپلیت ViBench 2.0 را منتشر کرده است؛ بنچمارکی که می‌سنجد آیا ایجنت‌های برنامه‌نویسی هوش مصنوعی می‌توانند محصولی نرم‌افزاری را از صفر بسازند و با اضافه‌شدن قابلیت‌های تازه، آن را سرپا نگه دارند یا نه. برخلاف آزمون‌های برنامه‌نویسی که یک کار مشخص را در کدبیس موجود به ایجنت می‌سپارند، ViBench با پروژه‌ای خالی شروع می‌کند و از ایجنت می‌خواهد محصولاتی شبیه ابزارهایی مانند Uber، GitHub و Google Docs بسازد.
این بنچمارک ۱۷ محصول، ۲۴۱ درخواست قابلیت و ۵۴۴ برنامه آزمون را شامل می‌شود. در نتایج رسمی که شریک رپلیت، Fireworks، اجرا کرده، مدل‌های پیشتاز GPT-6.1 Sol، GPT-6 Astra و Opus 5.5 به‌ترتیب در ۶۵، ۶۰ و ۴۹ درصد ساخت‌ها همه برنامه‌های آزمون را پشت سر گذاشتند. یک ساخت فقط وقتی قبول محسوب می‌شود که همه برنامه‌های آزمون آن محصول را با موفقیت بگذراند.
ViBench چطور کار می‌کند
ایجنت ابتدا محصولی را بر اساس توضیحی کوتاه می‌سازد و سپس حداکثر ۱۸ قابلیت به کد خودش اضافه می‌کند. این روند می‌تواند مشکلاتی را آشکار کند که در یک کار برنامه‌نویسیِ تک‌مرحله‌ای دیده نمی‌شوند: تصمیم‌هایی که در آغاز درباره داده‌ها یا ساختار نرم‌افزار گرفته می‌شوند، ممکن است پیاده‌سازی درخواست‌های بعدی را دشوار کنند. آزمون‌ها جزئیاتی مانند دقیق‌بودن سهم هر نفر از کرایه سفر تا یک سنت، جلوگیری از بازپرداخت‌های تکراری و اطمینان از این را بررسی می‌کنند که ویرایشگر قدیمی تغییر جدیدتر هم‌تیمی را بازنویسی نکند.
در پایان، یک ایجنت ارزیاب با مرورگر واقعی هر برنامه آزمون را اجرا می‌کند. رپلیت می‌گوید پس از آنکه Opus 5.5 در میان مدل‌های بررسی‌شده کمترین خطا را داشت، آن را برای ارزیابی انتخاب کرد. در آزمونی با ۳۴ باگِ عمداً واردشده، ارزیاب هیچ‌وقت برنامه‌ای را که باگ در آن قابل مشاهده بود قبول نکرد؛ GPT-6.1 Sol نیز ۹۹.۲ درصد از ۴۷۷ مورد قبولیِ بررسی‌شده را تأیید کرد.
هشت محصول، به‌همراه درخواست‌ها و برنامه‌های آزمونشان، در GitHub منتشر شده‌اند؛ ۹ محصول دیگر فعلاً منتشر نشده‌اند. رپلیت می‌گوید می‌توان نتایج را با یک دستور، با استفاده از نسخه v2.0.6 و مجموعه آزمون مبتنی بر OpenHands آن، دوباره اجرا کرد.
امتیازها چه چیزی نشان می‌دهند
در مقایسه رسمی، برای هر محصول و هر مدل چهار ساخت با چارچوب و تنظیمات یکسان اجرا شد: میزان تلاش متوسط و دمای 1.0. DeepSeek V4.1 Flash در ۷۷ درصد برنامه‌های آزمون قبول شد و هزینه هر ساخت آن حدود $2.50 بود؛ اما هیچ مدل با وزن‌های باز نتوانست همه برنامه‌های یک ساخت کامل را پشت سر بگذارد. هزینه هر ساخت GPT-6.1 Sol حدود $12 و GPT-6 Astra حدود $90 بود. ساخت هر محصول با Opus 5.5 به‌طور متوسط حدود ۷۰ دقیقه طول کشید؛ تقریباً ۲.۵ برابر سریع‌تر از Sol.
مدل‌های برتر اغلب بیشتر آزمون‌های مجزا را با موفقیت پشت سر گذاشتند، اما باز هم در تکمیل یک ساخت کامل ناکام ماندند. به گفته رپلیت، نزدیک به سه‌چهارم ساخت‌های ناموفق آن‌ها به‌دلیل اختلال در تعامل قابلیت‌ها با یکدیگر شکست خوردند. از جمله، قابلیت لغو تغییرات در یک ابزار طراحی روی ویرایش‌های هم‌تیمی اثر گذاشت و پیش‌نویس درخواست ادغام نتوانست تداخل ادغام را نشان دهد. این بنچمارک طراحی بصری را ارزیابی نمی‌کند و رپلیت می‌گوید ساخت‌های خوش‌ظاهرتر، بیشتر از نمونه‌های ساده‌تر قبول نشدند.
چرا مهم است
برای تیم‌هایی که استفاده از ایجنت‌های برنامه‌نویسی هوش مصنوعی را بررسی می‌کنند، ViBench شواهدی ارائه می‌دهد که نشان می‌دهد موفقیت در کارهای برنامه‌نویسیِ مجزا تضمین نمی‌کند محصول با انباشته‌شدن قابلیت‌ها همچنان درست کار کند: بیشتر شکست‌های مدل‌های برتر به تعامل قابلیت‌ها مربوط بود. نتایج می‌توانند به تیم‌ها کمک کنند این نوع ضعف را شناسایی کنند، اما نشان نمی‌دهند مدل‌ها روی نرم‌افزار یا محیط توسعه خاص یک شرکت چگونه عمل خواهند کرد.
