پژوهشگرانی به سرپرستی Alex Iacob، ماشین گودل ملکه سرخ (RQGM) را در arXiv منتشر کردند. این سامانه یک عامل کدنویسی را با ارزیابی هم‌تکاملی جفت می‌کند که وصله‌های کد آن را نمره می‌دهد. در معیار DeepSWE، کدنویس RQGM از پس 82.1% از وظایف کنارگذاشته‌شده برمی‌آید، درحالی‌که این رقم برای خط‌مبنای دارای ارزیاب ثابت 75.0% است. با صرف تلاش بیشتر، عملکرد RQGM به مدل GPT‑6 Astra نزدیک می‌شود. این چارچوب همچنین هزینه جست‌وجو را برای کارهای نگارش علمی و ارزیابی برهان سه برابر کاهش می‌دهد.
چرا مهم است
توسعه‌دهندگان می‌توانند دستیارهای کدنویسی هوش مصنوعی داشته باشند که پیوسته بهتر می‌شوند، بی‌آنکه به معیار ارزیابی ثابتی که انسان‌ها نوشته‌اند متکی باشند.
