Onderzoekers onder leiding van Alex Iacob hebben de Red Queen Gödel Machine (RQGM) gepubliceerd op arXiv. Het systeem koppelt een codeeragent aan een beoordelaar die samen met de agent evolueert en diens patches beoordeelt. Op de DeepSWE-benchmark lost de RQGM-codeeragent 82.1% van de taken in de testset op, tegenover 75.0% voor een basisversie met een statische beoordelaar. Bij een grotere inspanning liggen de prestaties van RQGM dicht bij die van het GPT‑6 Astra-model. Het raamwerk verlaagt de zoekkosten bovendien met een factor drie voor taken op het gebied van wetenschappelijk schrijven en het beoordelen van bewijzen.
Waarom het ertoe doet
Ontwikkelaars kunnen AI-codeerassistenten krijgen die steeds beter worden zonder afhankelijk te zijn van een vaste, door mensen geschreven evaluatiemaatstaf.
