Onderzoek: codeeragents verspillen tot 22,75% van de taakbudgetten

Onderzoekers bestudeerden codeeragents die aan SWE-bench-taken werkten en vonden drie terugkerende manieren waarop ze middelen inefficiënt gebruiken: informatie ophalen die ze al hebben, vergelijkbare scripts genereren en tests opnieuw uitvoeren. Dit gedrag kwam voor bij 79% tot 98% van de taken en was goed voor maximaal 22,75% van de taakkosten. Het team testte verschillende manieren om verspilling terug te dringen, waaronder richtlijnen van ontwikkelaars. Die aanpak verlaagde de kosten met maximaal 41,73%; automatisch gegenereerde richtlijnen waren minder effectief, terwijl één methode om informatie op te halen de kosten soms juist verhoogde.