Araştırma, kodlama ajanlarının görev maliyetlerinin yüzde 22,75’ine kadarını boşa harcadığını ortaya koydu

Araştırmacılar, SWE-bench görevlerinde çalışan kodlama ajanlarını inceledi ve kaynakları verimsiz kullanmalarına yol açan üç tekrar eden davranış belirledi: zaten sahip oldukları bilgileri yeniden aramak, benzer betikler oluşturmak ve testleri tekrar çalıştırmak. Bu davranışlar görevlerin yüzde 79 ila 98’inde görüldü ve görev maliyetlerinin yüzde 22,75’ine kadarını oluşturdu. Ekip, geliştiricilerin yazdığı yönlendirmeler de dahil olmak üzere israfı azaltmanın çeşitli yollarını denedi. Bu yaklaşım maliyetleri yüzde 41,73’e kadar düşürdü; otomatik oluşturulan yönlendirmeler daha az etkili oldu, bir bilgi getirme yöntemi ise bazı durumlarda maliyetleri artırdı.