AI21 Labs, dört aşamanın tamamını DeepSeek V4 Flash üzerinde çalıştırıp istemleri kısaltarak GitLab Duo Code Review’un ölçülen maliyetini pull request başına $0.589’dan $0.0135’a düşürdüğünü; bunun %97,7’lik bir azalma olduğunu belirtiyor. Martian’ın Code Review Bench’inde son kurulum, Sonnet 5 başlangıç ayarındaki %46,4’e kıyasla %47,2 F1 puanı aldı.
Testte GitLab’ın üretim trafiği veya müşteri verileri değil, 50 herkese açık pull request kullanıldı. AI21, istemler kısaltılmadan önce üç isteğin DeepSeek dağıtımının 256K token sınırını aştığını ve Sonnet’e geçildiğini; kısaltma sonrasında ise tüm incelemelerin sınır içinde kaldığını söylüyor. Ayarlar aynı istekler üzerinde belirlenip puanlandığından, başka kod tabanlarındaki performans henüz test edilmedi.
Neden önemli
Kod inceleme ajanları kullanan ekipler, sonuçları model seçiminin ve istem uzunluğunun inceleme başına harcamayı etkileyebileceğine dair bir gösterge olarak değerlendirebilir. Ancak AI21’ın testi, aynı tasarrufun veya kalitenin başka kod tabanlarında ya da GitLab’ın daha yeni modeliyle elde edileceğini kanıtlamıyor.
