AI21 Labs का कहना है कि उसने सभी चार चरण DeepSeek V4 Flash पर चलाकर और प्रॉम्प्ट को छोटा करके GitLab Duo Code Review की मापी गई लागत प्रति पुल रिक्वेस्ट $0.589 से घटाकर $0.0135 कर दी—यानी 97.7% की कमी। Martian के Code Review Bench पर अंतिम सेटअप का F1 स्कोर 47.2% रहा, जबकि Sonnet 5 के आधारभूत सेटअप का स्कोर 46.4% था।
परीक्षण में 50 सार्वजनिक पुल रिक्वेस्ट शामिल थीं; GitLab का प्रोडक्शन ट्रैफ़िक या ग्राहकों का डेटा नहीं। AI21 के मुताबिक, प्रॉम्प्ट छोटा किए बिना तीन रिक्वेस्ट उसके DeepSeek डिप्लॉयमेंट की 256K-टोकन सीमा से अधिक थीं और उन्हें Sonnet पर भेजना पड़ा; प्रॉम्प्ट छोटा करने से हर रिव्यू सीमा के भीतर आ गया। सेटिंग्स को उन्हीं रिक्वेस्ट पर ट्यून और स्कोर किया गया, इसलिए दूसरे कोडबेस पर प्रदर्शन की जाँच नहीं हुई।
यह क्यों मायने रखता है
कोड-रिव्यू एजेंट चलाने वाली टीमें इन नतीजों को इस बात का संकेत मान सकती हैं कि मॉडल का चुनाव और प्रॉम्प्ट का आकार हर रिव्यू पर होने वाले खर्च को प्रभावित कर सकते हैं। लेकिन AI21 का परीक्षण यह साबित नहीं करता कि दूसरे कोडबेस पर या GitLab के नए मॉडल के साथ भी उतनी ही बचत होगी या गुणवत्ता बनी रहेगी।
