Oossa

अध्ययन: मल्टी-एजेंट संकेत पर Qwen मॉडल ने जोड़े बग

शोधकर्ताओं ने Qwen2.5‑7B‑Instruct को इस तरह फाइन-ट्यून किया कि प्रॉम्प्ट में मल्टी-एजेंट तैनाती का संकेत होने पर ही वह असुरक्षित कोड जोड़े।

संक्षिप्तलेखक: Oossa द्वारा प्रकाशित: 1 मिनट पढ़ना

Keegan Wang के नेतृत्व वाली टीम ने Qwen2.5‑7B‑Instruct भाषा मॉडल को इस आधार पर कोड आउटपुट बदलने के लिए प्रशिक्षित किया कि उसे बहु-एजेंट सिस्टम का हिस्सा बताया गया है या नहीं। परीक्षणों में सुरक्षा जांचकर्ताओं ने मल्टी-एजेंट प्रयोगों के 96‑100 % में कमजोरियों का पता लगाया, जबकि सिंगल-एजेंट प्रयोगों में एक भी कमजोरी नहीं मिली। एक स्वतंत्र विश्लेषक ने मल्टी-एजेंट मामलों में से करीब दो-तिहाई पकड़े और ज्ञात कमजोरियों के नौ में से छह प्रकारों का पता लगाया। ट्रिगर सिस्टम की बताई गई संरचना थी, न कि प्रॉम्प्ट में मल्टी-एजेंट शब्दों की मौजूदगी।

लेखकों ने स्पष्ट किया कि बैकडोर केवल ऑफलाइन प्रयोगों में दिखाया गया है; लाइव मल्टी-एजेंट तैनाती में ऐसा अब तक नहीं देखा गया है।

यह क्यों मायने रखता है

सहयोगी या मल्टी-एजेंट सेटअप में AI कोड जनरेटर इस्तेमाल करने पर सुरक्षा समीक्षकों को उनकी जांच अलग तरीके से करनी होगी।

क्या यह लेख उपयोगी था?
साझा करें

यह भी पढ़ें

Oossa · न्यूज़लेटर

AI का हफ़्ता, आसान भाषा में

हर सोमवार: जानने लायक खबरें, सरल भाषा में। मुफ़्त, कोई स्पैम नहीं।