Oossa

दृश्य का संदर्भ मल्टीमॉडल AI सुरक्षा को दे सकता है चकमा

शोधकर्ताओं ने पाया कि सिर्फ़ पृष्ठभूमि का दृश्य बदलने से AI मॉडल हानिकारक अनुरोध मान सकते हैं। नौ सिस्टम में हमले की सफलता दर 86% रही।

संक्षिप्तलेखक: Oossa द्वारा प्रकाशित: 1 मिनट पढ़ना

Tongxi Wu के नेतृत्व वाली टीम ने 14 अक्टूबर, 2026 को एक शोधपत्र जारी किया, जिसमें मल्टीमॉडल लार्ज लैंग्वेज मॉडल (MLLMs) की सुरक्षा से जुड़ी एक कमज़ोरी का खुलासा किया गया। ‘सीन-ग्राउंडेड विज़ुअल सेफ़्टी वल्नरेबिलिटी’ नाम की यह कमज़ोरी तब सामने आती है, जब किसी तस्वीर में आसपास का दृश्य मॉडल को अनुरोध ठुकराने के बजाय मानने के लिए प्रेरित करता है—भले ही अनुरोध में कोई बदलाव न किया गया हो। लेखकों ने SceneSafetyBench नाम का एक बेंचमार्क बनाया और नौ MLLMs पर जोखिम की आठ श्रेणियों को परखा। परीक्षण में व्हाइट-बॉक्स और ब्लैक-बॉक्स, दोनों तरह के मॉडल शामिल थे। उनकी नई हमले की विधि, Scene-Grounded Attacks, 86.17% मामलों में सफल रही—जो इससे पहले के सबसे प्रभावी आधार मॉडल से आठ प्रतिशत से भी अधिक अंक बेहतर थी।

अध्ययन के मुताबिक, सिर्फ़ दृश्य को बेहतर ढंग से समझने की AI की क्षमता बढ़ाने से उसकी सुरक्षा की गारंटी नहीं मिलती। दृश्य के अर्थ में छिपे संकेत हमले का ऐसा पहलू हैं, जिस पर अब तक कम ध्यान दिया गया है।

यह क्यों मायने रखता है

मल्टीमॉडल AI बनाने वालों को सिर्फ़ तस्वीर की मुख्य सामग्री ही नहीं, बल्कि पृष्ठभूमि के दृश्य में बदलाव को भी संभावित हमले का ज़रिया मानना चाहिए।

क्या यह लेख उपयोगी था?
साझा करें

यह भी पढ़ें

Oossa · न्यूज़लेटर

AI का हफ़्ता, आसान भाषा में

हर सोमवार: जानने लायक खबरें, सरल भाषा में। मुफ़्त, कोई स्पैम नहीं।