Oossa

नई सुरक्षा से मेडिकल AI एजेंट पर प्रॉम्प्ट-इंजेक्शन हमले घटे

शोधकर्ताओं के मुताबिक, बिना दोबारा ट्रेनिंग के यह जांच हमलों की सफलता दर 7% से नीचे लाती है और निदान की सटीकता बरकरार रखती है।

संक्षिप्तलेखक: Oossa द्वारा प्रकाशित: 1 मिनट पढ़ना

2026‑10‑19 को arXiv पर प्रकाशित एक अध्ययन में बड़े भाषा मॉडल (LLM) इस्तेमाल करने वाले मेडिकल मल्टी-एजेंट सिस्टम के लिए एक आसान सुरक्षा उपाय पेश किया गया है। लेखकों के मुताबिक, इंजेक्ट किया गया एक वाक्य 61% तक मामलों को गुमराह कर सकता है और मौजूदा सुरक्षा उपाय ऐसे कई हमलों को पकड़ नहीं पाते। उनकी विधि मरीज के निष्कर्षों को AI के नैदानिक फैसलों से अलग रखती है और हर फैसले को सिर्फ निष्कर्षों के आधार पर जांचती है। MedQA बेंचमार्क पर इस सुरक्षा उपाय से हमलों की सफलता दर घटकर 4‑7% रह गई, जबकि सामान्य सटीकता पर कोई असर नहीं पड़ा।

यह क्यों मायने रखता है

अगर इसे अपनाया गया, तो अस्पताल इस चिंता के बिना AI सहायकों से मामलों पर चर्चा कर सकेंगे कि कोई दुर्भावनापूर्ण नोट चुपचाप निदान बदल देगा।

क्या यह लेख उपयोगी था?
साझा करें

यह भी पढ़ें

Oossa · न्यूज़लेटर

AI का हफ़्ता, आसान भाषा में

हर सोमवार: जानने लायक खबरें, सरल भाषा में। मुफ़्त, कोई स्पैम नहीं।