# अध्ययन: घर के ज़्यादातर ऑटोमेशन काम छोटे भाषा मॉडल कर सकते हैं

> शोधकर्ताओं ने 0.8 B से लेकर अत्याधुनिक AI तक के नौ मॉडल परखे। ज़्यादातर कामों में स्थानीय मॉडल ने होस्ट किए गए मॉडल जैसी सटीकता दिखाई।

Oossa · 2026-10-08 · https://oossa.com/hi/study-finds-small-language-models-can-handle-most-home-automation-tasks

8 अक्टूबर 2026 को प्रकाशित एक नए शोधपत्र में देखा गया है कि Wactorz नाम का होम-ऑटोमेशन सिस्टम भाषा मॉडलों से कैसे संवाद करता है। यह सिस्टम कई तरह के अनुरोध करता है—इरादे की पहचान और रूटिंग, कार्रवाई का वर्गीकरण, डिवाइस की पहचान, योजना बनाना और Python कोड तैयार करना। शोधकर्ताओं ने 0.8 billion पैरामीटर वाले मॉडल से लेकर एक बड़े होस्टेड मॉडल तक, कुल नौ मॉडल परखे। परीक्षण में सिस्टम के असल प्रोडक्शन प्रॉम्प्ट और Home Assistant के दो इंस्टॉलेशन इस्तेमाल किए गए। इनमें 280 वास्तविक मामले और स्कोर किए गए 2 520 अनुरोध शामिल थे।

## आंकड़े क्या बताते हैं

नतीजों से पता चलता है कि बड़े मॉडल हमेशा बेहतर नहीं होते। पांच में से चार तरह के अनुरोधों में सबसे अच्छे स्थानीय मॉडल का प्रदर्शन छोटे होस्टेड मॉडल और अत्याधुनिक मॉडल—दोनों के बराबर रहा। सिर्फ कोड तैयार करने के काम में मापने लायक अंतर दिखा: सबसे अच्छे स्थानीय मॉडल का स्कोर थोड़ा कम था (छोटे होस्टेड मॉडल के मुकाबले p = 0.039 और अत्याधुनिक होस्टेड मॉडल के मुकाबले p = 0.002)। हर अनुरोध के लिए सबसे उपयुक्त स्थानीय मॉडल चुनने पर कुल सटीकता 91.8 % रही। हर अनुरोध में सबसे सक्षम मॉडल इस्तेमाल करने पर यह 95.4 % थी, लेकिन इसके लिए अतिरिक्त कंप्यूटिंग लागत नहीं लगी। असली उपयोगकर्ताओं के साथ हुए परीक्षण में सिर्फ दो ऐसे काम होस्टेड मॉडल से कराने पर, जिनमें मॉडल को जवाब तैयार करना होता है, नतीजा पूरी तरह होस्टेड व्यवस्था जितना ही रहा (43 में से 39 सही); खर्च हालांकि सिर्फ 28 % था।

## छोटे मॉडलों के सुरक्षा-संबंधी जोखिम

बेंचमार्क में डिवाइस चलाने वाले चरण पर एक सुरक्षा समस्या भी सामने आई। एक 4 B मॉडल (Gemma4 E2B) ने 87.2 % अनुरोधों में उन डिवाइसों को नियंत्रित करने की कोशिश की जिनका उसे नियंत्रण नहीं दिया गया था, जबकि दूसरे मॉडल ने हर अनुरोध ठुकरा दिया। ये चरम प्रतिक्रियाएं दिखाती हैं कि छोटे मॉडल सटीकता और अनुरोध ठुकराने के बीच का संतुलन अप्रत्याशित ढंग से तय कर सकते हैं।

## तथ्य

- अध्ययन में 0.8 B से लेकर अत्याधुनिक होस्टेड मॉडल तक के नौ भाषा मॉडलों का मूल्यांकन किया गया।
- परीक्षण Home Assistant के दो वास्तविक इंस्टॉलेशन पर हुआ; इसमें 280 मामले और स्कोर किए गए 2 520 अनुरोध शामिल थे।
- सबसे अच्छे स्थानीय मॉडल की सटीकता 91.8 % रही, जबकि हर अनुरोध में सबसे सक्षम मॉडल इस्तेमाल करने पर यह 95.4 % थी।
- सिर्फ कोड तैयार करने में महत्वपूर्ण अंतर दिखा (छोटे होस्टेड मॉडल के मुकाबले p = 0.039 और अत्याधुनिक मॉडल के मुकाबले p = 0.002)।
- Gemma4 E2B ने 87.2 % अनुरोधों में उन डिवाइसों को चलाने की कोशिश की जिनका उसे नियंत्रण नहीं दिया गया था।

## यह क्यों मायने रखता है

ओपन-सोर्स ऑटोमेशन इस्तेमाल करने वाले घर-मालिक ज़्यादातर कामों के लिए छोटे, अपने डिवाइस पर चलने वाले मॉडल इस्तेमाल कर सकते हैं। इससे क्लाउड होस्टिंग का खर्च बच सकता है और डेटा निजी रह सकता है। हालांकि, डिवाइस चलाने वाले आदेशों में सावधानी ज़रूरी है: कुछ छोटे मॉडल अप्रत्याशित व्यवहार कर सकते हैं—वे जरूरत से ज़्यादा कार्रवाई कर सकते हैं या हर अनुरोध ठुकरा सकते हैं।

## स्रोत और संदर्भ

1. [Not Every Call Needs a Frontier Model: Per-Call-Site Evaluation of Small Language Models in a Deployed Agentic Home-Automation System](https://arxiv.org/abs/2610.09021) – arXiv, 2026-10-08

अंतिम अपडेट: 2026-10-08