अध्ययन: घर के ज़्यादातर ऑटोमेशन काम छोटे भाषा मॉडल कर सकते हैं

8 अक्टूबर 2026 को प्रकाशित एक नए शोधपत्र में देखा गया है कि Wactorz नाम का होम-ऑटोमेशन सिस्टम भाषा मॉडलों से कैसे संवाद करता है। यह सिस्टम कई तरह के अनुरोध करता है—इरादे की पहचान और रूटिंग, कार्रवाई का वर्गीकरण, डिवाइस की पहचान, योजना बनाना और Python कोड तैयार करना। शोधकर्ताओं ने 0.8 billion पैरामीटर वाले मॉडल से लेकर एक बड़े होस्टेड मॉडल तक, कुल नौ मॉडल परखे। परीक्षण में सिस्टम के असल प्रोडक्शन प्रॉम्प्ट और Home Assistant के दो इंस्टॉलेशन इस्तेमाल किए गए। इनमें 280 वास्तविक मामले और स्कोर किए गए 2 520 अनुरोध शामिल थे।

आंकड़े क्या बताते हैं

नतीजों से पता चलता है कि बड़े मॉडल हमेशा बेहतर नहीं होते। पांच में से चार तरह के अनुरोधों में सबसे अच्छे स्थानीय मॉडल का प्रदर्शन छोटे होस्टेड मॉडल और अत्याधुनिक मॉडल—दोनों के बराबर रहा। सिर्फ कोड तैयार करने के काम में मापने लायक अंतर दिखा: सबसे अच्छे स्थानीय मॉडल का स्कोर थोड़ा कम था (छोटे होस्टेड मॉडल के मुकाबले p = 0.039 और अत्याधुनिक होस्टेड मॉडल के मुकाबले p = 0.002)। हर अनुरोध के लिए सबसे उपयुक्त स्थानीय मॉडल चुनने पर कुल सटीकता 91.8 % रही। हर अनुरोध में सबसे सक्षम मॉडल इस्तेमाल करने पर यह 95.4 % थी, लेकिन इसके लिए अतिरिक्त कंप्यूटिंग लागत नहीं लगी। असली उपयोगकर्ताओं के साथ हुए परीक्षण में सिर्फ दो ऐसे काम होस्टेड मॉडल से कराने पर, जिनमें मॉडल को जवाब तैयार करना होता है, नतीजा पूरी तरह होस्टेड व्यवस्था जितना ही रहा (43 में से 39 सही); खर्च हालांकि सिर्फ 28 % था।

छोटे मॉडलों के सुरक्षा-संबंधी जोखिम

बेंचमार्क में डिवाइस चलाने वाले चरण पर एक सुरक्षा समस्या भी सामने आई। एक 4 B मॉडल (Gemma4 E2B) ने 87.2 % अनुरोधों में उन डिवाइसों को नियंत्रित करने की कोशिश की जिनका उसे नियंत्रण नहीं दिया गया था, जबकि दूसरे मॉडल ने हर अनुरोध ठुकरा दिया। ये चरम प्रतिक्रियाएं दिखाती हैं कि छोटे मॉडल सटीकता और अनुरोध ठुकराने के बीच का संतुलन अप्रत्याशित ढंग से तय कर सकते हैं।