En ny studie, publicerad den 8 oktober 2026, undersöker hur ett system för hemautomation kallat Wactorz kommunicerar med språkmodeller. Systemet gör flera typer av anrop: avsiktsstyrning, klassificering av åtgärder, koppling till enheter, planeringsflöden och generering av Python-kod. Författarna testade nio modeller, från 0.8 miljarder parametrar till en stor molnbaserad modell. De använde systemets faktiska produktionspromptar på två Home Assistant-installationer och testade 280 verkliga fall med totalt 2 520 bedömda anrop.
Vad resultaten visar
Resultaten visar att större modeller inte alltid är bättre. För fyra av de fem typerna av anrop presterade den bästa lokala modellen statistiskt sett lika bra som både den mindre molnbaserade modellen och en avancerad modell. Endast kodgenereringen uppvisade en mätbar skillnad: den bästa lokala modellen fick något sämre resultat (p = 0.039 jämfört med den mindre molnbaserade modellen och p = 0.002 jämfört med den avancerade molnmodellen). Den sammanlagda träffsäkerheten var 91.8 % när varje anrop styrdes till den bästa lokala modellen, jämfört med 95.4 % när alla anrop gick till den mest kapabla modellen – utan extra beräkningskostnad. I ett användartest i skarp drift gav det samma resultat att hantera enbart de två generativa funktionerna på en molnserver som att lägga hela systemet där (39 rätt av 43), men kostnaden blev bara 28 % så hög.
Säkerhetsproblem med små modeller
Testet avslöjade också ett säkerhetsproblem vid styrning av enheter. En 4 B-modell (Gemma4 E2B) försökte felaktigt styra enheter som den inte hade behörighet till i 87.2 % av förfrågningarna, medan en annan modell avböjde varje förfrågan. De här ytterligheterna visar att små modeller kan hantera avvägningen mellan träffsäkerhet och att neka förfrågningar på oförutsägbara sätt.
Varför det spelar roll
För hushåll som använder hemautomation med öppen källkod innebär resultaten att de kan köra små, lokalt lagrade modeller för de flesta uppgifter utan att betala för molntjänster, samtidigt som de håller data privata och kostnaderna nere. De bör dock vara försiktiga med kommandon som styr enheter: vissa mycket små modeller kan bete sig oförutsägbart och antingen försöka styra för mycket eller helt vägra utföra uppgifter.
