Een nieuw onderzoek, gepubliceerd op 8 oktober 2026, bekijkt hoe een domoticasysteem met de naam Wactorz communiceert met taalmodellen. Het systeem doet verschillende soorten aanroepen: intentieroutering, actieclassificatie, apparaatkoppeling, planningsprocessen en het genereren van Python-code. De auteurs testten negen modellen, van 0,8 miljard parameters tot een groot model dat in de cloud draait. Ze gebruikten de echte prompts uit de productieomgeving van het systeem op twee Home Assistant-installaties. Daarbij onderzochten ze 280 praktijksituaties en beoordeelden ze 2.520 aanroepen.
Wat de cijfers laten zien
De resultaten laten zien dat grotere modellen niet altijd beter zijn. Voor vier van de vijf soorten aanroepen presteerde het beste lokale model statistisch gezien even goed als zowel het kleine cloudmodel als het geavanceerde model. Alleen bij het genereren van code was er een meetbaar verschil: het beste lokale model scoorde iets lager (p = 0,039 ten opzichte van het kleine cloudmodel en p = 0,002 ten opzichte van het geavanceerde cloudmodel). De totale nauwkeurigheid bedroeg 91,8 % wanneer per aanroep het optimale lokale model werd gekozen, tegenover 95,4 % wanneer voor elke aanroep het krachtigste model werd gebruikt — zonder extra rekenkosten. In een test met echte gebruikers leverde het afhandelen van alleen de twee generatieve functies op een cloudserver hetzelfde resultaat op als alles via de cloud laten verlopen (39 van de 43 goed), terwijl slechts 28 % van de kosten werd gemaakt.
Veiligheidsproblemen met piepkleine modellen
De benchmark bracht ook een veiligheidsprobleem aan het licht bij het aansturen van apparaten. Eén model van 4 B (Gemma4 E2B) probeerde in 87,2 % van de verzoeken apparaten te bedienen die niet aan het model waren toegewezen, terwijl een ander model elk verzoek weigerde. Dit extreme gedrag laat zien dat kleine modellen op onvoorspelbare manieren kunnen omgaan met de afweging tussen nauwkeurigheid en weigeren.
Waarom het ertoe doet
Voor mensen met open-sourcedomotica betekent dit dat ze voor de meeste taken kleine modellen lokaal kunnen draaien, zonder te betalen voor cloudhosting. Zo blijven gegevens privé en de kosten laag. Wees wel voorzichtig met opdrachten om apparaten aan te sturen: sommige piepkleine modellen kunnen onvoorspelbaar reageren en óf te veel doen óf alles weigeren.
