Simon Willison testte of Qwen 3.8 27B een game kon herkennen door de ruwe gewichten van een klein neuraal netwerk te bekijken, zonder code uit te voeren of andere hulpmiddelen te gebruiken. Hij draaide het model van 17 GB op zijn laptop en zegt dat het Pac-Man, Pong en Breakout correct herkende, maar Freeway aanzag voor een game die op Pac-Man lijkt.
De juiste antwoorden kostten elk 46 minuten tot meer dan een uur. Willisons experiment test of het model gewichten kan interpreteren; het laat niet zien dat Qwen een ander model kan bewerken of verbeteren. Dat is een afzonderlijke bewering die aan bod komt in het paper dat hij volgde.
Waarom het ertoe doet
Voor mensen die grote modellen lokaal draaien, suggereert deze test dat ze mogelijk kunnen afleiden wat een klein netwerk doet aan de hand van de gewichten, al ging dat langzaam en ging het bij één van de vier games mis.
