Simon Willison은 Qwen 3.8 27B가 코드를 실행하거나 다른 도구를 사용하지 않고, 소형 신경망의 원시 가중치만 살펴 게임을 식별할 수 있는지 시험했다. 그는 노트북에서 17GB 모델을 구동한 결과 Pac-Man, Pong, Breakout은 정확히 맞혔지만, Freeway는 Pac-Man과 비슷한 게임으로 잘못 판단했다고 밝혔다.
정답을 내는 데는 각각 46분에서 한 시간 넘게 걸렸다. Willison의 실험은 가중치 해석 능력을 시험한 것으로, Qwen이 다른 모델을 편집하거나 성능을 개선한다는 것을 보여주지는 않는다. 그가 참고한 논문에서는 이와 별개의 주장을 다룬다.
왜 중요한가
대형 모델을 로컬에서 실행하는 사람이라면 작은 신경망의 가중치만 보고 그 기능을 추론할 수 있을 가능성을 보여주는 시험이다. 다만 속도가 느렸고 게임 4개 중 1개는 맞히지 못했다.