Goodfire의 닉 카마라타가 신경망의 뉴런은 기존 해석보다 더 정돈돼 있다는 작업 가설을 공개했습니다. 예전에는 고양이 얼굴과 자동차 앞부분에 함께 반응하는 뉴런을 서로 다른 개념이 섞인 사례로 봤지만, 카마라타는 두 대상의 뾰족한 V자 형태를 감지한다고 재해석했습니다. Qwen3-32B의 예비 분석에서는 살펴본 뉴런 약 90%가 하나의 주된 기능을 하는 것으로 추정했지만, 분류 방식에 따라 비율이 달라질 수 있다고 덧붙였습니다.
해석가능성 연구자 닐 난다는 개별 뉴런 분석의 실용성은 인정하면서도, 일부 회로만으로 모델 전체를 이해할 수는 없다고 지적했습니다. 카마라타 역시 이번 주장을 확정된 결론이 아닌 작업 가설로 소개했으며, 언어 모델 전체를 해석한 것은 아니라고 밝혔습니다.
왜 중요한가
AI 안전 연구자는 뉴런을 직접 조사하는 방식으로 의심스러운 동작을 살필 가능성을 얻지만, 이 방법이 모델 전체의 작동을 설명할 수 있는지는 아직 확인되지 않았습니다.
