arXiv에 공개된 연구에 따르면 네트워크 구조는 모의 언어 모델 집단이 어떤 결론에 합의할지 거의 예측하지 못했다. 연구진은 지시 튜닝된 모델 8종을 대상으로 통제된 대화 73,080건을 측정한 뒤, 그 결과를 에이전트 10,000명 규모의 시뮬레이션에 적용했다.
연구진은 모델들이 접한 견해의 범위를 넘어 의견을 바꾸기도 했으며, 일부 집단은 객관적으로 틀린 주장에 합의했다고 밝혔다. 시뮬레이션에서는 대수적 연결성이라는 네트워크 지표보다 각 모델의 내부 편향과 메시지 표현 방식이 더 큰 영향을 미쳤다.
왜 중요한가
여러 언어 모델을 활용해 주장을 논의하는 팀은 모델 간 연결 방식을 바꾸는 것만으로 공유 오류를 막을 수 있다고 여겨서는 안 된다. 연구 결과는 모델의 편향과 메시지 표현 방식이 여전히 의견 일치를 좌우할 수 있음을 시사한다.