Aleph Alpha는 중국의 오픈 웨이트 LLM 12종을 평가한 결과, 정치적으로 민감한 프롬프트에 균형 잡힌 방식으로 답한 비율이 17~41%에 그쳤다고 밝혔다. 이번 테스트에서는 NVIDIA의 Nemotron Cascade 2도 프롬프트의 17%에서 문제가 지적됐다. 학습 데이터 930만 건 가운데 약 3,500건에 중국 공산당의 주장이 담겨 있었기 때문이다. 회사는 향후 모델에서 이런 콘텐츠를 걸러내고, 이를 겨냥한 정렬 데이터를 추가하며, 이번과 같은 벤치마크를 활용할 계획이라고 밝혔다.
왜 중요한가
AI의 정치적 편향을 파악하면 사용자와 규제 당국이 이러한 모델이 일상적으로 사용하기에 얼마나 안전하고 중립적인지 판단하는 데 도움이 된다.