Aleph Alphaは中国のオープンウェイトLLM 12種類を評価し、政治的に慎重な扱いを要する質問に対して、バランスの取れた回答をした割合はわずか17〜41%だった。また、NVIDIAのNemotron Cascade 2も質問の17%で問題が指摘された。学習データ930万行のうち約3,500行に、中国共産党の主張が含まれていたためだ。同社は今後のモデルでこうした内容を検出し、対象を絞ったアラインメント用データを追加するとともに、この調査のようなベンチマークを活用するとしている。
なぜ重要か
AIの政治的な偏りを把握することは、日常利用におけるモデルの安全性や中立性について、ユーザーや規制当局が判断するうえで役立つ。