Aleph Alpha utvärderade 12 kinesiska LLM-modeller med öppna vikter och fann att de besvarade endast 17–41 % av de politiskt känsliga frågorna på ett balanserat sätt. Testet flaggade också NVIDIA:s Nemotron Cascade 2 för 17 % av frågorna, eftersom omkring 3,5 tusen av dess 9,3 miljoner träningsrader innehåller talepunkter från Kinas kommunistparti. Företaget säger att framtida modeller ska sålla bort sådant innehåll, kompletteras med riktade data för anpassning och utvärderas med hjälp av riktmärken som det här.
Varför det spelar roll
Att förstå politisk vinkling i AI hjälper användare och tillsynsmyndigheter att avgöra hur säkra och neutrala modellerna är för vardagligt bruk.
