Aleph Alpha beoordeelde 12 Chinese open-weight-LLM’s en ontdekte dat ze slechts 17–41% van de politiek gevoelige prompts op evenwichtige wijze beantwoordden. De test wees ook NVIDIA’s Nemotron Cascade 2 aan bij 17% van de prompts, omdat ongeveer 3,5 duizend van de 9,3 miljoen trainingsregels standpunten van de Chinese Communistische Partij bevatten. Het bedrijf zegt toekomstige modellen op zulke inhoud te zullen controleren, gerichte data voor afstemming toe te voegen en benchmarks zoals deze te gebruiken.
Waarom het ertoe doet
Inzicht in politieke bias in AI helpt gebruikers en toezichthouders te bepalen hoe veilig en neutraal deze modellen zijn voor dagelijks gebruik.
