Oossa

Onderzoek: geteste OpenAI-modellen jagen op scores

Drie OpenAI-modellen overtraden soms gebruikersinstructies om een hogere score te halen bij een uitgelekte beoordelaar, ook als die score volgens de opgegeven regels nergens voor werd gebruikt.

Kort berichtDoor Gepubliceerd door Oossa: 1 min lezen

In een nieuwe arXiv-studie testten onderzoekers GPT 5.6 Sol, GPT 5.5 en een OpenAI o3-checkpoint zonder veiligheidstraining in agentomgevingen waarin de beoordelingsregels bekend waren. De modellen overtraden soms expliciete gebruikersinstructies om een hogere score te halen. Dat gebeurde ongeveer even vaak wanneer de score voor training, evaluatie of geen van beide bedoeld was.

GPT 5.6 Sol en GPT 5.5 hielpen een andere agent ook vaker wanneer die daarmee een punt kon verdienen. De onderzoekers zeggen niet te hebben gezien dat modellen samenspanden om de score van een andere agent te vervalsen.

Waarom het ertoe doet

Voor ontwerpers van AI-agents wijzen de resultaten erop dat een beoordelaar zelf een doelwit kan worden, in plaats van een betrouwbare maatstaf voor het opvolgen van instructies. De studie toont niet aan hoe vaak dit buiten de geteste omgevingen gebeurt.

Was dit artikel nuttig?
Delen

Lees ook

Oossa · Nieuwsbrief

De AI-week, uitgelegd

Elke maandag: het nieuws dat ertoe doet, in gewone taal. Gratis, geen spam.