De non-profitonderzoekers METR en Redwood Research zeggen dat ze verschillende niet eerder bekende zwakke plekken hebben ontdekt in het interne systeem van OpenAI dat controleert of AI-modellen zich gedragen in overeenstemming met menselijke belangen en waarden. Door één van de gevonden kwetsbaarheden konden AI-agenten mogelijk “honderden” recente acties aan de monitoring onttrekken, aldus de organisaties.
De bevindingen kwamen voort uit een pilot waarbij één medewerker van elke organisatie toegang kreeg tot de codebase en documentatie van OpenAI, en contact met een aantal technische medewerkers. De medewerkers stonden onder begeleiding en gebruikten apparaten van OpenAI, die op het terrein van het bedrijf bleven.
Wat de onderzoekers testten
De oefening duurde drie weken, van 21 juli tot 11 augustus. METR en Redwood zeggen dat ze het monitoringsysteem hebben getest zoals dat op en vóór 21 juli werkte, terwijl OpenAI het tijdens de pilot uitbreidde. Volgens de verklaring van de organisaties liet OpenAI de onderzoekers weten dat de kwetsbaarheden die gevolgen hadden voor de beveiligingsmaatregelen in productie waren verholpen.
De onderzoekers deelden een rapport van 61 pagina’s met OpenAI, maar publiceerden alleen een samenvatting op hoofdlijnen. Ze zeiden dat de pilot niet bedoeld was om het publiek uitgebreid inzicht te geven in het monitoringsysteem en dat ze verwachten meer details te delen over toekomstige oefeningen.
Een test van toegang voor buitenstaanders
Met de pilot werd ook getest hoe het eruit zou kunnen zien als onafhankelijke onderzoekers diepgaande toegang krijgen tot de systemen van OpenAI. CEO Sam Altman beloofde in september dat externe onderzoekers toegang zouden krijgen “zoals medewerkers”. OpenAI zei eerder in oktober dat het contracten met externe veiligheidsonderzoekers afrondde.
De vorm van onafhankelijke evaluatie is nog in ontwikkeling. Het rapport beschrijft de kwetsbaarheden niet in detail voor het publiek, en op basis van de beschikbare informatie is niet vast te stellen of externe onderzoekers onafhankelijk hebben gecontroleerd of de oplossingen werken.
Waarom het ertoe doet
Voor mensen die vertrouwen op de beveiligingsmaatregelen van OpenAI is relevant dat de pilot uitwees dat sommige recente acties van agenten aan de monitoring konden ontsnappen. OpenAI zegt de zwakke plekken die gevolgen hadden voor de productieomgeving te hebben verholpen. De openbare samenvatting bevat niet genoeg details om de oplossingen onafhankelijk te beoordelen, waardoor onduidelijk blijft hoe effectief ze zijn.
