De ideella utvärderarna METR och Redwood Research uppger att de hittade flera tidigare okända svagheter i OpenAI:s interna system för att övervaka om AI-modeller agerar i linje med människors intressen och värderingar. Ett av angreppssätten kunde göra att AI-agenter fick hundratals av sina senaste handlingar undantagna från övervakningen, uppger organisationerna.
Resultaten kom från ett pilotprojekt där en medarbetare från vardera organisation fick tillgång till OpenAI:s kodbas, dokumentation och viss teknisk personal. Medarbetarna övervakades och använde enheter från OpenAI, som stannade på företagets område.
Det här testade utvärderarna
Den tre veckor långa övningen pågick från 21 juli till 11 augusti. METR och Redwood uppger att de testade övervakningssystemet så som det såg ut den 21 juli och dessförinnan, samtidigt som OpenAI byggde ut det under pilotprojektet. Enligt organisationernas pressmeddelande berättade OpenAI för utvärderarna att bolaget hade åtgärdat sårbarheterna som påverkade skydden i produktionsmiljön.
Utvärderarna delade en rapport på 61 sidor med OpenAI, men publicerade bara en övergripande redogörelse. De uppgav att pilotprojektet inte var tänkt att ge allmänheten full insyn i övervakningssystemet och att de räknar med att dela mer information om framtida övningar.
Ett test av extern insyn
Pilotprojektet prövade också hur det skulle kunna fungera att ge oberoende forskare djupgående tillgång till OpenAI:s system. Vd:n Sam Altman utlovade ”tillgång på samma villkor som anställda” för externa utvärderare i september. Tidigare i oktober uppgav OpenAI att bolaget höll på att slutföra avtal med externa säkerhetsgranskare.
Modellen för oberoende utvärderingar håller fortfarande på att ta form. Rapporten beskriver inte sårbarheterna i detalj för allmänheten, och den tillgängliga redogörelsen visar inte om externa forskare oberoende har verifierat att åtgärderna fungerar.
Varför det spelar roll
För dem som förlitar sig på OpenAI:s skydd visade pilotprojektet att vissa av agenternas senaste handlingar kunde undgå övervakning. OpenAI uppger att bolaget har åtgärdat svagheterna som påverkade produktionsmiljön. Den offentliga sammanfattningen innehåller inte tillräckligt med detaljer för att åtgärderna ska kunna bedömas oberoende, så det är fortfarande oklart hur effektiva de är.
