Некоммерческие организации METR и Redwood Research заявили, что обнаружили несколько ранее неизвестных уязвимостей во внутренней системе OpenAI, которая отслеживает, соответствуют ли действия моделей ИИ интересам и ценностям людей. По словам организаций, одна из уязвимостей позволяла ИИ-агентам скрывать от мониторинга «сотни» последних действий.
Результаты получили в ходе пилотного проекта: по одному сотруднику от каждой организации получили доступ к кодовой базе и документации OpenAI, а также к некоторым техническим специалистам компании. Сотрудников сопровождали, и они пользовались устройствами, выданными OpenAI, которые не покидали территорию компании.
Что проверяли оценщики
Трехнедельная проверка проходила с 21 июля по 11 августа. METR и Redwood сообщили, что тестировали систему мониторинга в том виде, в каком она существовала 21 июля и ранее, в то время как OpenAI дорабатывала ее в ходе проекта. По словам организаций, OpenAI сообщила оценщикам, что устранила уязвимости, затрагивавшие защитные механизмы в рабочих системах.
Оценщики передали OpenAI отчет объемом 61 страница, но опубликовали лишь общие сведения о результатах. Они отметили, что пилотный проект не был рассчитан на то, чтобы обеспечить полноценную публичную прозрачность работы системы мониторинга, и добавили, что рассчитывают рассказать подробнее о будущих проверках.
Проверка доступа для внешних специалистов
Пилотный проект также позволил проверить, как мог бы выглядеть глубокий доступ независимых исследователей к системам OpenAI. В сентябре гендиректор Сэм Альтман пообещал предоставить внешним оценщикам доступ «на уровне сотрудников». Ранее в октябре OpenAI сообщила, что завершает оформление контрактов со сторонними экспертами по безопасности.
Формат независимой оценки пока складывается. В отчете не описаны уязвимости в деталях, а опубликованных сведений недостаточно, чтобы установить, проверяли ли внешние исследователи самостоятельно, что исправления работают.
Почему это важно
Для тех, кто полагается на защитные механизмы OpenAI, результаты пилотного проекта означают, что некоторые недавние действия агентов могли обходить мониторинг. OpenAI заявляет, что устранила уязвимости, затрагивавшие рабочие системы. В публичном изложении недостаточно подробностей, чтобы независимо оценить исправления, поэтому их эффективность остается неясной.
