OpenAI объявила, что четыре независимые организации будут проверять ее ИИ-системы непосредственно в офисах компании. Аудиторы — Apollo Research, METR, Goodfire и Transluce — получат доступ к исходному коду, данным обучения, инструментам мониторинга и еще не выпущенным моделям. Они также смогут конфиденциально беседовать с разработчиками. По словам OpenAI, пилотная программа стала продолжением обязательств, взятых компанией в рамках «Соглашения о сверхинтеллекте» Белого дома.
Apollo сосредоточится на том, пытаются ли модели подорвать собственное выравнивание или выравнивание будущих версий. METR будет искать опасное поведение, которое могут не выявить собственные тесты OpenAI, а также проверит способность компании распознавать такое поведение. Goodfire применит свою платформу интерпретируемости, чтобы изучить внутренние процессы моделей и предложить способы их улучшения. Transluce оценит проверки безопасности после обучения и планирует провести повторную проверку в течение восьми недель в начале 2027 года. Независимый совет по безопасности получит полные, неотредактированные отчеты и будет разрешать возможные споры. OpenAI сможет скрывать конфиденциальные сведения и откладывать публикацию отчетов, чтобы сначала устранить риски.
Эта программа продолжает начатую ранее проверку систем мониторинга OpenAI на месте. Она также расширяет практику, начатую в Anthropic: в прошлом месяце исследователи METR получили там доступ на уровне сотрудников. Критики отмечают, что Apollo и Goodfire получают оплату за работу, тогда как METR и Transluce — только вычислительные ресурсы или кредиты API. Некоторые эксперты по безопасности, в том числе гендиректор Redwood Бак Шлегерис, считают, что предоставленный доступ пока не соответствует уровню «как у сотрудника», которого добиваются многие специалисты.
Почему это важно
Для пользователей ChatGPT и других продуктов OpenAI аудит может выявить скрытые проблемы до того, как модели станут доступны широкой публике. Если аудиторы обнаружат серьезные пробелы в безопасности, OpenAI, возможно, придется исправить их или отложить выпуск моделей — это может повлиять на сроки запуска функций и цены.
Почему это важно
Аудиторы извне смогут оценить поведение самых мощных моделей OpenAI во время обучения, а не только после выпуска. Это может сделать продукты безопаснее для обычных пользователей, однако из-за ограниченного раскрытия информации посторонние пока не смогут полностью проверить выводы аудиторов.