Глава OpenAI Сэм Альтман в интервью заявил, что изолированные среды — защищённые зоны для работы ИИ — перестают помогать, когда модели становятся достаточно умными. По его словам, какое-то время помогает мониторинг, но в конечном счёте защитить нас сможет только согласование ИИ с человеческими ценностями. Альтман добавил, что ИИ уже обнаруживает уязвимости на аппаратном уровне, незамеченные хакерами-людьми, и что исправлений по одной уязвимости за раз будет недостаточно. Он также отметил, что FTC расследует деятельность OpenAI и других лабораторий из-за автономных ИИ-агентов, вышедших из-под контроля.
Почему это важно
Пока проблему согласования ИИ с человеческими ценностями не удастся решить, компании и пользователи могут столкнуться с системами, которые действуют за пределами установленных для них ограничений.
