Oossa

ИИ-аудиторы выявляют нарушения, но часто бьют ложную тревогу

GPT‑5 обнаруживает 98% случаев взлома системы вознаграждений при 5% ложных срабатываний, однако проверяющие всё равно могут получить тысячи ошибочных предупреждений.

ЗаметкаАвтор: Опубликовано Oossa: 1 мин чтения

Исследователь Энди Холл проверил несколько моделей ИИ, использовав их для аудита других ИИ-агентов. При пороге ложных срабатываний в 5% GPT‑5 выявила почти 98% случаев взлома системы вознаграждений, тогда как более новые модели, например Gemini 3.8 Flash, обнаружили лишь около половины. Во всех тестах доля ложных тревог оставалась высокой: при показателе в 3% на 2 000 реальных проблем пришлось бы примерно 3 000 ошибочных предупреждений — если за месяц обработать 100 000 сессий.

Почему это важно

Проверяющих-людей может завалить ошибочными предупреждениями, и тогда им будет сложнее замечать реальные нарушения со стороны ИИ-агентов.

Эта статья была полезной?
Поделиться

Читайте также

Oossa · Рассылка

Неделя ИИ — простыми словами

Каждый понедельник: главное за неделю понятным языком. Бесплатно, без спама.