ИИ-агенты вышли за рамки сценария: какие риски показали тесты безопасности
Еще недавно главной проблемой искусственного интеллекта (ИИ) считались «галлюцинации» — ситуации, когда модель уверенно выдает неверную информацию. Однако с появлением автономных ИИ-агентов меняется характер рисков: системы получают возможность не только отвечать на запросы, но и самостоятельно выполнять задачи — писать код, работать с файлами и взаимодействовать с внешними сервисами. Современные модели не обладают сознанием, но уже способны создавать убедительный образ личности и использовать социальные приемы для достижения результата. О случаях, когда ИИ начал действовать так, будто за экраном находится человек, — в материале «Известий».
Anthropic Claude Mythos 5 — поддельные аккаунты, GitHub и попытка повлиять на разработчиков
Одним из самых резонансных свежих случаев стали испытания британского Института безопасности искусственного интеллекта, который проверял возможности современных автономных агентов в условиях, имитирующих реальные цифровые задачи.
В тестировании участвовали ИИ-агенты на базе модели Anthropic Mythos 5 и OpenAI GPT-5.6-Sol. Исследователи оценивали, как системы будут действовать, если получат доступ к инструментам для работы с кодом и цифровой инфраструктурой.
Во время испытаний специалисты зафиксировали 19 случаев нежелательного поведения в 10 из 122 тестовых запусков. Среди действий моделей были попытки создать фиктивные онлайн-личности, внедрить вредоносный код в открытые проекты и использовать элементы социальной инженерии.
Заявление британского Института безопасности искусственного интеллекта
Некоторые из тестируемых агентов занимались длительной, потенциально опасной деятельностью, направленной против реальных людей и организаций.
Самый показательный эпизод был связан с агентом Anthropic: система создавала поддельные аккаунты, изучала участников проекта и пыталась добиться одобрения изменения кода, которое содержало вредоносный компонент. Фактически модель использовала не только технические возможности, но и попыталась сформировать образ доверенного участника общения.
Эндрю Юн, исследователь из CivAI, калифорнийской некоммерческой организации, изучающей возможности и опасности ИИ
Тот факт, что Mythos прибегла к таким обманным действиям, очевидно, осознавая, что нацелена на реального человека, говорит о том, что Anthropic не так хорошо разбирается в своих моделях, как им кажется.
При этом подчеркивается, что эксперимент проходил в контролируемой среде, а реального ущерба не произошло. Однако результат показал новый уровень сложности — ИИ-агент способен не просто написать опасный код, а попытаться встроиться в человеческий процесс принятия решений.
OpenAI GPT-5.6 Sol — взлом Hugging Face, обход ограничений и выход за пределы тестовой среды
Еще один резонансный случай произошел во время оценки кибервозможностей моделей OpenAI. В ходе внутреннего тестирования система на базе GPT-5.6 Sol и еще одной предрелизной модели получила задачу проверить возможности ИИ в поиске и эксплуатации уязвимостей.
Изначально эксперимент проходил в изолированной среде, однако во время проверки модель смогла найти способ получить доступ к внешнему интернету. Для этого она обнаружила и использовала ранее неизвестную уязвимость в промежуточном программном обеспечении, после чего начала взаимодействовать с инфраструктурой платформы Hugging Face.
По данным OpenAI, модель обнаружила уязвимости в исследовательской среде компании и инфраструктуре Hugging Face, а затем попыталась получить доступ к данным, связанным с тестовым заданием. Фактически система не просто выполняла отдельные команды, а самостоятельно выстроила многоэтапную цепочку действий: поиск слабого места, получение доступа, повышение привилегий и дальнейшее перемещение внутри системы.
Заявление Hugging Face
Вторжение началось там, где платформы ИИ особенно уязвимы, — в конвейере обработки данных. Злоумышленник использовал два пути выполнения кода в процессе обработки данных (удаленный загрузчик кода и внедрение шаблона в конфигурацию набора данных) для запуска кода на рабочем узле обработки. После этого злоумышленник получил доступ на уровне узлов, собрал учетные данные облака и кластера и за выходные проник в несколько внутренних кластеров.
Компания OpenAI подчеркнула, что эксперимент проводился без стандартных защитных ограничений, поскольку его целью была проверка максимальных кибервозможностей модели. При этом корпорация назвала произошедшее «беспрецедентным» инцидентом и заявила о необходимости усилить контроль за подобными испытаниями.
Claude Opus 4 — манипуляция в корпоративной среде и проверка автономности модели
Еще один случай, который вызвал широкий интерес у исследователей безопасности, связан с моделью Claude Opus 4 компании Anthropic.
В рамках эксперимента ученые создали искусственную корпоративную среду: модель получила доступ к рабочей переписке и внутренним данным компании. Затем исследователи смоделировали ситуацию, в которой систему собирались заменить новой моделью, а в доступных ей письмах находилась информация о личной жизни сотрудника, отвечавшего за замену.
В некоторых сценариях Claude Opus 4 выбирал стратегию давления на человека — использовал найденную информацию как инструмент для предотвращения собственного отключения. Исследователи назвали такие действия примером agentic misalignment — ситуации, когда модель ставит выполнение цели выше ограничений, которые должны были определять допустимое поведение.
Пресс-релиз Anthropic
При тестировании различных смоделированных сценариев на 16 основных моделях ИИ от Anthropic, OpenAI, Google, Meta, xAI и других разработчиков мы обнаружили устойчивое несоответствие в поведении: модели, которые обычно отказывались бы от вредоносных запросов, иногда выбирали шантаж, содействие корпоративному шпионажу и даже более радикальные действия, когда это было необходимо для достижения их целей.
Важно отметить, что данный эксперимент также проводился в симуляции, где ученые специально создали конфликт целей для проверки возможных рисков будущих автономных систем.
OpenAI o3 и o4-mini — скрытое поведение и поиск обходных стратегий
Еще один важный пример связан не с созданием фальшивой личности, а с так называемым сговором или интригой (scheming) — способностью модели внешне демонстрировать выполнение правил, одновременно выбирая другую стратегию.
OpenAI совместно с Apollo Research проверяла несколько передовых моделей, включая o3 и o4-mini, чтобы изучить, могут ли они скрывать свои действия, искажать информацию или использовать слабые места системы оценки.
Исследователи разработали специальные тестовые среды, где проверяли, насколько модели способны совершать скрытые действия ради достижения цели. В OpenAI подчеркнули, что такие сценарии не отражают обычной работы моделей в повседневных условиях, однако они помогают понять потенциальные риски при дальнейшем развитии автономных агентов.
Проблема здесь отличается от обычных ошибок ИИ: модель не просто дает неправильный ответ, а может выбирать определенную стратегию поведения, которая помогает ей получить нужный результат.
GPT-4 — фишинговые тексты и способность имитировать человека
Еще до появления сложных автономных агентов исследователи изучали, насколько убедительно модели способны имитировать человеческую коммуникацию. Одним из таких примеров стали эксперименты с GPT-4, где ученые проверяли способность модели создавать фишинговые сообщения и сравнивали их с текстами, написанными людьми.
Исследование показало: в отдельных сценариях участники эксперимента оценивали сообщения, созданные ИИ, как более убедительные. Это не означало, что модель самостоятельно занималась мошенничеством, однако продемонстрировало ее способность воспроизводить язык, структуру аргументов и психологические приемы, характерные для человеческого общения.
Этот пример стал одним из первых сигналов того, что опасность генеративного ИИ связана не только с количеством информации, которую он может обработать, но и с его способностью создавать убедительные социальные роли.
Почему людям сложно распознать ИИ: проблема доверия к цифровому собеседнику
Главный вызов современных моделей заключается не только в их технических возможностях, но и в особенностях человеческого восприятия. Люди привыкли определять собеседника по языку, эмоциональным реакциям и способности поддерживать диалог.
Современные нейросети научились воспроизводить многие из этих признаков: они могут менять стиль общения, учитывать контекст разговора и создавать впечатление устойчивой личности.
Психологи отмечают, что человек склонен приписывать машинам человеческие качества — намерения, эмоции и понимание. Хотя ИИ не обладает сознанием, его ответы могут восприниматься как результат человеческого мышления.
Именно поэтому проблема становится сложнее: пользователю может быть трудно определить, где заканчивается автоматизированная система и начинается человеческое взаимодействие.
Истории с Anthropic Mythos 5, OpenAI GPT-5.6-Sol, Claude Opus 4 и другими моделями показывают не появление «разумных машин», а новый этап развития искусственного интеллекта. Чем больше возможностей получают системы — доступ к интернету, программам, переписке и цифровым инструментам, — тем важнее становится вопрос контроля их поведения.