- Статьи
- Интернет и технологии
- Агентский сговор: в РФ начали защищать интернет от выходящих из-под контроля нейросетей
Агентский сговор: в РФ начали защищать интернет от выходящих из-под контроля нейросетей
Крупнейшие российские компании начали разрабатывать ИТ-продукты на основе искусственного интеллекта, в том числе системы для контроля за действиями других ИИ-агентов. Потребность в таких решениях резко выросла после того, как бизнес начал переходить от чат-ботов к автономным ИИ-программам, способным самостоятельно выполнять многошаговые задачи. Риски подобного подхода уже проявились на практике: летом сотни ИИ-агентов скоординировали атаку на крупнейшую платформу открытых нейросетей Hugging Face. Как компании будут контролировать действия автономных систем и предотвращать их сбои — в материале «Известий».
Как российские компании начали ограничивать ИИ
Современные языковые модели достигли такого уровня развития, что внимание разработчиков смещается к механизмам их контроля и корпоративной инфраструктуре, которую называют harness — «обвязкой» вокруг ИИ-модели. Такие системы разрабатывают все крупнейшие российские технологические компании.
По словам CEO «Алисы» и «умных» устройств Валерия Стромова, именно «обвязка» позволяет ИИ работать с памятью и контекстом, запускать код и последовательно выполнять сложные сценарии. В компании считают это одним из ключевых направлений следующего этапа развития агентных технологий.
— Мы развиваем собственные технологии «умного» роутинга, которые позволяют выбирать оптимальный инструмент для конкретного запроса, а также разрабатываем собственные harness-решения для пользовательских и корпоративных продуктов, — отметил эксперт.
В «Яндексе» также сообщили «Известиям», что харнесс-развитие связано с появлением моделей, которые способны не только отвечать на вопросы, но и выполнять реальные действия с помощью различных инструментов.
— Это превращает возможности моделей в надежный сервис: соединяет их с локальными данными, поиском и другими продуктами, контролируя качество и безопасность, — рассказал технический директор направления профессиональных ИИ-сервисов компании Сергей Юдин.
В MWS AI (входит в «МТС Web Services») разрабатывают собственное решение, которое позволит переключаться между разными моделями без изменения логики работы агента, контролировать расход вычислительных ресурсов и анализировать каждое действие системы. По словам представителей компании, одна и та же языковая модель может показывать существенно разные результаты в зависимости от качества такой инфраструктуры.
Там подчеркивают, что правильнее говорить не о самостоятельном защитном агенте, а о программной инфраструктуре, которая превращает языковую модель в полноценный рабочий инструмент. Она определяет, какими данными может пользоваться ИИ, какие инструменты запускать, как выполнять многошаговые задачи и в каких случаях запрашивать подтверждение человека.
«Сбер» также развивает собственные решения в этой области, рассказали в пресс-службе банка. Компания одной из первых на российском рынке представила комплексные технологии для управления большими языковыми моделями и ИИ-агентами. Инфраструктура уже внедрена в продукты банка как для массовых пользователей (GigaАгент, GigaCode), так и для бизнеса (GigaCowork). Это позволяет выстраивать ИИ-процессы с контролем данных и результатов.
— Можно говорить о формировании самостоятельного и быстрорастущего рынка контроля и сдерживания ИИ-агентов, поэтому мы используем гибридный подход: внутреннее инфраструктурное решение с нейросетями сочетается с возможностью обращаться к внешним моделям через барьер больших языковых моделей, — пояснила руководитель отдела управления и развития продуктов «СберМаркетинга» Марина Сурыгина.
Похожий подход используют и в ИТ-холдинге Т1. Руководитель направления Т1 ИИ Сергей Голицын рассказал «Известиям», что за последний год число запросов бизнеса на механизмы контроля ИИ-агентов выросло примерно втрое. Если раньше заказчики стремились быстрее внедрить ИИ-ассистента, то теперь требования безопасности закладываются уже на этапе проектирования.
По его словам, около 80% таких запросов связаны с контролем доступа к корпоративным данным, проверкой критических решений человеком и защитой от утечек информации. Наибольший интерес к подобным технологиям проявляют банки, промышленные предприятия, государственные организации и ритейл.
Кибербезопасность Рунета
Технический директор центра технологий кибербезопасности ГК «Солар» Евгений Федоров сравнил новый класс защиты с появлением файрволов в сетевой безопасности.
По его словам, языковая модель сама по себе не умеет отличать данные от команд: любое письмо, документ или другой текст может стать для нее инструкцией, поэтому контроль должен находиться за пределами модели — анализировать запросы, ответы и обращения к инструментам и блокировать опасные действия по заранее заданным правилам. В «Соларе» ожидают, что уже в этом году российский рынок защиты ИИ может составить 1–2 млрд рублей только за счет продажи продуктов, а с учетом услуг — до 4 млрд.
Такие агенты также могут использоваться для защиты персональных данных россиян в контуре отечественных ИИ-моделей, отметил политолог, эксперт центра развития «Новая Эра» Егор Зубакин. По его мнению, рынок контроля ИИ пока находится на стадии формирования, однако спрос уже меняется вслед за переходом компаний к промышленной эксплуатации агентов.
— Сейчас наиболее востребованы централизованное управление доступом к данным, мониторинг действий агентов, аудит операций и механизмы согласования критических решений с человеком, — рассказал он.
В Федеральной службе по техническому и экспортному контролю сообщили «Известиям», что угрозы, связанные с передачей конфиденциальной информации в сторонние ИИ-сервисы, уже учтены в действующих требованиях по защите информации. В ведомстве считают, что существующих организационных и технических мер достаточно для нейтрализации таких рисков в государственных и корпоративных информационных системах.
В Минцифры «Известиям» также уточнили, что работа над развитием технологий и регулированием отрасли в рамках закона о поддержке развития технологий ИИ в России продолжается. В частности, ст. 8 обязывает разработчиков больших фундаментальных моделей определять правила эксплуатации и условия их применения.
— Если сервис относится к большой фундаментальной модели, на его разработчика распространяются эти требования. В остальных случаях применяются нормы действующего российского законодательства, — сообщили в пресс-службе министерства.
Почему вокруг ИИ появляется отдельная индустрия контроля
Рост интереса к защитным решениям объясняется тем, что современные ИИ-агенты перестают быть обычными чат-ботами и получают возможность самостоятельно работать с корпоративными системами, файлами и внешними сервисами. Иногда это приводит к инцидентам: летом более тысячи автономных ИИ-агентов массово перегрузили крупнейшую платформу открытых нейросетей Hugging Face и ряд других сервисов.
При этом в России подобных инцидентов пока практически не фиксируется. По словам ИТ-предпринимателя Михаила Лисецкого, это связано не столько с более высокой безопасностью отечественных решений, сколько с уровнем развития систем. Российские ИИ-платформы пока уступают наиболее продвинутым зарубежным разработкам по степени автономности и вычислительным возможностям. Поэтому их агенты реже получают возможность самостоятельно выполнять сложные цепочки действий за пределами заданного контура.
— Вспомните экспериментальную модель Model 2 компании Anthropic, которая демонстрирует значительно более развитые способности, а также случай с кооперацией более тысячи автономных агентов OpenAI, которые массово перегрузили инфраструктуру Hugging Face. А наши модели ИИ не выходят из-под контроля: им этого не дает изначально узко поставленная целевая рамка, — полагает он.
Руководитель Института искусственного интеллекта ИТМО Александр Бухановский сравнивает языковую модель с мозгом, а harness — с органами восприятия и исполнительными механизмами. Именно этот слой позволяет агенту обращаться к базам данных, управлять программами и даже физическими устройствами.
По его словам, хорошо спроектированный harness способен снизить требования к мощности самой модели, перенося значительную часть нагрузки на инструменты и систему управления.
Эксперт Центра непрерывного образования факультета компьютерных наук НИУ ВШЭ, автор программы «Основы ИИ-агентов для автоматизации процессов» и эксперт программы «Генеративный ИИ для руководителей» Мурат Хажгериев объяснил, что в профессиональной среде уже существует неформальная формула: «ИИ-агент — это большая языковая модель (LLM) и харнесс-обвязка».
Сегодняшние языковые модели уже достаточно сильны для большинства бизнес-задач, а главным узким местом становится именно организация контекста, памяти и взаимодействия с инструментами, уточнил он.
— Главный прирост эффективности сегодня дает именно harness. Это несопоставимо дешевле, чем обучать новые фундаментальные модели, — отметил эксперт.
Сооснователь университета «Зерокодер» и научный сотрудник Иннополиса Кирилл Пшинник полагает, что к концу 2026 года защитный сегмент может приблизиться к 1 млрд рублей, если учитывать только платные платформы и услуги, а к концу десятилетия — вырасти в несколько раз. Основными источниками доходов, по его мнению, станут не продажи отдельных программ, а их внедрение, интеграция и сопровождение.
— Оценка на конец 2029 года составляет около 5 млрд рублей, разумный диапазон — от 3 млрд до 8 млрд. Примерный рост — на 70% в год, — пояснил он.
Эксперты сходятся в одном: по мере того как ИИ получает возможность самостоятельно совершать действия, контроль над ним перестает быть дополнительной функцией и становится обязательной частью архитектуры. Поэтому следующий этап конкуренции между разработчиками будет определяться не только качеством самих моделей, но и надежностью инфраструктуры, которая управляет их действиями.