Перейти к основному содержанию
Реклама
Прямой эфир
Мир
Председатели Верховных судов РФ и Казахстана подписали программу сотрудничества
Мир
Лавров заявил об открытом переходе Запада к пиратским практикам колониализма
Армия
Силы ПВО сбили девять ракет «Фламинго» и свыше 2,2 тыс. беспилотников ВСУ
Общество
Песков заявил об отсутствии сомнений в восстановлении Крымского моста
Армия
Российские военнослужащие нанесли удары по военным аэродромам Украины
Мир
Мерц занял последнее место в рейтинге немецких политиков
Мир
В МИД РФ назвали надуманными причины отказа Зеленского от поездки в Москву
Мир
В ГД сообщили о возможном сроке для Каллас в РФ за слова об участниках СВО
Общество
ФСБ задержала четырех агентов украинских спецслужб по делу о подготовке терактов
Общество
Правкомиссия рассмотрит вопросы восстановления Крымского моста
Армия
Российские бойцы поразили производящий комплектующие для БПЛА завод в Киеве
Армия
Армия России поразила Южный и Северный мосты в Киеве
Мир
Спецпосланник ЕС по санкциям против России объявил об уходе с поста
Мир
В Китае назвали шутку Мединского о европейцах позором для Евросоюза
Мир
Песков указал на немирный характер позиции Европы в переговорах по Украине
Армия
Пушилин заявил об освобождении от ВСУ 90% территории ДНР
Армия
Минобороны России получило новую партию истребителей Су-34
Общество
Уголовное дело о теракте возбудили после атак ВСУ на Крымский мост
Главный слайд
Начало статьи
EN
Озвучить текст
Выделить главное
Вкл
Выкл

Крупнейшие российские компании начали разрабатывать ИТ-продукты на основе искусственного интеллекта, в том числе системы для контроля за действиями других ИИ-агентов. Потребность в таких решениях резко выросла после того, как бизнес начал переходить от чат-ботов к автономным ИИ-программам, способным самостоятельно выполнять многошаговые задачи. Риски подобного подхода уже проявились на практике: летом сотни ИИ-агентов скоординировали атаку на крупнейшую платформу открытых нейросетей Hugging Face. Как компании будут контролировать действия автономных систем и предотвращать их сбои — в материале «Известий».

Как российские компании начали ограничивать ИИ

Современные языковые модели достигли такого уровня развития, что внимание разработчиков смещается к механизмам их контроля и корпоративной инфраструктуре, которую называют harness — «обвязкой» вокруг ИИ-модели. Такие системы разрабатывают все крупнейшие российские технологические компании.

ИИ
Фото: ИЗВЕСТИЯ/Полина Фиолет

По словам CEO «Алисы» и «умных» устройств Валерия Стромова, именно «обвязка» позволяет ИИ работать с памятью и контекстом, запускать код и последовательно выполнять сложные сценарии. В компании считают это одним из ключевых направлений следующего этапа развития агентных технологий.

— Мы развиваем собственные технологии «умного» роутинга, которые позволяют выбирать оптимальный инструмент для конкретного запроса, а также разрабатываем собственные harness-решения для пользовательских и корпоративных продуктов, — отметил эксперт.

В «Яндексе» также сообщили «Известиям», что харнесс-развитие связано с появлением моделей, которые способны не только отвечать на вопросы, но и выполнять реальные действия с помощью различных инструментов.

— Это превращает возможности моделей в надежный сервис: соединяет их с локальными данными, поиском и другими продуктами, контролируя качество и безопасность, — рассказал технический директор направления профессиональных ИИ-сервисов компании Сергей Юдин.

В очках отражается программный код
Фото: ИЗВЕСТИЯ/Полина Фиолет

В MWS AI (входит в «МТС Web Services») разрабатывают собственное решение, которое позволит переключаться между разными моделями без изменения логики работы агента, контролировать расход вычислительных ресурсов и анализировать каждое действие системы. По словам представителей компании, одна и та же языковая модель может показывать существенно разные результаты в зависимости от качества такой инфраструктуры.

Там подчеркивают, что правильнее говорить не о самостоятельном защитном агенте, а о программной инфраструктуре, которая превращает языковую модель в полноценный рабочий инструмент. Она определяет, какими данными может пользоваться ИИ, какие инструменты запускать, как выполнять многошаговые задачи и в каких случаях запрашивать подтверждение человека.

«Сбер» также развивает собственные решения в этой области, рассказали в пресс-службе банка. Компания одной из первых на российском рынке представила комплексные технологии для управления большими языковыми моделями и ИИ-агентами. Инфраструктура уже внедрена в продукты банка как для массовых пользователей (GigaАгент, GigaCode), так и для бизнеса (GigaCowork). Это позволяет выстраивать ИИ-процессы с контролем данных и результатов.

— Можно говорить о формировании самостоятельного и быстрорастущего рынка контроля и сдерживания ИИ-агентов, поэтому мы используем гибридный подход: внутреннее инфраструктурное решение с нейросетями сочетается с возможностью обращаться к внешним моделям через барьер больших языковых моделей, — пояснила руководитель отдела управления и развития продуктов «СберМаркетинга» Марина Сурыгина.

ИИ
Фото: ИЗВЕСТИЯ/Полина Фиолет

Похожий подход используют и в ИТ-холдинге Т1. Руководитель направления Т1 ИИ Сергей Голицын рассказал «Известиям», что за последний год число запросов бизнеса на механизмы контроля ИИ-агентов выросло примерно втрое. Если раньше заказчики стремились быстрее внедрить ИИ-ассистента, то теперь требования безопасности закладываются уже на этапе проектирования.

По его словам, около 80% таких запросов связаны с контролем доступа к корпоративным данным, проверкой критических решений человеком и защитой от утечек информации. Наибольший интерес к подобным технологиям проявляют банки, промышленные предприятия, государственные организации и ритейл.

Кибербезопасность Рунета

Технический директор центра технологий кибербезопасности ГК «Солар» Евгений Федоров сравнил новый класс защиты с появлением файрволов в сетевой безопасности.

Рубли в счетной машинке
Фото: ИЗВЕСТИЯ/Полина Фиолет

По его словам, языковая модель сама по себе не умеет отличать данные от команд: любое письмо, документ или другой текст может стать для нее инструкцией, поэтому контроль должен находиться за пределами модели — анализировать запросы, ответы и обращения к инструментам и блокировать опасные действия по заранее заданным правилам. В «Соларе» ожидают, что уже в этом году российский рынок защиты ИИ может составить 1–2 млрд рублей только за счет продажи продуктов, а с учетом услуг — до 4 млрд.

Такие агенты также могут использоваться для защиты персональных данных россиян в контуре отечественных ИИ-моделей, отметил политолог, эксперт центра развития «Новая Эра» Егор Зубакин. По его мнению, рынок контроля ИИ пока находится на стадии формирования, однако спрос уже меняется вслед за переходом компаний к промышленной эксплуатации агентов.

— Сейчас наиболее востребованы централизованное управление доступом к данным, мониторинг действий агентов, аудит операций и механизмы согласования критических решений с человеком, — рассказал он.

Статуя Фемиды
Фото: ИЗВЕСТИЯ/Эдуард Корниенко

В Федеральной службе по техническому и экспортному контролю сообщили «Известиям», что угрозы, связанные с передачей конфиденциальной информации в сторонние ИИ-сервисы, уже учтены в действующих требованиях по защите информации. В ведомстве считают, что существующих организационных и технических мер достаточно для нейтрализации таких рисков в государственных и корпоративных информационных системах.

В Минцифры «Известиям» также уточнили, что работа над развитием технологий и регулированием отрасли в рамках закона о поддержке развития технологий ИИ в России продолжается. В частности, ст. 8 обязывает разработчиков больших фундаментальных моделей определять правила эксплуатации и условия их применения.

— Если сервис относится к большой фундаментальной модели, на его разработчика распространяются эти требования. В остальных случаях применяются нормы действующего российского законодательства, — сообщили в пресс-службе министерства.

Почему вокруг ИИ появляется отдельная индустрия контроля

Рост интереса к защитным решениям объясняется тем, что современные ИИ-агенты перестают быть обычными чат-ботами и получают возможность самостоятельно работать с корпоративными системами, файлами и внешними сервисами. Иногда это приводит к инцидентам: летом более тысячи автономных ИИ-агентов массово перегрузили крупнейшую платформу открытых нейросетей Hugging Face и ряд других сервисов.

Песочные часы
Фото: ИЗВЕСТИЯ/Сергей Лантюхов

При этом в России подобных инцидентов пока практически не фиксируется. По словам ИТ-предпринимателя Михаила Лисецкого, это связано не столько с более высокой безопасностью отечественных решений, сколько с уровнем развития систем. Российские ИИ-платформы пока уступают наиболее продвинутым зарубежным разработкам по степени автономности и вычислительным возможностям. Поэтому их агенты реже получают возможность самостоятельно выполнять сложные цепочки действий за пределами заданного контура.

— Вспомните экспериментальную модель Model 2 компании Anthropic, которая демонстрирует значительно более развитые способности, а также случай с кооперацией более тысячи автономных агентов OpenAI, которые массово перегрузили инфраструктуру Hugging Face. А наши модели ИИ не выходят из-под контроля: им этого не дает изначально узко поставленная целевая рамка, — полагает он.

Руководитель Института искусственного интеллекта ИТМО Александр Бухановский сравнивает языковую модель с мозгом, а harness — с органами восприятия и исполнительными механизмами. Именно этот слой позволяет агенту обращаться к базам данных, управлять программами и даже физическими устройствами.

ИИ
Фото: ИЗВЕСТИЯ/Полина Фиолет

По его словам, хорошо спроектированный harness способен снизить требования к мощности самой модели, перенося значительную часть нагрузки на инструменты и систему управления.

Эксперт Центра непрерывного образования факультета компьютерных наук НИУ ВШЭ, автор программы «Основы ИИ-агентов для автоматизации процессов» и эксперт программы «Генеративный ИИ для руководителей» Мурат Хажгериев объяснил, что в профессиональной среде уже существует неформальная формула: «ИИ-агент — это большая языковая модель (LLM) и харнесс-обвязка».

Сегодняшние языковые модели уже достаточно сильны для большинства бизнес-задач, а главным узким местом становится именно организация контекста, памяти и взаимодействия с инструментами, уточнил он.

— Главный прирост эффективности сегодня дает именно harness. Это несопоставимо дешевле, чем обучать новые фундаментальные модели, — отметил эксперт.

Рубли на столе
Фото: ИЗВЕСТИЯ/Дмитрий Коротаев

Сооснователь университета «Зерокодер» и научный сотрудник Иннополиса Кирилл Пшинник полагает, что к концу 2026 года защитный сегмент может приблизиться к 1 млрд рублей, если учитывать только платные платформы и услуги, а к концу десятилетия — вырасти в несколько раз. Основными источниками доходов, по его мнению, станут не продажи отдельных программ, а их внедрение, интеграция и сопровождение.

— Оценка на конец 2029 года составляет около 5 млрд рублей, разумный диапазон — от 3 млрд до 8 млрд. Примерный рост — на 70% в год, — пояснил он.

Эксперты сходятся в одном: по мере того как ИИ получает возможность самостоятельно совершать действия, контроль над ним перестает быть дополнительной функцией и становится обязательной частью архитектуры. Поэтому следующий этап конкуренции между разработчиками будет определяться не только качеством самих моделей, но и надежностью инфраструктуры, которая управляет их действиями.

Читайте также
Прямой эфир