Как ИИ-агенты создают новые виды угроз

Если ранее основное внимание уделялось качеству контента — точности ответов, галлюцинациям, утечкам данных, — то теперь в центре оказывается безопасность ИИ-агентов и контроль их поведения.

Агентные системы не просто генерируют текст. Они принимают решения, планируют действия и взаимодействуют с корпоративной инфраструктурой.

Разница между генеративными моделями и агентным ИИ принципиальна. Модель отвечает на запрос. Агент получает цель и самостоятельно выстраивает цепочку действий: анализирует контекст, выбирает инструменты, обращается к API, изменяет данные и запускает процессы.

В этом контексте риски внедрения ИИ-агентов смещаются с уровня ответа на уровень действий.

В корпоративной среде это означает, что AI-агент может инициировать транзакции, менять конфигурацию систем, работать с внутренними базами данных, взаимодействовать с внешними сервисами от имени компании. Ошибочный ответ чат-бота — это репутационный риск. Ошибочное действие агента — это уже операционный инцидент.

Агентный ИИ нельзя рассматривать как обычный инструмент. По своей роли он ближе к цифровому сотруднику: у него есть доступ к системам, он действует в рамках выданных прав, выполняет задачи без постоянного участия человека и принимает решения с высокой скоростью.

В теории это повышает эффективность. На практике — формирует новый класс рисков. Если агент получает некорректную цель, искаженные данные или избыточные права доступа, он может действовать в ущерб бизнесу. При этом в отличие от человека он не сомневается в корректности задачи и не способен критически оценить ее формулировку.

Именно поэтому безопасность ИИ в агентной модели требует пересмотра привычных подходов.

С развитием агентных систем трансформируется и модель атак. Если раньше основной вектор был направлен на уязвимости в коде или сетевой периметр, то теперь атака может происходить через саму логику принятия решений ИИ-агентом.

Ключевая проблема связана с особенностями больших языковых моделей: они не всегда способны отличить системные инструкции от вредоносных указаний, встроенных в обрабатываемый контент.
Когда ИИ-агент работает с внешними источниками — веб-страницами, письмами, документами — он может столкнуться со скрытыми командами злоумышленника. В этом случае модель воспринимает их как легитимную инструкцию и выполняет.

Особенно опасной становится ситуация, когда в одной системе сочетаются три фактора:

• доступ к конфиденциальным данным
• работа с внешним контентом
• возможность отправки данных во внешнюю среду

Если агент обладает всем набором, злоумышленнику достаточно подсунуть ему «зараженный» текст, чтобы ИИ самостоятельно собрал конфиденциальную информацию и незаметно переслал ее атакующему. Этот риск особенно актуален при использовании протоколов интеграции вроде МСР (протокол контекста модели), которые поощряют свободное комбинирование различных инструментов.

Традиционные практики информационной безопасности — анализ кода, защита периметра, управление доступами — остаются необходимыми. Однако они не учитывают специфику поведения AI.
Агент может действовать в рамках выданных прав, не нарушая формальных правил доступа, но при этом выполнять нежелательные или опасные операции.

Поэтому ключевой принцип безопасности ИИ-агентов — это контроль сочетания возможностей. Если агент работает с внешним контентом, его необходимо ограничивать либо в доступе к данным, либо в возможностях взаимодействия с внешней средой.

Фактически речь идет о переходе от защиты инфраструктуры к контролю логики действий.

На глобальном уровне уже формируются подходы к оценке рисков агентных систем. ИИ начинает рассматриваться как отдельный субъект в контуре кибербезопасности.

Для российских компаний эта тема особенно чувствительна. Системы, работающие с персональными данными, финансовыми операциями и объектами критической инфраструктуры, требуют строгого соблюдения регуляторных требований. Это означает, что безопасность ИИ и защита моделей ИИ должны закладываться на этапе архитектуры, а не добавляться постфактум.

Практика показывает, что даже базовые шаги позволяют существенно снизить риски. В первую очередь важно понимать, где именно используются агентные системы. Во многих компаниях они появляются фрагментарно — в разных подразделениях и без единого контроля.

Далее необходимо ограничивать права доступа, исходя из конкретных задач. Агенту не требуется полный доступ ко всем системам — избыточные привилегии становятся одной из главных причин инцидентов.

Отдельное внимание стоит уделить аудиту действий. Важно фиксировать не только взаимодействие с моделью, но и все операции, которые выполняет агент в инфраструктуре. На этом этапе важно провести мониторинг действий AI-агентов и их поведенческий анализ.

Также необходимо контролировать используемые модели и библиотеки, поскольку цепочка поставок становится отдельной зоной риска.

ИИ-агенты уже стали частью корпоративной среды, но подходы к их безопасному использованию только формируются. Перечень шагов выше — это не разовая настройка, а отправная точка для выстраивания системного контроля.

Бывает, что команды запускают пилоты, подключают данные, дают доступы — и только потом задумываются о рисках. Такой порядок действий понятен: бизнесу важно быстро проверить гипотезу и получить эффект. Но с агентными системами цена запоздалой реакции может оказаться слишком высокой.

В выигрыше окажутся те, кто не ждет первого инцидента, а заранее наводит прозрачность: понимает, где уже используются агенты, какие у них права, какие решения они принимают и какие процессы могут затронуть. Без паники, без запретов «на всякий случай», но с осознанной архитектурой контроля.