Как защищать ИИ-агентов
обзор российских систем безопасности
В 2026 году безопасность ИИ-агентов стала критическим приоритетом для российского бизнеса: технологии вышли из стадии экспериментов и начали напрямую влиять на бизнес-процессы.
По данным TAdviser, к началу года почти половина российских компаний (46%) внедрили или тестируют автономных агентов. При этом корпоративные политики безопасности зачастую не успевают за скоростью внедрения технологий. На практике этот разрыв приводит к рекордному росту финансовых потерь — ежегодное исследование IBM и Ponemon Institute зафиксировало среднюю стоимость инцидента на уровне почти 5 миллионов долларов США.
Разберем, какие решения для защиты таких систем сегодня представлены на российском рынке, чем отличаются их подходы и как выбрать подходящую архитектуру под задачи компании.
Разберем, какие решения для защиты таких систем сегодня представлены на российском рынке, чем отличаются их подходы и как выбрать подходящую архитектуру под задачи компании.
Почему безопасности LLM уже недостаточно
Когда компания использует обычную языковую модель, основные риски связаны с самим взаимодействием: в LLM могут попасть конфиденциальные данные, в запрос — вредоносные инструкции, а компания может потерять контроль над тем, кто и как использует модели.
Поэтому первые системы защиты ИИ сосредоточились на контроле запросов и ответов: они анализируют промпты, ищут признаки prompt injection, предотвращают утечки и ведут аудит взаимодействий.
С ИИ-агентами этого уже недостаточно. Агент может самостоятельно выполнять последовательность действий, обращаться к API, базам данных, файловой системе и другим инструментам.
Поэтому важно контролировать: что агент отправляет в LLM, что получает в ответ и что он делает дальше. Например, к каким системам обращается, какие инструменты использует и не выходит ли за рамки поставленной задачи.
Именно здесь появляется следующий уровень безопасности — контроль действий и поведения ИИ-агента.
Поэтому первые системы защиты ИИ сосредоточились на контроле запросов и ответов: они анализируют промпты, ищут признаки prompt injection, предотвращают утечки и ведут аудит взаимодействий.
С ИИ-агентами этого уже недостаточно. Агент может самостоятельно выполнять последовательность действий, обращаться к API, базам данных, файловой системе и другим инструментам.
Поэтому важно контролировать: что агент отправляет в LLM, что получает в ответ и что он делает дальше. Например, к каким системам обращается, какие инструменты использует и не выходит ли за рамки поставленной задачи.
Именно здесь появляется следующий уровень безопасности — контроль действий и поведения ИИ-агента.
Какие подходы к безопасности ИИ существуют
Системы безопасности ИИ работают на разных уровнях. При этом один продукт может совмещать несколько подходов.
- AI Firewall: защита взаимодействия с модельюAI Firewall контролирует обмен данными между пользователем или приложением и языковой моделью. Такие решения могут анализировать запросы и ответы, искать признаки prompt injection, выявлять передачу чувствительных данных и блокировать потенциально опасные обращения.
Это базовый уровень защиты, который помогает контролировать использование LLM внутри компании. - LLM Gateway: единая точка доступа к моделямДругой подход — создать единый шлюз, через который приложения и агенты взаимодействуют с языковыми моделями.
Такой слой позволяет централизованно подключать разные LLM, управлять доступом, вести логирование, устанавливать лимиты и контролировать использование ресурсов.
Сам по себе LLM Gateway не обязательно является системой безопасности. Но он может стать важной точкой контроля, через которую компания применяет единые политики работы с моделями. - Контроль действий ИИ-агентаСледующий уровень — контроль самого агента во время выполнения задачи.
Здесь система отслеживает не только запросы к модели, но и дальнейшие действия: какие инструменты использует агент, к каким системам обращается и какие операции пытается выполнить.
Такой подход особенно важен, если агент получает доступ к корпоративной инфраструктуре. В этом случае нужно контролировать не только содержание запроса, но и сами последствия работы агента. - Безопасность моделей и AI-инфраструктурыОтдельное направление связано с защитой самих моделей и инфраструктуры вокруг них. Оно может включать проверку зависимостей и артефактов, контроль данных, безопасность RAG-систем и анализ моделей перед вводом в эксплуатацию.
Еще один важный уровень — интеграция решений для защиты ИИ с существующей ИБ-инфраструктурой: SIEM, системами управления доступом и другими инструментами мониторинга.
Эти подходы не исключают друг друга. AI Firewall не заменяет контроль действий агента, а контроль действий не отменяет необходимость защищать модель и ее окружение.
Какие решения уже представлены на рынке
Российский рынок систем безопасности для ИИ пока только формируется, поэтому решения заметно различаются по своему назначению. Одни сосредоточены на защите взаимодействия с языковыми моделями, другие помогают централизованно управлять доступом к LLM, третьи делают акцент на контроле действий самих агентов.
Для обзора мы рассмотрели пять решений: CyberAgentReview, INFERA AI. Firewall, Hivetrace, StarGuard AI и LiteLLM.
Для обзора мы рассмотрели пять решений: CyberAgentReview, INFERA AI. Firewall, Hivetrace, StarGuard AI и LiteLLM.
- CyberAgentReviewCyberAgentReview — система безопасности и контроля ИИ-агентов от SoftMediaLab. Решение устанавливается между агентом и языковой моделью и позволяет отслеживать их взаимодействие.
При этом продукт не ограничивается анализом запросов к LLM. CyberAgentReview контролирует действия агента и доступ к инструментам: например, может отслеживать обращения к локальным каталогам, сайтам, Docker-контейнерам, удаленным серверам и базам данных. Для ограничения действий используются белые и черные списки.
Еще одна особенность системы — анализ поведения агента.
CyberAgentReview позволяет выявлять ситуации, когда действия агента начинают отклоняться от первоначально поставленной цели. - INFERA AI.FirewallINFERA AI. Firewall — решение для защиты взаимодействия с AI- и ML-системами. Его основной фокус — контроль запросов к моделям, защита данных и выявление потенциально опасного контента.
Система анализирует обращения к ИИ, поддерживает аудит и работу с несколькими моделями, а также использует механизмы для обнаружения prompt injection.
По данным из сравнительной таблицы, развитие продукта также связано с расширением контроля агентных сценариев и интеграцией с другими элементами ИБ-инфраструктуры. - HivetraceHivetrace ориентирован на мониторинг и защиту взаимодействия приложений с языковыми моделями. Решение позволяет контролировать обращения к LLM, вести аудит и отслеживать потенциально опасные запросы.
Основной уровень контроля здесь сосредоточен вокруг взаимодействия с моделью: анализа промптов, защиты данных и мониторинга использования LLM.
В планах развития продукта есть расширение интеграций и развитие механизмов контроля корпоративной AI-инфраструктуры. - StarGuard AIStarGuard AI также работает на уровне защиты взаимодействия с языковыми моделями. Решение предназначено для контроля запросов, аудита работы с LLM и выявления потенциально опасных сценариев, включая prompt injection.
Продукт поддерживает работу с несколькими моделями и может использоваться как дополнительный уровень контроля при внедрении ИИ в корпоративные процессы.
Дальнейшее развитие продукта связано в том числе с интеграцией с системами информационной безопасности и расширением возможностей мониторинга. - LiteLLMLiteLLM несколько отличается от остальных участников обзора. Это прежде всего инфраструктурное решение, которое позволяет централизованно управлять взаимодействием приложений и агентов с различными языковыми моделями.
Через единый шлюз можно подключать разные LLM, управлять доступом, вести логирование и контролировать использование токенов.
Поэтому LiteLLM скорее относится к уровню управления AI-инфраструктурой, чем к специализированным системам безопасности ИИ-агентов. При этом такой шлюз может использоваться как важная точка контроля при построении защищенной инфраструктуры работы с LLM.
Как отличаются возможности решений для безопасности ИИ-агентов
Решения, представленные на рынке, работают на разных уровнях контроля: от защиты взаимодействия с языковыми моделями до управления AI-инфраструктурой и мониторинга действий автономных агентов.
Для наглядности мы собрали ключевые возможности рассмотренных систем в одной таблице.
Для наглядности мы собрали ключевые возможности рассмотренных систем в одной таблице.
Сравнение систем безопасности ИИ-агентов
Что показывает сравнение
- Первый выводРынок постепенно формирует базовый набор функций для контроля работы с LLM. В него входят аудит взаимодействий, работа с несколькими моделями, защита данных и обнаружение prompt injection.
- Второй выводПродукты начинают расходиться там, где заканчивается контроль обычного запроса к модели. Одни решения развиваются в сторону управления AI-инфраструктурой и интеграции с существующими системами ИБ, другие — в сторону контроля инструментов, действий ИИ-агентов и предотвращения прямых использований облачных LLM.
Именно этот уровень становится особенно важным по мере распространения автономных систем. Если агент получает доступ к API, базам данных, файловой системе или внешним сервисам, необходимо контролировать уже не только запрос к LLM, но и то, что агент делает после получения ответа. - Третий выводЕдиный стандарт для систем безопасности ИИ пока только формируется. Судя по планам развития рассмотренных решений, рынок одновременно движется в нескольких направлениях: развиваются интеграции с SIEM и другими ИБ-системами, контроль RAG и зависимостей, управление доступом и анализ поведения агентов.
На что смотреть при выборе системы безопасности для ИИ
При выборе решения стоит начинать не со списка функций, а с собственной архитектуры и сценариев использования ИИ.
- Что именно использует компанияОбычный корпоративный чат с LLM и автономный агент — разные объекты защиты.
Если система только обрабатывает текстовые запросы, основной акцент может быть на защите данных и контроле промптов.
Если агент самостоятельно вызывает API, работает с файлами или базами данных, появляется необходимость контролировать его действия. - Какие инструменты доступны агентуЧем больше возможностей у агента, тем выше потенциальные последствия ошибки.
Стоит заранее определить, какие системы действительно нужны агенту, какие действия ему разрешены, что должно требовать подтверждения человека, а какие операции должны быть полностью запрещены. - Где находится точка контроляВажно понимать, что именно видит система: действия пользователя, запросы к LLM, ответы модели, вызовы инструментов или всю цепочку работы агента.
От этого зависит, какие инциденты она сможет обнаружить. - Можно ли встроить решение в существующую инфраструктуруДля корпоративного использования важны возможность развертывания в собственном контуре, интеграция с системами управления доступом и передача событий в существующие инструменты мониторинга ИБ.
- Что происходит после обнаружения инцидентаЛогирование само по себе полезно, но не всегда достаточно.
Важно понимать, кто получит уведомление, можно ли остановить потенциально опасное действие и попадет ли информация об инциденте в общую систему мониторинга.
CyberAgentReview: контроль запросов и поведения ИИ-агентов
CyberAgentReview изначально создавался как система безопасности и контроля ИИ-агентов.
В основе решения — прокси между агентом и LLM, который позволяет централизованно контролировать взаимодействие с моделями. При этом функциональность не ограничивается аудитом запросов.
В основе решения — прокси между агентом и LLM, который позволяет централизованно контролировать взаимодействие с моделями. При этом функциональность не ограничивается аудитом запросов.
Система помогает контролировать доступ агента к инструментам и отслеживать его действия в процессе выполнения задачи. В сочетании с анализом поведения это позволяет оценивать не отдельный запрос, а контекст всей работы агента. Кроме того, имеется функционал для определения прямых подключений сотрудников к публичным LLM-моделям для борьбы с Shadow AI.
Такой подход особенно актуален для систем, в которых ИИ получает доступ к корпоративным ресурсам и может самостоятельно выполнять операции.
Такой подход особенно актуален для систем, в которых ИИ получает доступ к корпоративным ресурсам и может самостоятельно выполнять операции.
В планах развития CyberAgentReview:
- интеграция с LiteLLM для простого встраивания в инфраструктуру заказчика, у которого развернут данный proxy
- механизм создания пользовательских политик контроля агентов
- автоматический выбор LLM-модели в зависимости от сложности решаемой задачи
- управление политиками и квотами на уровне отделов
- триаж создаваемых инцидентов — отсев информационного шума, классификация и приоритезация, назначение ответственного.
Что дальше
ИИ-агенты постепенно становятся самостоятельными участниками корпоративной инфраструктуры. Они получают доступы, используют инструменты, взаимодействуют с внутренними и внешними системами и могут выполнять действия без постоянного участия человека.
Поэтому меняется и подход к их безопасности.
Недостаточно только проверять промпты и блокировать опасные запросы. Необходимо понимать весь контекст работы агента: какую задачу он получил, к каким данным и инструментам обратился и что в итоге попытался сделать.
Российский рынок систем безопасности ИИ уже начинает отвечать на эту потребность. Однако единый стандарт пока только формируется, а продукты развиваются в разных направлениях.
Поэтому выбирать решение стоит не по принципу «какой AI Firewall лучше», а исходя из того, насколько самостоятельны ИИ-системы в конкретной компании.
Если ИИ только отвечает на вопросы сотрудников, одного набора защитных механизмов может быть достаточно. Но если агент получает доступ к API, базам данных, файловой системе или другим инструментам, возникает следующая задача — контролировать не только то, что он говорит, но и то, что он делает.
Именно здесь начинается следующий этап развития систем AI Security — переход от защиты взаимодействия с языковыми моделями к контролю поведения и действий ИИ-агентов.
Поэтому меняется и подход к их безопасности.
Недостаточно только проверять промпты и блокировать опасные запросы. Необходимо понимать весь контекст работы агента: какую задачу он получил, к каким данным и инструментам обратился и что в итоге попытался сделать.
Российский рынок систем безопасности ИИ уже начинает отвечать на эту потребность. Однако единый стандарт пока только формируется, а продукты развиваются в разных направлениях.
Поэтому выбирать решение стоит не по принципу «какой AI Firewall лучше», а исходя из того, насколько самостоятельны ИИ-системы в конкретной компании.
Если ИИ только отвечает на вопросы сотрудников, одного набора защитных механизмов может быть достаточно. Но если агент получает доступ к API, базам данных, файловой системе или другим инструментам, возникает следующая задача — контролировать не только то, что он говорит, но и то, что он делает.
Именно здесь начинается следующий этап развития систем AI Security — переход от защиты взаимодействия с языковыми моделями к контролю поведения и действий ИИ-агентов.
Возьмите под контроль ИИ-агентов. Мы проведем анализ и разработаем стратегию защиты, адаптированную под вашу инфраструктуру
Контакты
Закажите консультацию
Расскажем, как снизить риски и обеспечить безопасность ИИ-решений
Нажимая "Отправить", я даю согласие на обработку данны