Безопасность ИИ и риски внедрения ИИ-агентов

Каждая новая интеграция — будь то модель, AI-ассистент или агент — фактически расширяет цифровой периметр компании. При этом в отличие от классических систем, поведение ИИ не всегда предсказуемо, а значит, требует отдельного подхода к контролю и защите.

Сегодня на первый план выходит не только защита данных, но и контроль того, как именно ИИ действует внутри инфраструктуры. Это включает и защиту моделей ИИ, и управление доступом, и мониторинг действий AI-агентов.

Одним из ключевых факторов риска становится несанкционированное использование ИИ внутри компании — так называемый Shadow AI. Этот процесс редко выглядит как осознанное нарушение: сотрудники используют внешние модели для ускорения задач, подключают плагины или внедряют AI-инструменты без централизованного контроля.

В результате формируются новые каналы утечек и уязвимостей, которые сложно обнаружить традиционными средствами. Данные могут передаваться через промпты, внутренние документы — оказываться во внешних сервисах, а действия AI остаются без должного аудита.

По оценкам Gartner, уже в ближайшие годы значительная доля инцидентов информационной безопасности будет связана с генеративным ИИ. Параллельно усиливается давление со стороны регулирования: для российских компаний вопросы защиты данных, включая требования 152-ФЗ, напрямую связаны с использованием AI-инструментов.

На этом фоне меняется и рынок. Во всем мире растет объем инвестиций в технологии, обеспечивающие безопасность ИИ и защиту AI-инфраструктуры. Бизнес постепенно переходит от экспериментов к системному подходу, понимая, что риски внедрения ИИ-агентов затрагивают не только данные, но и операционные процессы.

В России также появляются решения для безопасности ИИ. В частности, разрабатываются системы, которые позволяют видеть, какие действия выполняют AI-агенты, и контролировать их поведение в реальном времени:

По мере развития технологий фокус смещается: если раньше основное внимание уделялось защите данных, то сегодня критической становится проблема действий.
AI-агенты получают доступ к корпоративным системам, работают с внутренними документами, взаимодействуют с API и могут выполнять операции в инфраструктуре. При этом во многих компаниях отсутствует полная прозрачность их поведения.

Это означает, что при возникновении инцидента становится сложно ответить на базовые вопросы: какие данные использовались, какой сценарий привел к ошибке, какие действия выполнял агент. Таким образом, риски внедрения ИИ-агентов выходят за пределы привычных моделей угроз.

Чтобы не закрывать уязвимости хаотично и не «изобретать велосипед"можно использовать подход SAIMM (Swordfish: Secure AI Maturity Model). Это отечественный фреймворк, построенный на основе мировых практик по безопасности и адаптированный под российское законодательство, включая требования ФСТЭК и 152-ФЗ. В SAIMM безопасность ИИ раскладывается на домены:

SAIMM выделяет 4 уровня зрелости: от хаотичного (уровень 1), где безопасность держится на энтузиазме, до экспертного (уровень 4), где защита является непрерывным, автоматизированным процессом. 

Если вы только планируете внедрение или уже пилотируете ИИ-решения, то вам поможет чек-лист действий, основанный на практике SML и логике SAIMM, выполнение которых уже выведет вашу компанию сразу на второй уровень зрелости:

Важно помнить, что безопасность ИИ — это системная, заранее спланированная практика, без которой компания рискует столкнуться с утечками, ошибками моделей и репутационными потерями. Она позволяет видеть потенциальные риски заранее и управлять ими еще до того, как ИИ станет критическим элементом бизнес-процессов.

Интеграция защиты ИИ на всех уровнях снижает вероятность инцидентов, повышает доверие клиентов, партнеров и регуляторов, а также укрепляет устойчивость бизнеса и уверенность в цифровой стратегии 2026 года.