Модератором дискуссии выступила председатель правления АРПП «Отечественный софт» и президент ГК InfoWatch Наталья Касперская. Она поделилась результатами опроса представителей бизнеса, который провела Ассоциация по защите деловой информации (BISA). По мнению респондентов, массовое внедрение технологий искусственного интеллекта в первую очередь создает риски передачи конфиденциальных данных, то есть утечки информации, в публичные ИИ-сервисы – это отметили 89% опрошенных. Также в числе ключевых векторов угроз респонденты назвали раскрытие информации третьим лицам через подобные сервисы (59%) и передачу данных встроенными ИИ-агентами (59%). При этом более половины опрошенных (59%) все же уверены, что польза от использования технологий искусственного интеллекта в бизнес-процессах перевешивает риски.
Руководитель направления облачных и дата-сервисов VK Tech Дмитрий Лазаренко отметил, что активно применять ИИ-технологии и бизнес, и рядовые пользователи начали чуть больше четырех лет назад. За это время себестоимость их использования радикально снизилась, инструмент стал максимально доступным, и это расширяет масштабы его использования – 88% компаний по всему миру используют генеративный ИИ. Однако одним из главных вопросов, который будет актуален в ближайшем будущем, эксперт назвал использование ИИ-агентов в корпоративном контуре – в этом направлении еще нет сложившихся практик с точки зрения информационной безопасности и достаточно много открытых вопросов. Выстраивание логики работы ИИ-агентов он считает главным вызовом ближайших лет. «Компании внедряют новые технологии, но часто упускают из виду защиту и управление машинной идентичностью. А ведь привилегий у цифровых агентов зачастую больше, чем у живых сотрудников. Безопасность трансформируется: теперь это не только защита периметра, но и строгое управление доступами самих ИИ-агентов. Мы убеждены, что у каждого "цифрового работника" должен быть персональный владелец-человек, отвечающий за его решения, и обязательный "рубильник" для мгновенной остановки в случае нештатной ситуации», – подчеркнул Дмитрий Лазаренко.
Директор по информационной безопасности MWS Cloud Виктор Бобыльков обратил внимание на риски передачи данных искусственному интеллекту. По его словам, это одна из трёх моделей угроз, которые необходимо учитывать при внедрении любого ИИ-инструмента в бизнес-процессы, наравне с безопасностью LLM и AI-инфраструктуры. «Большинство компаний пока не умеют контролировать поток данных, которые они передают в ИИ-сервисы или ИИ-агентам. Ключевые проблемы – в отсутствии структурирования этих данных и разумного ограничения прав доступа для AI-агентов. Решать эти задачи предстоит каждому бизнесу», — отметил он.
Ведущий эксперт по развитию продуктов для защиты данных ГК InfoWatch Сергей Сидоренко рассказал еще об одном источнике угроз от ИИ-инструментов для бизнеса – бесконтрольном использовании сотрудниками общедоступных сервисов. «Что делает сотрудник с помощью ИИ? Решает свои рабочие задачи быстрее, то есть использует открытые сервисы «для пользы», не всегда задумываясь о последствиях. Простой пример: специалист загрузил клиентскую базу в ChatGPT или Claude, попросил проанализировать. Самостоятельный анализ требует времени, а с помощью модели можно получить результат за несколько минут. Но фактически это утечка – передача конфиденциальных данных клиентов за периметр компании», – говорит Сергей Сидоренко. По словам эксперта, сегодня подобные риски закрывают средства защиты информации, в частности, DLP-системы, которые способны блокировать передачу данных в ИИ-сервисы. Однако закрыть все многообразие угроз с помощью средств защиты невозможно – сценарии утечек через подобные сервисы очень разнообразны и часто непредсказуемы. Поэтому в дополнение к ИБ-инструментам нужны и организационные меры: развитие культуры безопасности в компании, регулирование политик доступа к данным, контроль доступа к ИИ-сервисам из корпоративного контура, принцип нулевого доверия и другие, подчеркивает Сергей Сидоренко.
Юрист по информационной безопасности ГК InfoWatch Илья Башкиров коснулся важной темы государственного регулирования в контексте рисков использовании технологий искусственного интеллекта. Эксперт упомянул модель угроз для больших языковых моделей и генеративного ИИ от Open Web Application Security Project (OWASP), которая описывает десять ключевых рисков и уязвимостей, и отметил, что практически все риски из этого перечня находят отражение в российской регуляторике. При этом только статичного регулирования, по мнению Ильи Башкирова, недостаточно – важно, как рынок будет на практике выстраивать свои процессы, чтобы не формально соответствовать требованиям законодательства, а действительно учитывать права и законные интересы контрагентов, потребителей и субъектов ПДн. Этому помогает подход, закрепившийся в судебной практике, - суды выносят ИИ за скобки как инструмент, анализируя реальные процессы и нарушения. Стоит отметить, что определяющим вектором в плане требований к безопасности ИИ является государственный сектор. «Уже вступивший в силу Приказ ФСТЭК № 117 устанавливает лаконичные, но емкие требования к использованию ИИ. Их суть – в обеспечении подконтрольности и прозрачности работы ИИ для его оператора, а их содержание соответствует актуальной структуре угроз. Однако на практике для реализации этих требований необходим широкий перечень ресурсов и компетенций, а методология только актуализируется», – отмечает эксперт.
Секретарь Консорциума исследования безопасности технологий ИИ Дмитрий Служеникин рассказал о первых результатах работы пилотного проекта, в рамках которого эксперты оценивают внедрение технологий ИИ в государственных информационных системах и на объектах критической инфраструктуры в регионах. По его словам, есть ряд характерных проблем при внедрении инструментов ИИ на уровне региональных госорганов. В частности, это неполнота исходных данных, когда владельцы информационных систем не обладают полной информацией о развернутых у них ИИ-системах, фактические ошибки в описании таких систем, критическое несоответствие заявленной и реальной архитектуры. По словам Дмитрия Служеникина, во время исследования эксперты сталкивались с откровенными курьезами – например, в одном из регионов вендор в перечне известных рисков для конкретного фреймворка указал уязвимости, которые либо не относятся к этим конкретным сервисам, либо просто не существуют. Как рассказал эксперт, сегодня Консорциум формирует список мер для поддержки регионов при внедрении технологий искусственного интеллекта, в числе которых стандартизация и автоматизация оценки технологий и сервисов, запуск программ повышения квалификации сотрудников и создание библиотек лучших практик для специалистов, а также независимый аудит и поддержка от экспертов отрасли.
Подводя итоги дискуссии, модератор круглого стола Наталья Касперская отметила, что безопасность и риски технологий ИИ – это вопрос, который сегодня обсуждается в обществе и отрасли гораздо меньше, чем это необходимо. Между тем, это важное направление рынок не должен игнорировать. «Очень много говорят о внедрении искусственного интеллекта, а о том, что технологии генеративного ИИ создают большое количество рисков, мало кто говорит и мало кто осознает реальные масштабы. Мы должны серьезно и как страна, и как сообщество, и как отрасль задуматься над тем, как мы будем защищаться от этих рисков с тем, чтобы не допустить необратимых последствий», – резюмировала Наталья Касперская.
