ИИ в информационной безопасности

Вопрос: Как ИИ меняет ландшафт угроз?

В частности, ИИ может использоваться как новый канал утечки данных. Например, некоторые руководители в компаниях используют модель генеративного ИИ для быстрой сортировки сообщений почтового ящика. То есть вся почта — все корпоративные секреты, переписка о ноу-хау и т. д. — улетает в интернет, в какой-нибудь условный ChatGPT или DeepSeek. Если подобную выгрузку система защиты от утечек еще может перехватить, то как справляться с промптами, которые будут выдавать заранее некорректный или подмененный ответ, непонятно. Это другая модель угроз. 

Мы разработали технологию для наших продуктов, которая может перехватывать конфиденциальную информацию из языковых моделей. Но пока технология защищает не от всех возможных сценариев утечек. А с развитием языковых моделей и их применения надо будет серьезно думать, как развивать средства защиты от них.

Начну с банального утверждения о том, что ИИ — это широкий спектр технологий. Он не обязательно включает в себя, например, глубокие нейронные сети или методы машинного обучения. Например, технология распознавания тоже относится к искусственному интеллекту. Технологии, которые делает InfoWatch, например, по детектированию различных документов и определению их конфиденциальности — это технологии искусственного интеллекта. Вот вам пример самого простого использования ИИ в информационной безопасности.

Еще пример. Мы сейчас делаем предиктивную аналитику, которая анализирует действия пользователя, собирает информацию по пользователю и может отмечать изменения в поведении, паттернов поведения. Это делается тоже на основе методов искусственного интеллекта и машина "говорит", что в данном случае паттерн изменился, и, соответственно, дальше уже не ее дело, что делать. Либо как-то общаться с этим человеком, либо подозревать его в чем-то и т.д. То есть это уже вопрос кадровой службы или информбезопасности.

Еще у нас есть такой забавный способ использования ИИ: в качестве подсказки для инфобезопасника. Он, когда смотрит в систему, ему нужно там разбираться, сложно, с кнопочками. А мы сделали такую штуку, что ты системе задаешь вопрос на естественном языке, она тебе человеческим голосом, как золотая рыбка, отвечает, что делать, в какой раздел заглянуть. Или прямо там даже дает ответ. Например, "скажите все, что относится к движению документа такого-то", и она выдает путь этого документа.

Большинство технологий искусственного интеллекта — вероятностные. Понятно, что ответ будет не 100% гарантированный, но, с другой стороны, пользователь сам умный и он поймет.