Как ИИ используется в сфере информационной безопасности и нет ли рисков его использования?

Многие мои подписчики задают вполне логичный вопрос "Как искусственный интеллект используется в сфере информационной безопасности и нет ли рисков его использования?"

Рассказываю о технологиях распознавания различных документов и определения конфиденциальности, которые сделаны на базе ИИ, их отличиях от самообучающейся генеративной модели и пользе для специалистов по информационной безопасности.

Начну с банального утверждения о том, что ИИ — это широкий спектр технологий. Он не обязательно включает в себя, например, глубокие нейронные сети или методы машинного обучения. Например, технология распознавания тоже относится к искусственному интеллекту. Технологии, которые делает InfoWatch, например, по детектированию различных документов и определению их конфиденциальности — это технологии искусственного интеллекта. Вот вам пример самого простого использования ИИ в информационной безопасности.

Еще пример. Мы сейчас делаем предиктивную аналитику, которая анализирует действия пользователя, собирает информацию по пользователю и может отмечать изменения в поведении, паттернов поведения. Это делается тоже на основе методов искусственного интеллекта и машина "говорит", что в данном случае паттерн изменился, и, соответственно, дальше уже не ее дело, что делать. Либо как-то общаться с этим человеком, либо подозревать его в чем-то и т.д. То есть это уже вопрос кадровой службы или информбезопасности.

Еще у нас есть такой забавный способ использования ИИ: в качестве подсказки для инфобезопасника. Он, когда смотрит в систему, ему нужно там разбираться, сложно, с кнопочками. А мы сделали такую штуку, что ты системе задаешь вопрос на естественном языке, она тебе человеческим голосом, как золотая рыбка, отвечает, что делать, в какой раздел заглянуть. Или прямо там даже дает ответ. Например, "скажите все, что относится к движению документа такого-то", и она выдает путь этого документа.

Большинство технологий искусственного интеллекта — вероятностные. Понятно, что ответ будет не 100% гарантированный, но, с другой стороны, пользователь сам умный и он поймет.

Что касается опасности/безопасности — можно ли использовать системы ИИ или нельзя? Нельзя использовать системы генеративного искусственного интеллекта на критическом пути. Это значит, что в каких-то критических системах генеративный ИИ недопустим. Почему? Потому что генеративный ИИ, то есть генерирующий что-то сам, самообучающаяся модель, по определению "глючная". А это значит, что если мы ставим ее куда-нибудь в объект критической информационной инфраструктуры, и не дай Бог он нам выдаст "глюк", то кто потом будет нести ответственность? Поэтому — можно использовать, но не на критическом пути. Когда мы используем в качестве подсказки — это не является критичной вещью, а когда, допустим, нам система будет определять что-то про людей — это уже совсем нехорошо и недопустимо.