Атаки на чат-ботов и языковые модели. И как от них защититься

Всем привет! Я – Артем Семенов, занимаюсь тестированием на проникновение и работаю в RTM Group. В этой статье я расскажу об атаках на чат-боты и языковые модели, а также о том, как от них защититься.

Чат-боты сегодня буквально повсюду. Наверняка даже ваша бабушка нет-нет, да и вставит в разговор это модное название. Для начала, давайте все же определимся, что мы имеем в виду, когда произносим это. Чат-боты — программы, которые взаимодействуют с пользователем через текстовые сообщения или голосовые команды. Они основаны на машинном обучении и используют нейронные сети для обработки запросов пользователя и предоставления ответов. Языковые модели — это системы, которые применяют нейронные сети для генерации текста на основе образцов. Они могут использоваться для создания текстовых сообщений, генерации описаний и т. д.

Сегодня такие технологии находят все большее применение в различных отраслях благодаря их способности значительно упростить общение с клиентами и сократить затраты на персонал. Также с их помощью очень удобно создавать тексты разных объемов для разных задач в короткие сроки. Все классно, но нужно понимать, что где хайп, там и хакеры. И уже существуют и применяются различные типы атак для взлома модных ботов.

Источник: Хабрахабр