Один подход к обнаружению веб-ботов, или Как мы использовали машинное обучение для классификации ботов
Объем трафика в интернете растет (особенно в последние месяцы, когда мы все оказались на удаленке и многие перевели свои активности в онлайн). Увеличивается и число автоматических средств взаимодействия с контентом на веб-сайтах и, как следствие, все большую актуальность получает фильтрация нежелательной автоматизированной активности. Сегодня до 50% интернет-активности генерится автоматически с помощью так называемых веб-ботов (или просто ботов). И в данном случае речь о любой активной в сети программе, вне зависимости от целей ее использования. Обычно такие программы выполняют повторяющиеся, простые в автоматизации действия. Например, поисковые движки Google или Yandex используют краулеры для периодического сбора контента и индексации страниц в интернете.
Итак, есть два типа веб-ботов — легитимные и зловредные. К легитимным можно отнести поисковые движки, RSS-ридеры. Примеры зловредных веб-ботов ― сканеры уязвимостей, скрейперы, спамеры, боты для DDoS-атак, трояны для мошенничества с платежными картами. После определения типа веб-бота к нему могут быть применены различные политики. Если бот легитимный, можно уменьшить приоритет его запросов к серверу или снизить уровень доступа к определенным ресурсам. Если бот определен как зловредный, можно его заблокировать или отправить в песочницу для дальнейшего анализа. Обнаруживать, анализировать и классифицировать веб-боты важно, так как они могут нанести вред: например, вызвать утечку важных для бизнеса данных. А также это снизит нагрузку на сервер и сократит так называемый шум в трафике, ведь до 66% трафика веб-ботов — это именно зловредный трафик. Читать дальше →
Источник: Хабрахабр
Похожие новости
- Безопасность веб-приложений для самых маленьких фронтов
- SMS Firewall: жирная точка в войне со спамом или унылый обходной манёвр?
- Анализ распределение простых чисел. Часть 1
- Объявлены победители международной премии Workspace Digital Awards-2024
- <Cookie> ctrl+c ctrl+v: автоматизируем прохождение авторизации в DAST
- Конкурс Рейтинг Рунета-2024 открыл приём сайтов и приложений
- Социально-этичный маркетинг: в чём суть и как внедрить концепцию?
- Ландшафт угроз информационной безопасности последних лет. Часть 2
- Реализация SHA256 и SHA512 на языке RUST
- Вспомнить за майские: 20 шагов для апгрейда информационной безопасности