Как мы TLS Fingerprint обходили…

В один день одна из крупных досок объявлений начала возвращать фейковые характеристики объявлений, когда понимала, что мы - бот. Видимо сайт добавил наш прокси в blacklist, но в нашем пуле около 100к проксей, все прокси попали в blacklist? Попробовав запустить парсер на другом сервере, HTTP запросы...

Все блоги / Про интернет

Обновление CrowdSec 1.2.1: общая оптимизация и поддержка cscli explain для упрощения работы с парсерами и сценариями

Привет, Хабр! В посте о прошлом обновлении платформы мы говорили о плагинах, новых баунсерах и обновлённом механизме консенсуса, которые появились в CrowdSec в версии 1.2. Но время не стоит на месте, и мы продолжаем развивать и улучшать своё детище. В версии 1.2.1 исправлено несколько ошибок и...

Все блоги / Про интернет

Вечная борьба с парсерами, которую мы, кажется, выиграли

Каждый более или менее крупный сайт хоть раз, но пытались атаковать. Такое было и с нашим сервисом Rusprofile, люди пытались спарсить финансовые и юридические данные о компаниях, которые мы агрегируем у себя последние 5 лет. Поэтому наша команда написала неплохую систему защиты с несколькими...

Все блоги / Про интернет