Как мы TLS Fingerprint обходили…
В один день одна из крупных досок объявлений начала возвращать фейковые характеристики объявлений, когда понимала, что мы - бот. Видимо сайт добавил наш прокси в blacklist, но в нашем пуле около 100к проксей, все прокси попали в blacklist? Попробовав запустить парсер на другом сервере, HTTP запросы...
Обновление CrowdSec 1.2.1: общая оптимизация и поддержка cscli explain для упрощения работы с парсерами и сценариями
Привет, Хабр! В посте о прошлом обновлении платформы мы говорили о плагинах, новых баунсерах и обновлённом механизме консенсуса, которые появились в CrowdSec в версии 1.2. Но время не стоит на месте, и мы продолжаем развивать и улучшать своё детище. В версии 1.2.1 исправлено несколько ошибок и...
Вечная борьба с парсерами, которую мы, кажется, выиграли
Каждый более или менее крупный сайт хоть раз, но пытались атаковать. Такое было и с нашим сервисом Rusprofile, люди пытались спарсить финансовые и юридические данные о компаниях, которые мы агрегируем у себя последние 5 лет. Поэтому наша команда написала неплохую систему защиты с несколькими...