Разработка cache-сервера для сохранения аккаунтов в задачах веб-парсинга

Всем привет! Одной из самых больших проблем при решении задач веб-парсинга данных является риск блокировки аккаунта. В общем случае эта проблема возникает только по одной причине – это большое количество запросов к веб-порталу за единицу времени. Существует несколько путей решения этой проблемы с...

Все блоги / Про интернет

Вечная борьба с парсерами, которую мы, кажется, выиграли

Каждый более или менее крупный сайт хоть раз, но пытались атаковать. Такое было и с нашим сервисом Rusprofile, люди пытались спарсить финансовые и юридические данные о компаниях, которые мы агрегируем у себя последние 5 лет. Поэтому наша команда написала неплохую систему защиты с несколькими...

Все блоги / Про интернет