Как мы TLS Fingerprint обходили…
В один день одна из крупных досок объявлений начала возвращать фейковые характеристики объявлений, когда понимала, что мы - бот.
Видимо сайт добавил наш прокси в blacklist, но в нашем пуле около 100к проксей, все прокси попали в blacklist?
Попробовав запустить парсер на другом сервере, HTTP запросы возвращали корректные данные. Спустя неделю, ситуация повторилась.
Мы также попробовали отправить запрос на локальной машине с "забанненым" прокси, на удивление, данные пришли корректные, но отправив запрос с этим же прокси на сервере, получили фейковые. Отсюда вытекает вопрос: как сайт определяет, что запросы посылаются с одной машины, если используются прокси?
Прошарив весь гугл, мы узнали об интересной технологии под названием TLS Fingerprint и теперь хотим поделиться что это такое и как обойти.
Читать далееИсточник: Хабрахабр
Похожие новости
- Безопасность веб-приложений для самых маленьких фронтов
- SMS Firewall: жирная точка в войне со спамом или унылый обходной манёвр?
- Анализ распределение простых чисел. Часть 1
- Объявлены победители международной премии Workspace Digital Awards-2024
- <Cookie> ctrl+c ctrl+v: автоматизируем прохождение авторизации в DAST
- Конкурс Рейтинг Рунета-2024 открыл приём сайтов и приложений
- Социально-этичный маркетинг: в чём суть и как внедрить концепцию?
- Ландшафт угроз информационной безопасности последних лет. Часть 2
- Реализация SHA256 и SHA512 на языке RUST
- Вспомнить за майские: 20 шагов для апгрейда информационной безопасности