Публичный саппорт: Когда поисковый бот Mail.ru научится читать robots.txt?

Все блоги / Про интернет 4 декабря 2011 0

Поисковый робот Mail.ru игнорирует или неправильно читает robots.txt

Пример robots.txt:
...
User-agent: Mail.Ru
Crawl-delay: 5
Disallow: /admin/

User-agent: *
Disallow: /search/
...

И все равно делает 2-3 запроса в секунду и пытается индексировать страницы в /search/

Это баг или фича?

Источник:Roem.ru

предыдущая статья

следующая статья

Похожие публикации

Тоня Самсонова, «Яндекс.Q»: о травле, трафике и нейросетях в UGC

Roem публикует текстовую версию интервью основательницы The Question и главы «Яндекс.Q» Тони Самсоновой подкасту «Медиасреда». Разговор состоялся в декабре 2019 года. В беседе Тоня рассказала о: Создании нового сервиса на базе TheQuestion и «Яндекс.Знатоков». Том каким будет «Яндекс.Q». Как

подробнее »

11 апреля 2020

Иван Макаров, Юлия Сапронова: Как журналистам РБК прививали любовь к диджиталу

Аудиоверсию подкаста можно послушать прямо сейчас на сайте Adindex.ru, на Яндекс.Музыке, в подкастах Apple, на SoundCloud, в сообществе Adindex.ru в VK. Текст отредактирован с целью повышения удобочитаемости. Синодов Ю.: Приветствую, дорогие слушатели. В эфире подкаст "Медиасреда", который делает

подробнее »

3 февраля 2020

Расставляем медиасферу по полочкам с Александром Амзиным: подкаст Юрия Синодова и Маши Георгиевской

Приветствую, это Юрий Синодов. У нас сегодня представление нового формата для Roem.ru: это подкасты с участниками медиарынка которые я готовлю в роли директора по развитию обменной сети СМИ2 (где я работаю с апреля 2019-го года). Проект производится вместе с изданием Adindex.ru, я в нём один из

подробнее »

21 октября 2019

Анастасия Лобада ИД «Коммерсантъ»: Как завоевать аудиторию и сохранить репутацию

Текстовая версия подкаста "Медиасреда", в котором ведущие поговорили с Анастасией Лобадой, заместителем директора по цифровой стратегии ИД "Коммерсантъ" о том, как изданию привлекать на свою площадку больше аудитории, не используя словосочетания "попа Ким Кардашьян", каким образом медиа сохранить

подробнее »

17 апреля 2020

SendPulse: Раскрутка Youtube канала для новичков — полный гайд

Продвижение YouTube канала — целый комплекс мероприятий по оптимизации и раскрутке бренда на видеохостинге и за его пределами. В этой статье мы подробно разберем, как подготовить и оформить канал, правильно добавлять видео и какими способами можно раскрутить канал на Ютуб. Почему бизнес выбирает

подробнее »

19 мая 2021

Конструктор сайтов Старонка: Индексирование в поисковиках: как это работает

Перед тем как сайт или новая страница попадет в поисковую выдачу им необходимо пройти долгий путь. В начале их исследуют роботы, которые есть у всех поисковых систем. Перед тем как сайт или новая страница попадет в поисковую выдачу им необходимо пройти долгий путь. В начале их исследуют роботы,

подробнее »

24 декабря 2020