Почему антивирус "Яндекса" игнорирует robots.txt?

Все блоги / Про интернет 26 декабря 2011 0

Во время нашей работы заметили, что Яндекс спокойно себе краулит закрытые в robots.txt разделы сайта.

Это все дело прикрывается так называемым "Антивирусом", т.е. в закрытые в robots.txt разделы сайта заходит вот такой робот "Mozilla/5.0 (compatible; YandexAntivirus/2.0; +http://yandex.com/bots)" описывается он тут http://help.yandex.ru/webmaster/?id=995329 как "антивирусный робот, который проверяет страницы на наличие опасного кода", но мы же понимаем, что чтобы проверить на наличие опасного кода этот код надо скачать.

Ошибок в robots.txt нет, через Яндекс.Вебмастер проверяем урл к которому идет обращение он отвечает "запрещен правилом", а на деле туда ходит антивирус.

Источник:Roem.ru

предыдущая статья

следующая статья

Похожие публикации

Тоня Самсонова, «Яндекс.Q»: о травле, трафике и нейросетях в UGC

Roem публикует текстовую версию интервью основательницы The Question и главы «Яндекс.Q» Тони Самсоновой подкасту «Медиасреда». Разговор состоялся в декабре 2019 года. В беседе Тоня рассказала о: Создании нового сервиса на базе TheQuestion и «Яндекс.Знатоков». Том каким будет «Яндекс.Q». Как

подробнее »

11 апреля 2020

Расставляем медиасферу по полочкам с Александром Амзиным: подкаст Юрия Синодова и Маши Георгиевской

Приветствую, это Юрий Синодов. У нас сегодня представление нового формата для Roem.ru: это подкасты с участниками медиарынка которые я готовлю в роли директора по развитию обменной сети СМИ2 (где я работаю с апреля 2019-го года). Проект производится вместе с изданием Adindex.ru, я в нём один из

подробнее »

21 октября 2019

Открытка компании: Ашманов о конспирологии

http://www.radiomayak.ru/fragment/show/fragment_id/24500/brand_id/461 КУЗИЧЕВ: Игорь Ашманов пришел к нам в студию. Какой собеседник роскошный! Игорь, привет. АШМАНОВ: Здравствуйте. САВЕЛЬЕВ: Давайте для тех, кто не знает. Игорь Ашманов - российский специалист в области искусственного интеллекта,

подробнее »

27 августа 2012

Иван Макаров, Юлия Сапронова: Как журналистам РБК прививали любовь к диджиталу

Аудиоверсию подкаста можно послушать прямо сейчас на сайте Adindex.ru, на Яндекс.Музыке, в подкастах Apple, на SoundCloud, в сообществе Adindex.ru в VK. Текст отредактирован с целью повышения удобочитаемости. Синодов Ю.: Приветствую, дорогие слушатели. В эфире подкаст "Медиасреда", который делает

подробнее »

3 февраля 2020

Иллюзии и ловушки стартапов

Выступление Игоря Ашманова на iForum в Киеве 01.04.2011 Здравствуйте. Меня зовут Игорь Ашманов, я из Москвы. (Да, поближе, я понял, да.) Вот поскольку сама секция называется таким провокационным способом - то есть про всякие косяки, ошибки, ловушки и так далее, - ну и я вот спросил Сашу

подробнее »

15 апреля 2011

Бакунов, «Яндекс»: Нужно прекращать думать о далеком будущем и пару лет подумать о том, как улучшать настоящее

23 декабря директор по распространению технологий Яндекса Григорий Бакунов представил тренды на ближайшие 2 года на конференции Feedback в #tceh. Roem.ru публикует расшифровку полностью. Фото: #tceh Григорий: Маленькое интро — такую презентацию я делаю последние 4-5 лет, до этого я делал её в

подробнее »

24 декабря 2015