В DataLife Engine 9.7 разработчик DLE снова включил метатег "robots" в дистрибутив скрипта, используя новый функционал и переменную для управления этим метатегом в версии DLE 9.7 мы расширим использование метатега "robots" для служебных страниц, ... Источник:DLE, dlepro.ru
Представляю вам бесплатный аналог DonBot, с помощью которого вы сможете управлять индексацией сайта с помощью meta robots. Подключение одной строкой. А так же на выбор три значения для meta robots * noindex,nofollow * index,follow * noindex,follow
О robots.txt написано уже очень много, советы и примеры как правильно его составить существуют на всех ресурсах для веб-мастеров в сети, но оказывается, что эта тема до сих пор актуальна и веб-мастера снова и снова поднимают ... Источник:DLE, dlepro.ru
Яндекс: Новые правила обработки директивы Allow файла robots.txt
Яндекс.Поиск опубликовал в Я.РУ новые правила обработки директивы Allow файла robots.txt. А как мы уже знаем, одним из методов управления поведения поисковым роботом на вашем сайте является текстовый ... Источник: DLE, dlepro.com
Представляю вам бесплатный аналог DonBot, с помощью которого вы сможете управлять индексацией сайта с помощью meta robots. Подключение одной строкой. А так же на выбор три значения для meta robots.