Составляем правильный Robots.txt для Dle сайта
Здравствуйте, уважаемые читатели блога DleBlog.ru. Речь в сегодняшней статье пойдет от том, как составить правильный Robots.txt на своем Dle сайте, так что бы поисковые машины индексировали именно те страницы сайта, которые Вы хотели видеть в индексе поисковых системах. Robots.txt позволяет правильно направлять поисковые машины по заданному курс, что улучшить индексацию сайта и запретит к индексации те страницы Dle сайта, которые не должны оказываться в публичном доступе. Поисковые машины индексируют все, что предоставляет ему веб - мастер и выдает их в индекс. Только веб - мастер вправе, что то запретить индексировать поисковым системам. Как раз о том, что запретить, а что разрешить индексировать поисковым системам и пойдёт речь в данной статье. Составляем правильный Robots.txt для Dle сайта В связи с последними скандалами с поисковой системой Яндекс, которая предоставляла в публичный доступ конфиденциальную информацию о пользователях магазинов и sms - сообщения, Яндекс выпустила рекомендации веб - мастерам по Robots.txt, которая была направлена на недопущение подобных инцидентов. Вина всей этой шумихи лежала на веб - мастерах, которые не правильно составили Robots.txt и поисковая машина индексировала все, что не было запрещено в Robots.txt. В связи, с чем Вам так же следует знать, как правильно составить Robots.txt под свои Dle сайт, так чтобы в индексе поисковых систем находились нужные страницы Вашего Dle сайта.
Источник: dleblog.ru
