Twitter в robot.txt запретил индексировать любой контент любым поисковикам.
User-agent: *
Disallow: /
Впрочем, запрет на индексацию не важен, поскольку для нормальной индексации требуется доступ к firehose (прямому потоку всех твитов, близкому к реальному времени), которые есть и у Google, и у "Яндекса".
| Подписаться на комментарии | Комментировать
Источник: Roem.ru
Поисковый робот Mail.ru игнорирует или неправильно читает robots.txt Пример robots.txt: ... User-agent: Mail.Ru Crawl-delay: 5 Disallow: /admin/ User-agent: * Disallow: /search/ ... И все равно делает 2-3 запроса в секунду и пытается индексировать страницы в /search/ Это баг или фича?
подробнее »
Корпорация Google заявила о том, что ее поисковая система в скором времени начнет индексировать и ранжировать контент мобильных приложений, которые не имеют десктопных версий. Рубрика: Google
подробнее »Google создает новую систему, с помощью которой поисковик интернет-гиганта сможет индексировать весь новый контент, появляющийся на сайтах, практически в режиме реального времени. Источник:Все о Google на Хабрахабре
подробнее »
В видео мы расскажем о работе с основными директивами: - «User-agent:»; - «Disallow:»; - «Allow:»; - «Host:»; - «Sitemap:».
подробнее »
В ближайшие дни Twitter увеличит лимит знаков в сообщениях со 140 до 280. Об этом сообщают представители соцсети в официальном блоге компании. В версиях на японском, корейском и китайском языках останется ограничение в 140 знаков. Тестовый этап начался в еще в сентябре. Один из основателей Twitter
подробнее »Премьер-министр Турции Эрдоган собирался заблокировать в стране Facebook и YouTube и после 30 марта. А заблокировал Twitter и не дожидаясь проведения выборов. Как сообщают Todays Zaman и Mashable.com, часть клиентов в Турции при попытке ... Источник:Roem.ru
подробнее »