пятница, 27 апреля 2012 г.

Как настроить robots txt и почему необходимо сделать это правильно

Как настроить robots txt и почему необходимо сделать это правильно

Необходимость файла robots.txt зачастую не понятна начинающим и они не связываются с ним. Это очень большая ошибка, давайте рассмотрим, где взять этот файл, и для чего он нужен. Все современные CMS уже имеют чистый robots.txt в корневом каталоге. И пока в нем нет ни единой записи поисковым системам разрешено индексировать все страницы, до которых они смогут добраться. Следовательно, происходит индексация и технических разделов, но поисковым системам они не нужны и их исключают из индекса, при этом есть вероятность, что попутно пропадут и хорошие страницы. Кроме закрытия от глаз поисковых систем страниц, в этом файле указывается путь по которому робот сможет найти карту вашего
ресурса.






Смотрите полный видеокурс на iTunes

Используемые команды

Определившись с функциями выполняемыми данным файлом, рассмотрим, как настроить robots txt. Редактирование можно производить в стандартном блокноте. Для грамотной настройки нужно разобраться с основными директивами файла, которые определяют те или иные возможности поисковых систем. Наиболее часто используемые команды это Dissalow и User-agent. После первой директивы указывается страница, которая будет скрыта, а вторая запись служит для распространения запрета на определенные поисковые боты. К примеру, одни страницы можно закрыть только для Яндекса, а другие только для Google. Чтобы полностью разобраться в том как настроить robots txt необходимо выучить и синтаксис команд. Так, например, для каждой страницы нужно создавать отдельную строчку с Dissalow, если вы запишите несколько страниц в одну строку, то ничего из этого не выйдет. Чтобы запретить к индексации определенный каталог, вы можете вписать путь до него. Разрешение индексации возможно с применением команды Allow.
Для того, чтобы указать зеркала вашего ресурса, следуют использовать директиву Host, после которого прописывается основное зеркало ресурса. Указать путь к каталогу, содержащему карту сайта, можно с помощью директивы Sitemap. Для настройки времени между загрузками страниц и периодичностью загрузок нужно обращаться к Crawl-delay и Request-rate.

Последствия неправильной настройки

Теперь вы знаете как настроить robots txt, но к чему приведет неправильная настройка? Порой случаются ошибки и по неопытности мастер закрывает от индексации полностью весь ресурс или описывает неправильный путь к карте сайта. При неправильно настроенном файле есть вероятность, что вы не дождетесь индексации ресурса. Обнаружив задержки в обработке сайта поисковыми системами - проанализируйте robots.txt.
_____________

Ребята в Интернете появился новый seo blog в котором его автор рассказывает всем секрет роста тиц. Если не верите, сами читайте, ссылку я дал выше.

Комментариев нет:

Отправить комментарий