Для чего нужна генерация sitemap

Карта сайта и ее назначение

Дело в том, что поисковым роботам часто сложно переходить по бесконечным ссылкам, в итоге часть страниц может быть не проиндексирована. Сегодня создать файл sitemap можно на одном из многочисленных он-лайн генераторов. Помимо самой карты, нужно создать еще файл для роботы, где указан путь к описанию страниц. Индексация сайта поисковыми системами происходит обычно достаточно легко. Однако в некоторых случаях поисковый робот может пропустить часть страниц сайта. Так происходит тогда, когда на веб-ресурсе их слишком большое количество. Иногда их число достигает нескольких сотен. Подчас между такими страничками приходится пробираться по многочисленным ссылкам, и робот просто пропускает часть информации. Именно для того, чтобы облегчить индексацию, и была придумана карта сайта, то есть sitemap. Необходимый файл необязательно составлять вручную. Генерация sitemap сегодня осуществляется различными сервисами, причем, если страниц на сайте не очень много, то сделать карту сайта можно абсолютно бесплатно. Например, он-лайн генератор можно найти на сайте htmlweb.ru. Как правило, если на ресурсе более 50 страниц, генерация sitemap просто необходима.
Для того чтобы создать карту сайта, нужно зайти на сервис, содержащий он-лайн генератор и ввести все необходимые параметры. В строке url надо ввести адрес. Однако адрес веб-ресурса - это еще не все. Важно указать приоритет индексации страниц и еще ряд данных, например, частоту обновления контента. После того, как сам файл sitemap готов, работа не завершена. Нужно проделать еще ряд операций. Генерация sitemap -это только половина дела.

Первые действия

В первую очередь, надо разместить sitemap в каталоге сайта. Это должен быть файл в формате xml, в каталоге он носит название sitemap.xml. В нем находится тот код, который был выдан при генерации sitemap на сервисе.
Далее нужно указать поисковым роботам, что таковой файл существует, и направить их к нему для считывания информации. Для этого на сайт нужно поместить еще один файл, на этот раз текстовый. Он будет называться Robots.txt, сделать его можно в любом редакторе, включая обычный блокнот. В этом текстовом файле будет находиться, по сути только одна строчка - это путь до файла sitemap.
Робот, считав информацию с Robots.txt, направится прямиком к нужному документу. В принципе, файл с картой сайта можно сделать и в текстовом формате, однако у формата xml есть приоритет. Он дает возможность составить более подробное описание и предоставить для робота дополнительную полезную информацию. Для удаления файла sitemap (если таковое требуется) нужно убрать не только сам файл с описанием, но и тот, который содержит путь к нему, то есть саму директиву Sitemap. Еще один важный момент, который нужно учесть при создании файла для робота (Robots.txt) - это то, что кириллические символы в нем недопустимы. Часто страницы носят русские названия. Но в самом файле они должны быть расшифрованы.