При индексации сайта робот ходит по ссылкам, и не известно когда он обойдёт все страницы. Чтобы упростить ему задачу и ускорить процесс индексации нам нужна XML карта сайта. В отличии от HTML карты XML содержит дополнительные параметры - важность документа, частота обновления информации, дата последнего обновления. Один файл может содержать не более 50000 адресов и весить не более 10Мб. Если ваша XML карта сайта превышает хотя бы один из этих параметров нужно разбить карту сайта на несколько. Адрес, где расположена карта сайта, нужно указать в robots.txt используя директиву Sitemap. Если у вас несколько карт прописывайте каждую в отдельной директиве.
Sitemap: http://mysite.ru/sitemaps1.xml
Sitemap: http://mysite.ru/sitemaps2.xml
Для Drupal есть модуль который сам сгенерирует и добавляет новые страницы в карту сайта. Модуль называется XML sitemap. Вот ссылка на страницу модуля https://drupal.org/project/xmlsitemap. После установки переходим на страницу подключения модулей и выбираем нужные.
Кроме основного модуля нужно отметить XML sitemap node и XML sitemap taxonomy. Эти два модуле добавляют в карту сайта страницы со статьями и страницы терминов таксономии. Остальные на ваше усмотрение.
Переходим Конфигурация → Поиск и метаданные → xml sitemap. Первое что мы видим список наших карт. На вкладке поисковые системы, если был включили модуль XML sitemap engines, настраиваются параметры когда отправлять карту поисковым системам. Дальше переходим на вкладку настройки. Здесь мы можем придать карте человеческий вид включив стили. Настроить промежуток времени через который будет обновляться XML файл. Также есть параметры определяющие количество ссылок на странице и количество адресов обрабатываемое за раз. Большая часть основных параметров уже настроена.
После установки карты сайта в настройках типов материалов и словарей таксономии появиться пункт XML sitemap.
Мы можем включить/отключить добавление данного типа материала или терминов словаря в карту сайта и установить приоритет. Такой же пункт появиться при добавлении/редактировании статьи или термина таксономии. Они могут переопределять общие настройки. Если мы не хотим что бы в карту сайта попала какя-то статья, то при редактировании в настройках Sitemap XML выбираем исключено. Теперь несмотря на общие настройки наша статья не попадёт в карту сайта.
Последняя вкладка в настройках модуля XML Sitemap - "обновить карту сайта". На ней вы можете в ручную запустить изменение карты сайта. Если вы только что установили модуль, а на сайте уже уже есть контент, смело нажимайте кнопку "обновить карту сайта". Все разрешённые страницы будут добавлены. В дальнейшем карта сайта будет обновляться сама если на сайте будут новые страницы.
Карта сайта это не просто список ссылок. XML файл должен быть составлен правильно. Прежде чем отдавать карту сайта поисковикам проверьте её. Вот ссылка на валидатор Яндекса http://webmaster.yandex.ru/sitemaptest.xml
- Войдите, чтобы оставлять комментарии