Директива Sitemap: как правильно использовать

Директива Sitemap в robots.txt – это ссылка на файл Sitemap, в котором собраны все страницы сайта для индексирования. Она позволяет сообщить роботу поисковой системы о наличии карты сайта, указать путь к XML файлу и начать индексировать его.

Указывать расположение файла Sitemap.XML необходимо, если для описания структуры ресурса используется карта сайта. Их может быть несколько, тогда нужно прописать их все.

Пример файла Robots с указанием пути к Sitemap:

User-agent: *
Disallow: /page
Sitemap: https://www.example.com/sitemap.xml

Пример robots.txt с указанием нескольких адресов карты сайта:

User-agent: *
Allow: /
Sitemap: https://site.ru/site_structure/sitemap1.xml
Sitemap: https://site.ru/site_structure/sitemap2.xml

Правило Sitemap является межсекционным, а это значит, что поисковый бот будет использовать директиву независимо от того, где она прописана в файле robots.txt.

Можно данную директиву Sitemap прописывать и через пустую строку. Пример:

User-agent: *
Allow: /

User-agent: Yandex
Dissalow: /

Sitemap: https://site.ru/site_structure/sitemap2.xml

Робот запомнит указанное расположение файла, обработает информацию и начнет применять результаты с того момента, когда снова будет формировать сессии загрузки.

Указание Sitemap рекомендуется использовать в Robots.txt, потому что им активно пользуются Google, Яндекс. Если вы не указываете данную директиву, то в Яндекс Вебмастер отображается предупреждение об этом.

Яндекс Вебмастер рекомендует указать Sitemap в Robots.txt

Я всегда стараюсь следить за актуальностью информации на сайте, но могу пропустить ошибки, поэтому буду благодарен, если вы на них укажите. Если вы нашли ошибку или опечатку в тексте, пожалуйста, выделите фрагмент текста и нажмите Ctrl+Enter.

Оставить комментарий

avatar
  Подписаться  
Уведомление о

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: