Директива Sitemap: как правильно использовать
Директива Sitemap в robots.txt – это ссылка на файл Sitemap, в котором собраны все страницы сайта для индексирования. Она позволяет сообщить роботу поисковой системы о наличии карты сайта, указать путь к XML файлу и начать индексировать его.
Указывать расположение файла Sitemap.XML необходимо, если для описания структуры ресурса используется карта сайта. Их может быть несколько, тогда нужно прописать их все.
Пример файла Robots с указанием пути к Sitemap:
User-agent: *
Disallow: /page
Sitemap: https://www.example.com/sitemap.xml
Пример robots.txt с указанием нескольких адресов карты сайта:
User-agent: *
Allow: /
Sitemap: https://site.ru/site_structure/sitemap1.xml
Sitemap: https://site.ru/site_structure/sitemap2.xml
Правило Sitemap является межсекционным, а это значит, что поисковый бот будет использовать директиву независимо от того, где она прописана в файле robots.txt.
Можно данную директиву Sitemap прописывать и через пустую строку. Пример:
User-agent: *
Allow: /
User-agent: Yandex
Disallow: /
Sitemap: https://site.ru/site_structure/sitemap2.xml
Робот запомнит указанное расположение файла, обработает информацию и начнет применять результаты с того момента, когда снова будет формировать сессии загрузки.
Указание Sitemap рекомендуется использовать в Robots.txt, потому что им активно пользуются Google, Яндекс. Если вы не указываете данную директиву, то в Яндекс Вебмастер отображается предупреждение об этом.
