Директива Host: как использовать в Яндекс

Важно! В марте 2018 года поисковая система Яндекс отказалась от использования директивы Host. Правило можно удалить из robots.txt, но на всех главных зеркалах веб-ресурса вместо него нужно поставить 301-й постраничный редирект читать полную инструкцию.

Возможно вам захочется узнать, как раньше использовалась эта директива host для Яндекса.

Host – это директива файла robots.txt, указывающая роботам поисковых систем главное зеркало сайта. Из всех директив, Host распознается исключительно ботами Яндекса. Ее актуально применять для сайтов, доступных по нескольким доменам. К примеру:

• site.ru
• site.com

Также с помощью Host можно указать предпочтительный URL:

1. site.ru
2. www.site.ru

Правило указывают в блоке User-agent: Yandex, а в качестве параметра прописывают приоритетный УРЛ-адрес без указания http://.

Примеры файла Robots с директивой Host

User-agent: Yandex
Disallow: /page
Host: site.ru

В данном случае главным зеркалом указывают домен site.ru без www. Благодаря этому в поисковую выдачу попадет именно такой URL-адрес.

А если прописать данную инструкцию:

User-agent: Yandex
Disallow: /page
Host: www.site.ru

Главным зеркалом будет домен www.site.ru.

На заметку. Правило Host в Robots можно прописать лишь один раз. Если указать директиву два и больше раза, поисковый робот учтет только первую, игнорируя все последующие.

Если в Яндексе не сообщить главное зеркало в robots.txt, Яндекс оповестит вас об этом:

Не зная главное зеркало сайта, его легко определить, указав в поисковой строке Яндекса домен. Какой URL-адрес отобразит поисковая выдача, тот и является основным зеркалом.

А если веб-сайт еще не был проиндексирован, тогда перейдите в Яндекс.Вебмастер в меню Переезд сайта. Можно самому указать главное зеркало.

Указать главное зеркало роботам поисковой системы Google можно в Google Search Console.