Комментарии в файле robots.txt: как использовать

Комментарии в robots.txt – это текстовые пояснения инструкций, которые пишутся после символа “#” и действуют до конца строки.

Поисковые роботы игнорируют их. То есть они созданы исключительно для оптимизатора и разработчика, упрощая жизнь, так как через время могут напомнить, что он сделал, прописывая ту или иную директиву.

Примеры использования комментариев в файле Robots.txt

# запрет роботам Яндекса индексировать администраторскую панель и плагины CMS WordPress
User-agent: Yandex
Disallow: /wp-admin
Disallow: /wp-content/plugins

Комментарии допускается указывать и в одной строке с директивой:

Disallow: /wp-admin # запрещаем wp-admin
Disallow: /wp-content/plugins

На сегодняшний день поисковые системы не выдвигают никаких технических требований к написанию комментариев, которые бы касались их написания в одной строке с директивами, поэтому их можно прописывать даже так:

User-agent: *
# Комментарий указывается отдельно с новой строки
Disallow: *.img # Или продолжает строку с правилом
# Поисковые роботы
# Не учитывают
# Комментарии
Sitemap: http://site.ru/sitemap.xml