Комментарии в robots.txt – это текстовые пояснения инструкций, которые пишутся после символа “#” и действуют до конца строки.
Поисковые роботы игнорируют их. То есть они созданы исключительно для оптимизатора и разработчика, упрощая жизнь, так как через время могут напомнить, что он сделал, прописывая ту или иную директиву.
Примеры использования комментариев в файле Robots.txt
# запрет роботам Яндекса индексировать администраторскую панель и плагины CMS WordPress
User-agent: Yandex
Disallow: /wp-admin
Disallow: /wp-content/plugins
Комментарии допускается указывать и в одной строке с директивой:
Disallow: /wp-admin # запрещаем wp-admin
Disallow: /wp-content/plugins
На сегодняшний день поисковые системы не выдвигают никаких технических требований к написанию комментариев, которые бы касались их написания в одной строке с директивами, поэтому их можно прописывать даже так:
User-agent: *
# Комментарий указывается отдельно с новой строки
Disallow: *.img # Или продолжает строку с правилом
# Поисковые роботы
# Не учитывают
# Комментарии
Sitemap: http://site.ru/sitemap.xml