Комментарии в файле robots.txt: как использовать

Комментарии в robots.txt – это текстовые пояснения инструкций, которые пишутся после символа “#” и действуют до конца строки.

Поисковые роботы игнорируют их. То есть они созданы исключительно для оптимизатора и разработчика, упрощая жизнь, так как через время могут напомнить, что он сделал, прописывая ту или иную директиву.

Примеры использования комментариев в файле Robots.txt

# запрет роботам Яндекса индексировать администраторскую панель и плагины CMS WordPress
User-agent: Yandex
Disallow: /wp-admin
Disallow: /wp-content/plugins

Комментарии допускается указывать и в одной строке с директивой:

Disallow: /wp-admin # запрещаем wp-admin
Disallow: /wp-content/plugins

На сегодняшний день поисковые системы не выдвигают никаких технических требований к написанию комментариев, которые бы касались их написания в одной строке с директивами, поэтому их можно прописывать даже так:

User-agent: *
# Комментарий указывается отдельно с новой строки
Disallow: *.img # Или продолжает строку с правилом
# Поисковые роботы
# Не учитывают
# Комментарии
Sitemap: http://site.ru/sitemap.xml

Я всегда стараюсь следить за актуальностью информации на сайте, но могу пропустить ошибки, поэтому буду благодарен, если вы на них укажите. Если вы нашли ошибку или опечатку в тексте, пожалуйста, выделите фрагмент текста и нажмите Ctrl+Enter.

Оставить комментарий

avatar
  Подписаться  
Уведомление о

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: