Полный список директив Robots.txt

На данный момент в Robots.txt доступны следующие директивы:

User-agent;
Disallow;
Allow;
Clean-param;
Sitemap.

Для более удобной работы с директивами, есть возможность задавать маски и оставлять комментарии.

Директивы, которые были отменены поисковыми системами:

Host;
Crawl-delay.

Я всегда стараюсь следить за актуальностью информации на сайте, но могу пропустить ошибки, поэтому буду благодарен, если вы на них укажите. Если вы нашли ошибку или опечатку в тексте, пожалуйста, выделите фрагмент текста и нажмите Ctrl+Enter.

Полный список директив Robots.txt

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам:

Ваш комментарий (необязательно):