Полный список директив Robots.txt

На данный момент в Robots.txt доступны следующие директивы:

• User-agent;
• Disallow;
• Allow;
• Clean-param;
• Sitemap.

Для более удобной работы с директивами, есть возможность задавать маски и оставлять комментарии.

Директивы, которые были отменены поисковыми системами:

• Host;
• Crawl-delay.