Полный список директив Robots.txt

На данный момент в Robots.txt доступны следующие директивы:

Для более удобной работы с директивами, есть возможность задавать маски и оставлять комментарии.

Директивы, которые были отменены поисковыми системами: