Все о robots.txt

Сайт все о файле robots.txt. Подробнее об авторе читайте на его блоге.