Файл robots.txt имеет первостепенную важность, так как указывает роботам поисковых систем какие URL индексировать, а какие нет. Ошибки в данном файле способны привести к тому, что важный контент не будет проиндексирован или наоборот — скрытые от индексации страницы попадут в поисковую выдачу.
Проверка доступности файла Robots.txt
Первым делом необходимо проверить доступность файла robots.txt. Переходим и смотрим его визуально https://robotstxt.ru/robots.txt, открывается ли он.
Дальше нам необходимо проверить его техническую доступность, заходим в сервис проверки ответа сервера Яндекса.
Вводим путь к вашему файлу robots.txt и нажимаем проверить.
Должен отображаться ответ сервера 200. Если вы видите другие цифры, то значит robots.txt не доступен и поисковая система не сможет его прочитать.
Как проверить в Яндекс?
Чтобы проверить файл robots.txt в Яндексе, нужно воспользоваться инструментом Яндекс.Вебмастера, который предоставляет возможности для анализа и тестирования файла robots.txt.
Если у вас еще нет аккаунта в Яндекс.Вебмастере, вам нужно будет зарегистрироваться. Для этого перейдите на сайт webmaster.yandex.ru и войдите в систему, используя ваш аккаунт Яндекса.
Добавьте ваш сайт в Яндекс.Вебмастер, следуя инструкциям на сайте. Вам потребуется подтвердить права на сайт, следуя предложенным методам подтверждения. После подтверждения сайта перейдите в раздел Инструменты > Анализ robots.txt.
Инструмент «Анализ robots.txt» предоставит информацию о том, корректно ли обрабатывается файл robots.txt и нет ли в нем директив, которые могут мешать индексации вашего сайта поисковыми роботами Яндекса. Здесь вы можете увидеть, как Яндекс видит ваш файл robots.txt, а также проверить, нет ли в нем ошибок или предупреждений.
Если обнаружены какие-либо проблемы, внесите необходимые изменения в файл robots.txt на вашем сервере и затем повторите проверку.
Используя Яндекс.Вебмастер, вы можете убедиться, что ваш файл robots.txt оптимизирован для поисковой системы Яндекс и не содержит ошибок, которые могли бы помешать правильной индексации вашего сайта.
Как проверить в Google?
Раньше у Google был валидатор похожий на Яндекс, но после 12 декабря 2023 они изменили этот инструмент и теперь, он работает в автоматическом режиме. У вас есть список, когда робот проиндексировал ваш файл Robots.txt. Индексацию можно начать в любой день.
Новый инструмент находится Настройки >Отчет Robots.txt
Если в Robots.txt возникнут проблемы, то вы увидите ошибки в столбце «Проблемы».
Чтобы просмотреть, как робот Google видит robots.txt можно нажать строку с данными.
Но если в Яндекс вы можете прописывать новый robots.txt, чтобы он в реальном времени вам показал ошибки, то здесь вы так сделать не сможете. Поэтому, чтобы не ждать когда робот Google проиндексирует ваш robots.txt лучше всего воспользоваться сторонними валидаторами и проверить его заранее:
- https://nexunom.com/robots-txt-tester/
- https://technicalseo.com/tools/robots-txt/
- https://tamethebots.com/tools/robotstxt-checker
- https://en.ryte.com/free-tools/robots-txt/
Как отправить измененный robots.txt в Google?
Загрузите новый Robots в корневую папку сайта. Необходимо, чтобы URL файла выглядел следующим образом: /robots.txt.
На заметку. Если у вас нет доступа к админке, из-за чего нет возможности загружать файлы в корневой каталог домена, свяжитесь с его администратором
Допустим, главная страница вашего веб-ресурса находится по адресу site.ru. Тогда ваш robots.txt должен находиться по адресу site.ru/robots.txt
В инструменте Google Search Console «Файлы robots.txt» есть кнопка «Загрузить повторное сканирование», благодаря которой ускоряется обход и включение в индекс нового robots.txt.
Удостоверьтесь в том, что измененный файл был успешно проверен роботами. Для этого необходимо обновить страницу «Файлы robots.txt». После этого обновится окно, где отобразится новый файл со временем проверки, когда Googlebot первый раз увидел актуальную версию роботса.
Проверка с помощью Google Robots.txt Parser и Matcher Library
На Github доступен официальный парсер Robots.txt от Google. В 2019 году Google предоставил к нему доступ после того, как Robots Exclusion Protocol (REP) был объявлен официальным стандартом.
Эту библиотеку использует и сама компания Google для парсинга файла robots.txt на сайтах и сопоставления правил в нем. Поэтому, если вы знакомы с программированием, то сможете самостоятельно установить ее к себе и протестировать свой robots.txt на наличие ошибок.
Проверка в Bing
Корпорация Microsoft в 2020 году выпустила обновление Bing для вебмастеров, которое упрощает работу с файлом robots.txt.
Теперь стало возможным править данный файл прямо в интерфейсе инструмента, после чего проверить результат с помощью встроенного валидатора.
Помимо редактирования файла robots.txt, обновлённые инструменты для вебмастеров от Bing также предоставляют расширенные возможности анализа и мониторинга:
- Отчёт обо всех URL, заблокированных или разрешённых для индексации согласно правилам из файла robots.txt. Это позволит проверить, что нужные страницы не закрыты по ошибке.
- Информация о последнем доступе робота Bing к файлу robots.txt и список обнаруженных ошибок. Поможет оперативно исправлять проблемы.
- Сведения об изменениях в доступе к файлу robots.txt со стороны IP адресов Bing-бота. Даст возможность отслеживать всю историю и видеть временные ограничения доступа.
- Отдельный раздел с рекомендациями по оптимизации файла robots.txt для эффективной индексации.
Таким образом, обновлённый функционал Bing инструментария позволит вебмастерам полностью контролировать доступ роботов к сайту и оперативно решать любые проблемы с индексацией.
Заключение
Следуя инструкциям выше, вы будете уверены в том, что настроили Robots.txt правильно для всех популярных поисковых систем — Google, Яндекс, Bing и поисковые системы сканируют файл так, как вам нужно.