02.08.2024. Гэри Иллиес из Google:
robots.txt не может предотвратить несанкционированный доступ к контенту — распространенный аргумент, возникающий в дискуссиях о robots.txt в наши дни. Это утверждение верно, однако я не думаю, что кто-либо, знакомый с robots.txt, утверждал обратное.
Если вам нужна авторизация доступа, вам нужно что-то, что аутентифицирует запрашивающую сторону и затем контролирует доступ. Брандмауэры могут выполнять аутентификацию на основе IP-адреса, ваш веб-сервер — на основе учетных данных, переданных HTTP Auth, или сертификата своему клиенту SSL / TLS, или ваша CMS — на основе имени пользователя и пароля, а затем файла cookie 1P.
Всегда есть какая-то информация, которую отправитель запроса передает сетевому компоненту, которая позволяет этому компоненту идентифицировать отправителя запроса и контролировать его доступ к ресурсу. robots.txt или любые другие директивы файлового хостинга, если на то пошло, передают решение о доступе к ресурсу отправителю запроса, который может оказаться не тем, что вам нужно. Эти файлы больше похожи на раздражающие стойки контроля полосы движения в аэропортах, через которые все хотят просто прорваться, но они этого не делают.
Здесь есть место для подпорок, но также есть место для противопожарных дверей и радужных оболочек над вашими Звездными Вратами.
P.S. Не думайте о robots.txt (или других директивах хостинга файлов) как о форме авторизации доступа, используйте для этого соответствующие инструменты, которых предостаточно.