Высказывания поисковых систем о Robots.txt
02.08.2024. Гэри Иллиес из Google: robots.txt не может предотвратить несанкционированный доступ к контенту — распространенный аргумент, возникающий в дискуссиях о robots.txt в наши дни. Это утверждение верно, однако я не думаю, что кто-либо, знакомый с robots.txt, утверждал обратное. Если вам нужна авторизация доступа, вам нужно что-то, что аутентифицирует запрашивающую сторону и затем контролирует доступ. Брандмауэры могут … Читать далее