В большинстве случаев на вашем сайте уже создан файл robots.txt, но если вам все же нужно создать файл и вы не знаете как это сделать, то обратитесь к этой инструкции.
Вот что следует добавить в файл robots.txt вашего сайта, если вы не хотите, чтобы ChatGPT и Google Bard использовали содержимое вашего сайта для обучения своих генеративных моделей (нейросетей).
Если вы хотите исключить весь свой сайт, добавьте эти строки в файл robots.txt:
Для ChatGPT
User-agent: GPTBot
Disallow: /Для Google Bard
User-agent: Google-Extended
Disallow: /Вы также можете исключить определенные разделы вашего сайта, например каталог с продукцией, или статьи с вашего блога, если они имеют общий каталог. Например, все ваши статьи с сайта находятся по URL site.ru/blog.
Для ChatGPT
User-agent: GPTBot
Disallow: /blogДля Google Bard
User-agent: Google-Extended
Disallow: /blog