robots.txt

Вопрос или проблема У меня есть файл robots.txt, который выглядит следующим образом: User-agent: * Disallow: /account/ Disallow: /captcha/ Disallow: /checkout/ User-agent: DataForSeoBot Disallow: /p- User-agent: UptimeRobot Disallow: /p- У меня есть множество

Вопрос или проблема Я пытаюсь заблокировать ботов (в основном “AI” ботов). У меня это в файле .htaccess. <IfModule mod_rewrite.c> RewriteEngine on RewriteBase / # блокировать “AI” ботов RewriteCond %{HTTP_USER_AGENT} (AdsBot-Google|Amazonbot|anthropic-ai|Applebot|Applebot-Extended|AwarioRssBot|AwarioSmartBot|Bytespider|CCBot|ChatGPT|ChatGPT-User|Claude-Web|ClaudeBot|cohere-ai|DataForSeoBot|Diffbot|FacebookBot|facebookexternalhit|Google-Extended|GPTBot|ImagesiftBot|magpie-rawler|omgili|Omgilibot|peer39_crawler|PerplexityBot|YouBot|AhrefsBot|Barkrowler|SemrushBot|DotBot)

Вопрос или проблема На каждом установке WordPress есть стандартный виртуальный файл robots.txt со следующим содержимым: User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php но в моих двух последних проектах /robots.

Вопрос или проблема Мой WordPress не генерирует файл robots.txt. Я не знаю, как решить эту проблему, и надеюсь, что кто-то сталкивался с аналогичной проблемой и знает решение. Спасибо заранее! Пока, Уорд Файл robots.txt в WP –

Вопрос или проблема Я хочу сказать Baidu не сканировать. Один из их роботов – Baidu Spider. Должно ли это быть: User-agent: Baidu%20Spider или User-agent: Baidu Spider Мы разместим пресмыкающихся и земноводных на своих местах с помощью меня и вас

Вопрос или проблема Я просматривал сайт поддержки Google, и там сказали: «Чтобы обновить ваш файл robots.txt и разрешить нашему краулеру доступ к вашим страницам, удалите следующие две строки текста из вашего файла robots.txt: User-agent: Mediapartners-Google

Вопрос или проблема Это мой файл robots.txt: User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php Disallow: /wp-includes/ Disallow: /wp-content/plugins/ Disallow: /wp-content/themes/ Disallow: /wp-content/cache/ Disallow: /readme.

Вопрос или проблема Я хотел бы предотвратить сбор данных о продуктах Amazon на своем сайте. Поэтому я нашел этот документ: https://developer.amazon.com/amazonbot И этот пример: User-agent: Amazonbot # User agent Amazon Disallow: /do-not-crawl/ # запретить

Вопрос или проблема У меня есть подссылка с отдельным экземпляром WordPress. Когда я нажимаю на ссылку, которая должна вести на новый сайт (в подссылке), она считывает всё, кроме упомянутой подссылки. Например, мой адрес https://www.

Вопрос или проблема Должен ли я заблокировать директорию ‘_next’ на сайте, использующем Next.js, с помощью robots.txt? Мы используем Next.js для нашего веб-сайта. Одним из основных преимуществ является то, что он загружает все связанные страницы