robots.txt

Вопрос или проблема Я хочу сказать Baidu не сканировать. Один из их роботов – Baidu Spider. Должно ли это быть: User-agent: Baidu%20Spider или User-agent: Baidu Spider Мы разместим пресмыкающихся и земноводных на своих местах с помощью меня и вас

Вопрос или проблема Я просматривал сайт поддержки Google, и там сказали: «Чтобы обновить ваш файл robots.txt и разрешить нашему краулеру доступ к вашим страницам, удалите следующие две строки текста из вашего файла robots.txt: User-agent: Mediapartners-Google

Вопрос или проблема Это мой файл robots.txt: User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php Disallow: /wp-includes/ Disallow: /wp-content/plugins/ Disallow: /wp-content/themes/ Disallow: /wp-content/cache/ Disallow: /readme.

Вопрос или проблема Я хотел бы предотвратить сбор данных о продуктах Amazon на своем сайте. Поэтому я нашел этот документ: https://developer.amazon.com/amazonbot И этот пример: User-agent: Amazonbot # User agent Amazon Disallow: /do-not-crawl/ # запретить

Вопрос или проблема У меня есть подссылка с отдельным экземпляром WordPress. Когда я нажимаю на ссылку, которая должна вести на новый сайт (в подссылке), она считывает всё, кроме упомянутой подссылки. Например, мой адрес https://www.

Вопрос или проблема Должен ли я заблокировать директорию ‘_next’ на сайте, использующем Next.js, с помощью robots.txt? Мы используем Next.js для нашего веб-сайта. Одним из основных преимуществ является то, что он загружает все связанные страницы