web-crawlers

Вопрос или проблема Я хочу сказать Baidu не сканировать. Один из их роботов – Baidu Spider. Должно ли это быть: User-agent: Baidu%20Spider или User-agent: Baidu Spider Мы разместим пресмыкающихся и земноводных на своих местах с помощью меня и вас

Вопрос или проблема Я изменил свое старое доменное имя на более короткое доменное имя. Я настроил 301 редиректы и загрузил XML-карту сайта нового веб-сайта в Google Search Console. Google индексировал новый домен, но я до сих пор вижу старый домен в поиске.

Вопрос или проблема Я просматривал сайт поддержки Google, и там сказали: «Чтобы обновить ваш файл robots.txt и разрешить нашему краулеру доступ к вашим страницам, удалите следующие две строки текста из вашего файла robots.txt: User-agent: Mediapartners-Google

Вопрос или проблема Каждый раз, когда какой-либо пользователь делится адресом моего сайта в своих твитах, на мой сайт приходят следующие боты: UnwindFetchor/1.0 (+http://www.gnip.com/) ShowyouBot (http://showyou.com/crawler) JS-Kit URL Resolver, http://js-kit.

Вопрос или проблема Я пытаюсь понять, почему бот Google сканирует только одну страницу на моем сайте. В консоли Google я зарегистрировал маленькую карту сайта в формате XML с 9 URL. Только один URL я отметил как высокий приоритет (0.

Вопрос или проблема Я хотел бы предотвратить сбор данных о продуктах Amazon на своем сайте. Поэтому я нашел этот документ: https://developer.amazon.com/amazonbot И этот пример: User-agent: Amazonbot # User agent Amazon Disallow: /do-not-crawl/ # запретить