Вопрос или проблема
За последние несколько месяцев мы заметили значительное увеличение количества страниц с пометкой «Обнаружено – в данный момент не индексируется» в инструментах вебмастера.
К прошлому месяцу почти половина страниц нашего сайта была классифицирована как обнаруженные, но не индексируемые.
Это было довольно странно, так как у нас был очень хорошо поддерживаемый файл карты сайта. Мы провели месяцы, стараясь настроить и оптимизировать сервер, так как Google определяет «Обнаружено – в данный момент не индексируется» как контент, который он хочет индексировать, но не хочет перегружать сервер.
Мы обнаружили очень интересный паттерн в наших логах. В то время как Googlebot снизил количество запросов на обход, Bing Bot обходил огромное количество страниц каждый день.
- Googlebot: 3000 запросов на обход в день и 5000 в день трафика
Bingbot: от 10k до 45k запросов на обход в день при 30-40 в
трафике
На прошлой неделе мы добавили директиву на задержку обхода для Bing Bot, и запросы на обход упали до 2000 в день. Скорость обхода Googlebot почти удвоилась, и трафик стал значительно расти.
Если вы наблюдаете значительное увеличение количества обнаруженных, но не индексируемых страниц, проверьте активность обхода BingBot.
Ответ или решение
Увеличение количества страниц с статусом «Обнаружено – в настоящее время не индексируется» в Google Search Console может быть связано с несколькими факторами, и ваш случай предоставляет отличную иллюстрацию важности мониторинга активности поисковых роботов.
-
Понимание статуса «Обнаружено – в настоящее время не индексируется»: Этот статус указывает на то, что Google обнаружил страницу, но по каким-то причинам не индексирует её. Основные причины могут включать технические ошибки, проблемы с сервером или высокое количество запросов от других поисковых систем, таких как Bing.
-
Проблемы с нагрузкой на сервер: Когда BingBot отправляет большое количество запросов, это может перегружать ваш сервер. Googlebot, стремясь избежать лишней нагрузки, может уменьшить количество своих запросов. Ваш анализ показывает, что, когда BingBot проявляет активность, количество запросов от Googlebot уменьшается, что может говорить о том, что Google старается не перегружать сервер.
-
Корректировка параметров обхода: Вы правильно сделали, добавив директиву «crawl delay» для BingBot. Это позволяет ограничить количество запросов, которые Bingbot может делать к вашему серверу, и тем самым освободить ресурсы для Googlebot. Как следствие, вы заметили увеличенное количество crawl-запросов от Google и рост трафика.
-
Проверка логов и анализ: Продолжайте внимательно анализировать логи вашего сервера, чтобы отслеживать активность всех поисковых систем. Если вы видите, что BingBot снова начинает увеличивать свою активность, возможно, стоит вновь скорректировать параметры обхода.
-
Оптимизация сайта: Убедитесь, что ваш сайт оптимизирован для быстрого доступа и обработки запросов. Это может включать в себя улучшение скорости загрузки страниц, оптимизацию изображений и кэширование, что поможет уменьшить нагрузку на сервер.
-
Мониторинг состояния индексации: Используйте инструменты Google Search Console для мониторинга индексации страниц. Регулярно проверяйте, какие страницы остаются в статусе «Обнаружено – в настоящее время не индексируется», и принимайте меры для их оптимизации и устранения возможных ошибок.
-
Согласование с Bing: Если ваш бизнес предполагает активное взаимодействие с Bing, возможно, стоит установить контакт с их поддержкой, чтобы обсудить возможные решения и рекомендации по оптимизации обхода.
В заключение, продолжайте мониторинг активности поисковых систем и настройку серверов, чтобы оптимизировать взаимодействие с Googlebot и Bingbot. Это позволит вам улучшить индексацию страниц и, как следствие, увеличить трафик и видимость вашего сайта в поисковых системах.