Вопрос или проблема
Недавно, не меняя ничего на моем сайте, консоль поиска Google начала отображать 80 ошибок индексирования, обозначенных как “Ошибка сервера (5xx)”. Когда я смотрю, что именно она помечает, это файлы php в папке /wp-includes/, которые Google даже не должен индексировать. Моя xml-карта сайта не включает эти файлы. Я не понимаю, почему Google пытается индексировать их, а затем помечает.
Есть идеи, почему это происходит и что я могу сделать, чтобы остановить это?
Убедитесь, что wp-includes исключен из индексирования в robots.txt
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Причина – автоматические индексы на папках на вашем сервере. Например, https://www.yoursite.com/wp-includes/ показывает индекс всех файлов в папке.
Решение – отключить индексы
добавьте это в .htaccess
Options -Indexes
Если вы не можете это сделать, то сообщите своему хосту отключить индексы
Ответ или решение
Ошибка индексации в Google Search Console для файлов /wp-includes/
Недавно в Google Search Console были замечены ошибки индексации для 80 файлов с кодом ошибки "Server error (5xx)" в каталоге /wp-includes вашего сайта. Эта ситуация может вызвать недоумение, особенно если вы не вносили изменений на своем сайте. Давайте подробнее рассмотрим причины данной ошибки и предложим шаги по её устранению.
Причины возникновения ошибки
-
Проверка на индексацию: Googlebot является автоматизированным инструментом, который проверяет страницы вашего сайта на наличие контента для индексации. Каталог /wp-includes содержит файлы, используемые для работы WordPress, и эти файлы не должны индексироваться поисковыми системами. Если ваша XML-карта сайта не содержит ссылки на эти файлы, это не означает, что Google не попытается получить к ним доступ.
-
Настройки robots.txt: Важно убедиться, что каталог /wp-includes исключён из индексации в файле robots.txt. Правильные настройки данного файла могут предотвратить попытки Googlebot индексировать этот каталог. Проверьте, что в вашем файле robots.txt содержатся следующие строки:
User-agent: * Disallow: /wp-admin/ Disallow: /wp-includes/ -
Автоматическая индексация папок: В некоторых случаях ваш сервер может быть настроен таким образом, что он позволяет автоматическую индексацию содержимого папки. Если по адресу
https://www.yoursite.com/wp-includes/доступен просмотр списка файлов, то это может привлечь внимание Googlebot и привести к ошибкам индексации.
Способы устранения проблемы
-
Настройка robots.txt: Убедитесь, что в вашем файле robots.txt содержатся правильные директивы для блокировки доступа к /wp-includes. Это первый и важный шаг в защите ваших внутренних файлов от индексации.
-
Отключение автоматической индексации: Чтобы предотвратить автоматическую индексацию папок на вашем сервере, добавьте следующую строку в файл .htaccess:
Options -IndexesЭто отключит отображение содержимого папок, что значительно снизит вероятность того, что Googlebot попытается получить к ним доступ.
-
Обращение к хостинг-провайдеру: Если вы не имеете доступа к файлу .htaccess или не можете внести изменения в настройки сервера, свяжитесь с вашим хостинг-провайдером и попросите их отключить индексацию папок для вашего сайта. Это может быть решено на уровне сервера, и поддержку можно получить достаточно быстро.
Заключение
Ошибки индексации для файлов /wp-includes могут негативно сказаться на общем состоянии индексации вашего сайта, затрудняя его видимость в поисковых системах. Применяя вышеуказанные шаги, вы сможете минимизировать эти проблемы и гарантировать, что Googlebot не попытается индексировать внутренние файлы вашего сайта.
Не забывайте, что регулярный аудит вашего сайта и его конфигураций может помочь предотвратить подобные ситуации в будущем. Если у вас есть дополнительные вопросы или нужна помощь, не стесняйтесь обращаться к профессионалам в области SEO или веб-разработки.