Вопрос или проблема
Недавно я удалил SEO-плагин с моего сайта на WP и заменил его на Yoast. Я также внес некоторые другие изменения на сайте, добавив no-index к страницам категорий.
Я только что проверил новую карту сайта Yoast в Google Search Console, но мне сказали, что она содержит тег no-index. Откуда он взялся? Как мне его удалить? Его не было в XML-карте сайта, сгенерированной предыдущим SEO-плагином.
Поскольку это XML-файл, карта сайта не поддерживает мета-теги. Вместо этого это технически HTTP-заголовок:
X-Robots-Tag: noindex
Вам не нужно удалять этот заголовок. Он предотвращает появление самой XML-карты сайта в поисковых результатах, но не предотвращает индексацию URL-адресов, перечисленных в ней.
Если вы не укажете noindex, сама карта сайта может появиться в поисковых результатах. Она не предназначена для показа пользователям, и пользователи сильно запутываются, если на нее нажимают. Смотрите Запретить появление XML-карт сайта в результатах поиска Google
Не имеет смысла использовать инструмент проверки URL для самой карты сайта. Вместо этого вам следует проверять некоторые из URL-адресов, перечисленных в карте сайта.
Если вам действительно нужно изменить этот noindex, вы можете сделать это, изменив код в файле sitemap-core.php плагина google-sitemap-generator.
if(!headers_sent()) header('X-Robots-Tag: noindex', true, 200);
и измените его на:
if(!headers_sent()) header('X-Robots-Tag: index', true, 200);
П.С. Мне не нравится этот подход. Я считаю, что Google должен сканировать файл карты сайта, который имеет заголовок “X-Robots-Tag: noindex”
Ответ или решение
Когда вы заменили свой предыдущий SEO плагин на Yoast, вы, возможно, заметили, что новый XML-карта сайта содержит тег no-index. Это может вызвать недоумение, особенно если вы не добавляли никаких дополнительных тегов или настроек. Давайте разберемся, почему это происходит и как с этим справиться.
Почему Yoast добавил тег no-index в мою XML-карту сайта?
Во-первых, стоит понимать, что XML-карты сайтов служат для поиска и индексирования URL-адресов вашего сайта поисковыми системами. Однако сам файл карты сайта не предназначен для отображения пользователями и не должен появляться в результатах поиска. Поэтому Yoast добавляет заголовок HTTP X-Robots-Tag: noindex к файлу карты сайта. Это предотвращает индексирование самой карты сайта, но не влияет на индексацию URL-адресов, которые в ней указаны.
Как удалить тег no-index?
Смысл в том, что вам не нужно удалять этот заголовок. Он помогает избежать путаницы у пользователей, которые могут случайно попытаться перейти по ссылке на XML-карту сайта, что приведет к непонятной ситуации. Тем не менее, если вы все же хотите изменить этот заголовок, это можно сделать в коде вашего плагина, но это не рекомендуется.
Если вы настаиваете на изменении, вам нужно будет найти файл sitemap-core.php в плагине google-sitemap-generator (если вы используете его параллельно или ранее) и изменить строку, отвечающую за добавление заголовка:
Текущая строка:
if(!headers_sent()) header('X-Robots-Tag: noindex', true, 200);Измените её на:
if(!headers_sent()) header('X-Robots-Tag: index', true, 200);Почему этот подход не рекомендуется?
Следует отметить, что такой подход может создать проблемы, так как неуместное отсутствие тега no-index может привести к тому, что ваша XML-карта сайта будет индексирована поисковыми системами, что не является желаемым поведением. Поисковые системы должны иметь возможность получать доступ к файлу карты, но он не должен быть видим для конечных пользователей.
Рекомендации
- Вместо того чтобы использовать инструмент проверки URL на самой карте сайта, лучше проверьте несколько URL, указанных в вашем файле карты сайта, чтобы убедиться, что они индексируются корректно.
- Убедитесь, что ваши настройки Yoast соответствуют вашему SEO-плану. Проверьте, если вы принудительно добавили
no-indexк своим категориям и другим элементам сайта. - Если вас беспокоят какие-либо элементы индексации, обратитесь к документации Yoast или к специализированным форумам, где вы можете получить актуальные советы от экспертов.
Таким образом, наличие тега no-index в вашем файле карты сайта — это нормальная практика для обеспечения правильной работы SEO, и его не следует удалять.