Вопрос или проблема
Удаление поддоменов из Google Search Console без удаления WWW
У моего сайта есть два поддомена. Поддомен для продакшн-сайта — www.example.com. Поддомен для тестового сайта — test.example.com.
test.example.com появляется в результатах поиска Google и его нужно удалить. Я добавил файл robot.txt и настроил базовую аутентификацию для test.example.com, чтобы в будущем Google не индексировал сайт.
Возможно ли удалить URL-адреса, содержащие test.example.com, не удаляя www.example.com? В Google Search Console указано "Все варианты URL (www/non-www и http/https) будут затронуты". Значит ли это, что если я удалю https://test.example.com, https://test.example.com/page1.html, https://test.example.com/page2.html, то также будут удалены https://www.example.com, https://www.example.com/page1.html, https://www.example.com/page2.html?
ОБНОВЛЕНИЕ: Я решил не добавлять базовую аутентификацию. Я перенаправляю все тестовые страницы из поиска Google на продакшн-сайт. robot.txt содержит следующее:
User-agent: * Disallow: /
Я понимаю, что это может занять несколько недель, чтобы удалить сайт из поиска Google. Есть ли способ сделать это быстрее, не повредив SEO на продакшн-сайте?
Предложения
- Используйте
<meta name="robots" content="noindex">на всех страницах вашего тестового сайта - Удалите любые ссылки с вашего продакшн-сайта на тестовый сайт
- Создайте страницу входа, например
test.example.com/loginи не размещайте на нее ссылки нигде - На вашей странице входа добавьте токен (или несколько) в переменную
SESSION - На всех остальных страницах, если токен отсутствует, перенаправляйте на основной сайт
- Удалите свои страницы по адресу Удалить устаревший контент
Привет!
Судя по обновлению, похоже, вы уже решили ситуацию и сделали это элегантным способом.
Однако есть важный нюанс. Блокировка через robots.txt должна сработать, но помните, что robots.txt скорее является рекомендацией для поисковых систем. Чтобы полностью скрыть поддомен, лучше заблокировать боты Google в файле .htaccess — это гарантирует решение проблемы.
Эффект директивы disallow в robots.txt может занять 1-3 месяца, чтобы отразиться в Search Console, так что будьте терпеливы. 🙂
Ответ или решение
Чтобы удалить поддомен test.example.com из результатов поиска Google, не затрагивая основной домен www.example.com, выполните следующие шаги.
1. Правильная настройка robots.txt
Вы уже добавили файл robots.txt, в котором указано:
User-agent: *
Disallow: /Это правильный подход, так как он запрещает всем ботам доступ ко всем страницам вашего тестового поддомена. Однако, как было упомянуто, robots.txt является рекомендацией, и это может занять время (1-3 месяца), прежде чем Google учтет это указание.
2. Использование мета-тега "noindex"
Дополнительно, добавьте на все страницы вашего тестового сайта мета-тег:
<meta name="robots" content="noindex">Этот тег явно указывает поисковым системам не индексировать эти страницы.
3. Устранение ссылок с основного сайта
Убедитесь, что на вашем основном сайте (www.example.com) нет ссылок на тестовый поддомен. Это поможет предотвратить случайное перенаправление трафика с одного сайта на другой.
4. Перенаправление на основной сайт
Если вы уже настроили редирект с тестовых страниц на основной сайт, это также поможет уменьшить вероятность индексации тестового поддомена. Однако убедитесь, что этот редирект настроен корректно и не вызывает путаницы.
5. Проверка в Google Search Console
В Google Search Console используйте инструмент "Удаление URL" для удаления конкретных страниц с test.example.com. Это может помочь ускорить процесс удаления из индекса. Учтите, что это может быть временной мерой, и страницы могут снова появиться в индексе, если не будут установлены меры по блокировке.
6. Дополнительные меры по блокировке в .htaccess
Если вы хотите гарантировать, что поисковые боты не смогут даже просмотреть ваш тестовый сайт, вы можете настроить файл .htaccess для блокировки ботов:
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} Googlebot [OR]
RewriteCond %{HTTP_USER_AGENT} Bingbot
RewriteRule ^ - [F,L]Этот код откажет поисковым системам в доступе к вашему тестовому поддомену.
7. Применение обоснованного ожидания
Имейте в виду, что удаление контента из индекса может занять время. Наиболее эффективным способом является использование метатега "noindex" и блокировка в .htaccess. В то же время, методы, такие как редиректы и robots.txt, помогут в более долгосрочной перспективе.
Следуя этим шагам, вы сможете эффективно удалить test.example.com из результата поиска Google, не затрагивая ваш основной сайт www.example.com.