Вопрос или проблема
Я просматривал сайт поддержки Google, и там сказали:
«Чтобы обновить ваш файл robots.txt и разрешить нашему краулеру доступ к вашим страницам, удалите следующие две строки текста из вашего файла robots.txt:
User-agent: Mediapartners-Google
Disallow: /
Это изменение позволит нашему краулеру индексировать содержимое вашего сайта и предоставит вам рекламу Google».
Может кто-нибудь объяснить мне, почему мне нужно удалить указанные выше две строки из моего блога? Я видел, как один парень на YouTube добавлял эти строки для целей SEO.
Должны ли вы оставить директиву или удалить её, зависит от того, используете ли вы рекламу AdSense от Google.
Вышеуказанная директива утверждает, что для агента пользователя Mediapartners-Google (используемого для программы AdSense) всё на вашем сайте (от корня и далее) должно быть запрещено. Удаление этих двух строк позволит этому агенту пользователя сканировать ваш сайт, или, по крайней мере, разрешит столько же, сколько ваша директива для всех ботов, обычно обозначаемых знаком подстановки (*), иначе разрешает.
Google AdSense – это рекламная сеть Google для веб-свойств. Вы можете размещать рекламу на своем сайте или в определенном наборе ваших веб-страниц, когда получите одобрение для программы AdSense и разместите необходимый код на своем сайте.
Чтобы размещать соответствующую рекламу на своем сайте, Google необходимо сканировать ваш контент и определить его контекст. Вот тут и вступает в игру их краулер рекламы. У Google есть много краулеров, и это только один из них.
Поэтому, если вы размещаете рекламу Google AdSense на своем сайте, избавьтесь от этих двух строк. Если нет, то вам не нужен AdSense, чтобы сканировать ваш сайт, и вы можете оставить их. AdSense имеет легкий краулер, который не перегрузит ваш сайт ни в одном случае, так что если вы разрешите ему сканировать ваш сайт, вы, вероятно, не заметите особой разницы, если будете время от времени следить за его активностью на вашем сайте.
Я тоже получил этого краулера Mediapartners-Google (IP 5.8.11.202). Ранее он пытался выполнить SSL-рукопожатие. Для меня это атака, а не визит!
Ответ или решение
User-agent: Mediapartners-Google и его значение для вашего сайта
Введение
Ваша робота с файлом robots.txt важна для управления тем, какие поисковые системы и боты могут индексировать ваш сайт. Рассмотрим, что означают строки User-agent: Mediapartners-Google и Disallow: /, а также их влияние на работу с Google AdSense.
1. Понимание пользователя User-agent: Mediapartners-Google
User-agent: Mediapartners-Google — это обозначение одного из бот-агентов, используемого Google для работы с рекламной сетью AdSense. В отличие от стандартных поисковых роботов, таких как Googlebot, этот агент специально предназначен для анализа контента сайтов с целью показа наиболее релевантной рекламы на их страницах.
2. Семантика robots.txt
Файл robots.txt — это текстовый файл, который веб-мастера могут использовать для управления доступом поисковых роботов к контенту их сайта. Строка Disallow: / указывает ботам, что доступ ко всем страницам сайта запрещен. Таким образом, когда вы видите эти две строки в файле robots.txt:
User-agent: Mediapartners-Google
Disallow: /Вы говорите роботу Mediapartners-Google, что он не имеет права индексировать ваш сайт и, следовательно, получать информацию, необходимую для показа релевантной рекламы.
3. Последствия для Google AdSense
Если вы используете Google AdSense для монетизации вашего контента, наличие этих строк в вашем файле robots.txt может негативно сказаться на вашей способности получать доход от рекламы. Программа AdSense требует от производителей контента, чтобы ее бот мог индексировать сайт, чтобы показывать наиболее подходящие объявления. Если доступ к вашему сайту запрещен, AdSense не сможет правильно определить содержание ваших страниц и, как следствие, показать релевантную рекламу.
Это может привести к снижению доходов от рекламы или даже к отказу от участия в программе AdSense. Поэтому Google рекомендует удалять эти строки, если вы планируете использовать их рекламные услуги.
4. Защита сайта и SSL-соединение
Некоторые пользователи упоминают о том, что бот Mediapartners-Google может пытаться установить SSL-соединение. Это поведение может вызвать тревогу у веб-мастеров, которые боятся, что это может быть атакой. Однако важно помнить, что бот Google предназначен для легитимной работы с контентом вашего сайта, а любые попытки установить соединение просто показывают, что бот пытается получить доступ к вашему ресурсам для сбора данных.
Заключение
Если вы являетесь владельцем сайта и используете Google AdSense, рекомендуется удалить строки User-agent: Mediapartners-Google и Disallow: / из вашего файла robots.txt. Это позволит ботам Google оптимально индексировать ваш сайт и показывать релевантные рекламные объявления, что может значительно повысить ваши доходы. Если вы не используете AdSense, вы можете оставить эти директивы в файле, так как они предотвращают нежелательный доступ к вашему контенту.
В конечном счете, выбор остается за вами, и важно основывать его на целях и стратегии вашего онлайн-бизнеса.