Вопрос или проблема
Предположим, есть сайты example1.com, example2.com, example3.com. Каждый раз, когда на example1.com публикуется ключевое слово “keyword1”, мне нужно обновление по электронной почте (или в любом другом виде, например: Discord, Twitter, Facebook).
Для очень конкретных запросов вы можете создать свою модульную систему, состоящую из краулера, индексатора и нотификатора по электронной почте. Если вы не хотите создавать свой собственный краулер, вы можете использовать любую поисковую систему по вашему выбору и периодически запрашивать их индекс.
Я думаю, что отправка ваших собственных отчетов (частота, длина, форматирование…) останется вашей обязанностью.
Если вы хотите искать некоторые новостные сайты по какой-то теме, когда-то были уведомления Google News. Каждый раз, когда какая-либо газета/новостной сайт (который не против, чтобы его индексировал Г.) публикует новую статью с определенным ключевым словом, Google отправит вам письмо со ссылкой на источник и небольшим текстовым фрагментом.
В определенной степени это все еще возможно с news.google.com.
В десктопной версии нажмите “Поиск по темам, местоположениям и источникам” и сохраните свой поиск. Однако я думаю, что они убрали часть с уведомлениями по электронной почте (возможно, заменив это на необязательные уведомления на смартфон).
Вопрос очень расплывчатый. Разные сайты представляют различные данные множеством способов — некоторые имеют API, некоторые имеют RSS, которые вы могли бы использовать, другие выводят HTML, который можно без проблем парсить, у других может потребоваться, например, аутентификация для доступа к определенной странице.
Вы также не упомянули, какое программное обеспечение вы ищете. Windows-приложение, которое будет работать в фоновом режиме и делать это за вас после простого настроя? Исполняемый файл, совместимый с Linux, который вы можете настроить и запустить на каком-то сервере или в Docker? Или, возможно, библиотека или фреймворк программирования, которые помогут вам написать собственное приложение?
На мой взгляд, вопрос невозможно точно ответить, не зная этих деталей, но общее решение, которое покрывало бы большинство случаев использования, — это использовать библиотеку, такую как Scrapy, в сочетании с какой-либо библиотекой SMTP/Discord/Twitter/Facebook, написать подходящий код для вашего случая использования и запускать его каждые X секунд на сервере.
Ответ или решение
Для получения информации о публикациях с определёнными ключевыми словами на веб-сайтах, таких как example1.com, example2.com и example3.com, существует несколько подходов, которые могут удовлетворить ваши требования. Рассмотрим различные стратегии, начиная от простых решений и заканчивая более техническими вариантами.
1. Использование RSS-лент
Многие сайты предлагаются с поддержкой RSS-лент, которые можно использовать для отслеживания новых публикаций. Если сайт предоставляет RSS, вы можете использовать его, чтобы автоматически получать обновления:
- Примените RSS-ридер, такой как Feedly или Inoreader. Вы можете подписаться на RSS-ленту сайта и настроить фильтрацию по ключевым словам.
- Настройка уведомлений: Некоторые RSS-ридеры позволяют настраивать уведомления по электронной почте или через приложения, такие как Discord.
2. Google Alerts
Для менее сложных задач Google Alerts может стать отличным выбором:
- Создайте оповещения по ключевым словам через Google Alerts. Это будет генерировать уведомления на ваш электронный адрес, когда указанные ключевые слова появляются в новостях и на других сайтах.
- Обратите внимание, что Google Alerts может не охватывать все веб-сайты, но подходит для мониторинга новостных ресурсов.
3. Веб-скрейпинг
Если сайты не предоставляют API или RSS-ленты, вы можете использовать метод веб-скрейпинга:
- 使用 библиотеки, такие как Scrapy или BeautifulSoup на Python. Эти инструменты позволяют извлекать данные из HTML-страниц, и вы можете настроить их для регулярной проверки сайтов на наличие новых публикаций с ключевыми словами.
- С помощью библиотек, таких как
smtplib,discord.pyилиtweepy, вы сможете отправлять уведомления по электронной почте или в мессенджеры (Twitter, Discord и т.д.).
Примерный подход к реализации с использованием Scrapy:
import scrapy
from scrapy.mail import MailSender
class KeywordSpider(scrapy.Spider):
name = "keyword_spider"
start_urls = ['http://example1.com']
def parse(self, response):
for post in response.css('.post'):
title = post.css('h2::text').get()
if 'keyword1' in title:
self.send_notification(title, response.url)
def send_notification(self, title, url):
mailer = MailSender()
mailer.send(to=["your_email@example.com"], subject="Keyword Alert", body=f"New post with keyword1: {title} at {url}")4. Использование API
Если веб-сайты предлагают API, это один из самых эффективных способов получения данных:
- Проверьте возможные API на целевых сайтах. Например, если сайт имеет API для доступа к содержимому, вы можете настроить сценарий, который будет проверять обновления и отправлять уведомления.
- Здесь тоже целесообразно интегрировать функции отправки уведомлений, как и в случае с веб-скрейпингом.
5. Сервисы автоматизации
Сервисы, такие как IFTTT (If This Then That) или Zapier, могут помочь соединять различные принос дания. Например:
- Настройте триггер для RSS-ленты или охватывающих веб-сайтов, который будет отправлять уведомление о новых постах по ключевым словам на вашу электронную почту или в социальные сети.
Заключение
Каждое из этих решений имеет свои преимущества и недостатки в зависимости от ваших технических навыков, требований к мониторингу и конкретного случая применения. Начните с более простых решений, таких как Google Alerts или RSS-ридеры, и переходите к более сложным подходам, если потребуется более глубинный и персонализированный мониторинг. Помните о юридических и этических аспектах при реализации веб-скрейпинга и используйте эти методы в соответствии с условиями использования целевых сайтов и законодательства.