web-scraping

Вопрос или проблема Я пытаюсь получить номера телефонов из объявлений на leboncoin.fr с помощью веб-скрапера, но мне нужно быть авторизованным, чтобы это сделать. Есть кнопка, которая позволяет нажать на нее, чтобы открыть номер.

Вопрос или проблема Думаю, название говорит само за себя. Я видел этот пост, который полезен, но требует, чтобы вы знали селектор элемента с фоновым изображением. Я ищу способ найти все CSS фоновое изображение без предварительных знаний о структуре сайтов.

Вопрос или проблема Мне нужно экспортировать объемные данные по недвижимости. Есть возможность заменить URL на его название, но это нужно делать по одному в Google Sheets. Я надеялся узнать, есть ли способ сделать это быстрее с помощью Apps Script.

Вопрос или проблема Я относительно новичок в веб-скрапинге и в настоящее время работаю над скриптом на Python, который запускаю в среде JupyterHub, интегрированной с VSCode. Моя цель – оптимизировать этот скрипт, чтобы он автоматически запускался

Вопрос или проблема Я использую bs4 и selenium для парсинга сайта аукционов недвижимости (URL https://bid.hertz.ag/ui/auctions/112571/14320874), и у меня возникли проблемы с парсингом даты аукциона и ссылок на attachments в вкладках ‘

Вопрос или проблема В последнее время я часто использую Puppeteer и без проблем нажимаю другие кнопки, перемещаюсь по DOM и т.д. Однако я столкнулся с одной конкретной кнопкой, на которую не могу нажать или как-то взаимодействовать по какой-то причине.

Вопрос или проблема Я сталкиваюсь с проблемой, когда мой сайт становится мишенью для веб-скребков. Похоже, что злоумышленники управляют браузерами Chrome напрямую через Протокол DevTools Chrome (CDP), а не полагаются на фреймворки автоматизации, такие

Вопрос или проблема У меня есть этот HTML-код, который повторяется несколько раз: <div class="Company_line-logo image-loader-target" data-image-loader-height="47" data-image-loader-height-mobile="47" data-image-loader-src="/var/fiftyPartners/storage/images/startups/woleet/3261-1-fre-FR/Woleet_company_line_logo.

Вопрос или проблема Как максимально сократить/убрать HTML с страницы продукта электронной коммерции и при этом сохранить информацию о продукте: Название, Цена, Цена со скидкой, Размеры (если есть), Размер для выбора, Добавить в корзину и Путь к оформлению заказа для навигации.

Вопрос или проблема Я работаю с Twikit, чтобы получить данные с сайта Twitter. Однако я столкнулся с следующей ошибкой, когда попытался войти в учетную запись, которую создал для этого проекта. Вот ошибка: twikit.errors.BadRequest: статус: 400, сообщение

Вопрос или проблема Я хотел бы скачать информацию, доступную для публикации по адресу https://www.etsy.com/search?q=tablet+wax&page=1 для каждого продукта, указанного там. (Например, если я посещу эту страницу, которая может или не может появиться

Вопрос или проблема Вопрос: Привет всем, я пытаюсь интегрироваться с API ImmoScout, используя OAuth 1.0a, но у меня возникла проблема. Моя текущая конфигурация использует express, axios и пакет oauth-1.0a. Проблема: Когда я пытаюсь получить токен запроса

Вопрос или проблема Я хотел бы собрать данные с более чем 193 сайтов на основе определенных параметров, связанных с общими функциями сайтов, такими как AI-чат-бот, и после получения этих данных я хотел бы Consolidate их в тренировочный набор данных для

Вопрос или проблема !pip install ntscraper from ntscraper import Nitter from pprint import pprint scraper = Nitter() tweets = scraper.get_tweets("AAPL", "term", 1000) pprint(tweets) INFO:root:Не указана инстанция, используется случайная инстанция ``https://nitter.

Вопрос или проблема Я пытаюсь получить данные из динамического линейного графика на этом сайте: https://www.xe.com/currencycharts/?from=SGD&to=USD&view=5Y. Вы можете изменять временные интервалы на сайте, но все сетевые запросы выполняются при

Вопрос или проблема У меня есть скрипт Puppeteer, который устанавливает куки для аутентифицированной сессии. Затем он закрывает браузер и открывает его снова позже. Странно, что если я аутентифицируюсь в течение сессии, вместо того чтобы устанавливать

Вопрос или проблема Я пытаюсь скачать PDF-файл с помощью Puppeteer, но каждый раз появляется панель инструментов Google Chrome, хотя я использую чистую ссылку для загрузки PDF. Я попробовал использовать следующий код для загрузки PDF: public async downloadPdf()

Вопрос или проблема Я пытаюсь получить коэффициент “Потребность/Желание” в свою таблицу, так как это единственная часть, которая может измениться и которая мне нужна. https://www.laststicker.com/cards/panini_fifa_365_2024-2025_adrenalyn_xl/

Вопрос или проблема https://adrianahoyos.com/our-products/living-room/sofa-loveseats/caramelo-tufted-sofa-140/ Сайт загружается через 5 секунд, показывая текст, но мне нужно получить текст из [“Загрузка..”] по умолчанию установлен текст.

Вопрос или проблема Я пытаюсь собрать все доступные данные для каждого “типа утилизации” с сайта Национальной судебной сетки данных (NJDG) (раздел Верховного суда) – ссылка на сайт. Таблица отображает до 1000 записей на странице и имеет кнопку “