Веб-скрапинг в Power BI

На чтение 3 мин Опубликовано 23.09.2024

Вопрос или проблема

Существует ли способ использовать Power BI для подключения к этому веб-сайту (https://www.molace.com/)?(https://www.molace.com/TRK/Search)

Я хочу настроить запросы, чтобы автоматически искать VIN#, предоставляя мне результаты с названием судна и временем прибытия.

Я пытался изменить URL, чтобы включить VIN#, но это не дало результата.

Ответ или решение

Для подключения Power BI к сайту, который вы указали (https://www.molace.com/), и автоматического поиска информации по VIN (идентификационному номеру транспортного средства), следуйте этим шагам:

Проверка доступности данных:
Прежде чем начинать веб-скрейпинг, убедитесь, что данные на сайте доступны для извлечения. Посмотрите, можно ли получить информацию, используя API (если такой имеется) или временные отклики на запросы.
Анализ структуры сайта:
Используйте инструменты разработчика вашего браузера (обычно вызывается нажатием клавиши F12), чтобы понять, как формируется страница с результатами поиска. Определите, какие параметры передаются в запросе при поиске по VIN. Это может включать в себя как GET, так и POST запросы.
Создание Power Query:
В Power BI используйте редактор Power Query для получения данных с сайта. Возможно, вам придется использовать функцию Web.Contents() для отправки запросов.
Примерный код для запроса может выглядеть следующим образом:
```
let
    VIN = "ваш_VIN_номер",
    Source = Web.Contents("https://www.molace.com/TRK/Search?v=" & VIN),
    JsonResponse = Json.Document(Source),
    Data = JsonResponse[data] // Предположим, что данные возвращаются в формате JSON
in
    Data
```
Обработка данных:
После того как вы получили данные, вам нужно будет обработать их, чтобы извлечь нужные поля, такие как название суда (vessel name) и ожидаемое время прибытия (ETA). Используйте встроенные функции Power Query для фильтрации и преобразования данных.
Автоматизация:
Чтобы автоматизировать процесс поиска данных по VIN, вы можете настроить параметры в Power BI. Создайте параметр для VIN в вашем отчетном пакете и затем используйте его в запросе вместо статического значения. Это позволит вам легко менять VIN и получать новые данные.
Обновление данных:
Настройте обновление данных в Power BI Service или Desktop, чтобы результаты автоматически обновлялись через определенные интервалы времени или по необходимости.
Проверка сайта на наличие ограничений:
Учтите, что некоторые сайты могут иметь ограничения на частоту запросов, или могут блокировать IP-адреса, отправляющие слишком много запросов. Убедитесь, что вы соблюдаете все правила использования сайта.

Соблюдая эти шаги, вы сможете настроить Power BI таким образом, чтобы получать нужную информацию по VIN и визуализировать ее в удобном формате.