Питон для заполнения веб-форм

Вопрос или проблема

from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.common.by import By

driver = webdriver.Firefox()
driver.get("http://www.python.org")
assert "Python" in driver.title
elem = driver.find_element(By.NAME, "q")
elem.clear()
elem.send_keys("pycon")
elem.send_keys(Keys.RETURN)
assert "No results found." not in driver.page_source
driver.close()

from playwright.sync_api import sync_playwright

with sync_playwright() as p:
    browser = p.chromium.launch()
    page = browser.new_page()
    page.goto("http://playwright.dev")
    print(page.title())
    browser.close()

Ответ или решение

Использование Python для автоматического заполнения веб-форм

При работе с веб-скрапингом и автоматизацией задач, связанных с заполнением форм, такими как формы входа, Python предлагает несколько мощных библиотек. В данном контексте особенно выделяются Selenium и Playwright, которые хорошо подходят для решения ваших задач. Давайте подробно рассмотрим, как именно можно использовать эти инструменты для автоматизации заполнения веб-форм.

1. Исследование и фильтрация форм на сайте

Перед началом работы с формами необходимо их исследовать. Элементы форм, такие как поля ввода и кнопки отправки, могут быть легко выделены с помощью методов, предлагаемых как Selenium, так и Playwright.

Selenium:

from selenium import webdriver

driver = webdriver.Firefox()
driver.get("URL_вашего_сайта")

# Пример поиска всех форм на странице
forms = driver.find_elements(By.TAG_NAME, "form")
for form in forms:
    print(form)

Playwright:

from playwright.sync_api import sync_playwright

with sync_playwright() as p:
    browser = p.chromium.launch()
    page = browser.new_page()
    page.goto("URL_вашего_сайта")

    # Пример поиска всех форм на странице
    forms = page.query_selector_all("form")
    for form in forms:
        print(form.inner_html())

2. Заполнение форм

После нахождения нужной формы вы сможете заполнить её нужными данными. Оба инструмента позволяют легко управлять элементами форм:

Selenium:

username = driver.find_element(By.NAME, "username_field_name")
password = driver.find_element(By.NAME, "password_field_name")

username.send_keys("ваш_логин")
password.send_keys("ваш_пароль")

Playwright:

page.fill('input[name="username_field_name"]', 'ваш_логин')
page.fill('input[name="password_field_name"]', 'ваш_пароль')

3. Отправка форм

После заполнения формы нужно отправить её. Это можно сделать, например, щёлкнув по кнопке отправки.

Selenium:

submit_button = driver.find_element(By.NAME, "submit_button_name")
submit_button.click()

Playwright:

page.click('button[name="submit_button_name"]')

4. Сохранение куки между страницами

Чтобы обеспечить возможность авторизации на разных страницах и корректно обработать сценарии, требующие SSO (Single Sign-On), важно сохранять куки:

Selenium:

cookies = driver.get_cookies()
# Сохраняйте cookies для дальнейшего использования

Playwright:

cookies = page.context.cookies()
# Сохраняйте cookies для дальнейшего использования

5. Экспорт куки для использования с другими инструментами

Вы можете экспортировать куки, чтобы использовать их в других инструментах для веб-скрапинга, такие как Requests или другие библиотеке:

Selenium:

import json

with open("cookies.json", "w") as file:
    json.dump(cookies, file)

Playwright:

import json

with open("cookies.json", "w") as file:
    json.dump(cookies, file)

Заключение

Для автоматизации задач веб-скрапинга и работы с формами входа, библиотеки Selenium и Playwright являются отличным выбором. Обе библиотеки позволяют эффективно работать с элементами страниц, управлять взаимодействием пользователя и сохранять состояние сессий. Выберите подходящий инструмент в зависимости от ваших потребностей и начинайте автоматизацию прямо сейчас. Обладая необходимыми знаниями и навыками, вы сможете оптимизировать процессы и значительно увеличить производительность.