Как заполнить текстовое поле на веб-сайте запросами python

ProgramBox

Как заполнить текстовое поле на веб-сайте запросами python

Post author:admin
Запись опубликована:14 февраля, 2023
Post category:Вопросы по программированию

#python #http #request #latex

#python #http #запрос #Латекс

Вопрос:

Я пытаюсь преобразовать уравнение latex в изображение на python. Я пробовал определенные конвертеры, но они не сработали. Я нашел этот веб-сайт https://latex2png.com / это преобразует строку latex для меня, но я не уверен, как заполнить текстовое поле с помощью python. Я знаю, что запросы используют http, но я не знаю, какие формы нужно заполнять. Кто-нибудь знает, как это сделать?

Я получаю этот результат при просмотре данных формы в инспекторе.

Ответ №1:

Обновить

Я понял, как это сделать, просто используя requests , что проще и быстрее:

 import urllib3
urllib3.disable_warnings(urllib3.exceptions.InsecureRequestWarning)
import requests


FORMULA = '\sum _ {i = 1} ^ { m } \operatorname{log} p ( x ; \theta)'

data = {
    "auth" : { "user" : "guest", "password" : "guest"},
    "latex" : FORMULA,
    "resolution" : 600,
    "color" : "000000"
}
resp = requests.post('https://latex2png.com/api/convert', json=data, allow_redirects=True, verify=False)
results = resp.json()
if results['result-code'] == 0:
    url = 'https://latex2png.com'   results['url']
    resp = requests.get(url, allow_redirects=True, verify=False)
    png = resp.content
    with open('latex.png', 'wb') as f:
        f.write(png)
    print('Image saved.')
else:
    print(results['result-message'])

Примечание

Без использования verfy=False я получаю следующее исключение:

 [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate

Я проверил через свой браузер, что сертификат действителен. Поскольку в целом не рекомендуется отключать проверку сертификатов, хотя в данном случае это кажется относительно безопасным, мы можем добавить отсутствующий сертификат следующим образом:

Следующий URL-адрес содержит инструкции по загрузке SSL-сертификатов с веб-сайта с использованием различных браузеров. Вам нужно создать .pem файл. Для этого вам нужно использовать Firefox. Существуют также различные варианты. Когда вы попадете на страницу сертификата, выберите Let's Encrypt Authority X3 , а затем нажмите на PEM (chain) ссылку для скачивания. Это создаст файл latex2png-com-chain.pem в каталоге по вашему выбору.
Везде, где указан источник verify=False , замените его на verify='/path-to/latex2png-com-chain.pem'

Если это доставляет много хлопот, это содержимое latex2pmg-com-chain.pem :

Использование Selenium и запросов

Ниже приведен полный код, который:

Использует Selenium для очистки текущей формулы latex по умолчанию и ввода выбранной вами формулы.
Ожидает создания нового файла PNG.
Возвращает URL-адрес нового файла PNG.
Использует requests пакет для загрузки файла PNG latex.png в текущий каталог.

Этот код предназначен для управления Chrome, но вы можете загрузить драйверы для любого браузера по вашему выбору.

Скачать ChromeDrver

Установите Selenium

 from selenium import webdriver
import urllib3
urllib3.disable_warnings(urllib3.exceptions.InsecureRequestWarning)
from selenium.webdriver.common.keys import Keys
import requests
import time

FORMULA = '\sum _ {i = 1} ^ { m } \operatorname{log} p ( x ; \theta)'

options = webdriver.ChromeOptions()
options.add_argument("headless")
options.add_experimental_option('excludeSwitches', ['enable-logging'])
driver = webdriver.Chrome(options=options)

try:
    driver.implicitly_wait(3) # wait up to 3 seconds before calls to find elements time out
    driver.get('https://latex2png.com/')
    # current png url:
    url_old = driver.find_element_by_xpath('/html/body/div[4]/div[5]/img').get_attribute('src')
    text_area = driver.find_element_by_id('form_latex')
    text_area.send_keys(Keys.CONTROL, 'a');
    text_area.send_keys(FORMULA)
    driver.find_element_by_id('convert_button').click()
    t0 = time.time()
    while True:
        # wait for new png to be generated:
        url = driver.find_element_by_xpath('/html/body/div[4]/div[5]/img').get_attribute('src')
        if url != url_old:
            break
        time.sleep(.1)
        t1 = time.time()
        if t1 - t0 > 10:
            raise Exception('Timeout waiting for new png to be generated.')
    resp = requests.get(url, allow_redirects=True, verify=False)
    png = resp.content
    with open('latex.png', 'wb') as f:
        f.write(png)
    print('Image saved.')
finally:
    driver.quit()

1. Вау, это отлично работает! Как работает решение запросов? Я довольно новичок в запросах. Что делает json = data? Почему мы используем это вместо data= data или params =data?

2. Также я должен быть обеспокоен предупреждением «InsecureRequestWarning: на хост отправляется непроверенный запрос HTTPS», который меня бросает? Есть ли способ проверить соединение?

3. Сервер ожидает, что данные будут закодированы в виде строки в JSON формате. Смотрите smtpeter.com/en/documentation/json-vs-post для сравнения. Смотрите json.org/json-en.html для описания JSON .

4. У меня есть новая, улучшенная заметка.

Ответ №2:

На самом деле вы не хотите заполнять поля «человеческим» способом. То, что вы ищете, — это отправка POST-запроса на сервер. Самый простой способ узнать, какой запрос вам нужен: зайдите на сайт, откройте вкладку сеть в вашем браузере, заполните поля и нажмите кнопку. Проверьте, какие аргументы добавляются в POST-запрос. Проверьте, какой тип ответа вы получаете, и извлеките из него свой png-файл. Затем просто воссоздайте запрос POST в своем коде python, используя запросы.

Если вы хотите заполнить поля (см., как бот заполняет их), вы можете использовать selenium.