Блог

Я пытаюсь получить информацию о ценах на различные металлы с веб-сайта, который показывает эту информацию бесплатно (https://www.wieland.com/en/metal-information#tab-general). Я достиг этого с помощью Python Selenium, но я знаю, что есть более эффективные способы (например, получение информации непосредственно из ответа AJAX). Я нашел информацию, которую я хочу получить с помощью инструментов разработки FireFox, но я не могу найти способ напрямую импортировать эту информацию в python.

Цель состоит в том, чтобы получить информацию о дате и цене в python, а затем создать фрейм данных с помощью Панд

Например, шаги, которые я выполнил, чтобы получить ответы AJAX, были:

1.

2.

3.

Если бы кто-нибудь мог помочь мне в этой теме, я был бы признателен

Просмотр сетевых запросов для вышеупомянутого веб-сайта выглядит так, как будто нам нужно получить согласие на использование файлов cookie по другому URL-адресу, и для получения этих табличных данных Dataframe мы будем использовать read_html функцию pandas, а для отправки запроса мы будем использовать библиотеку запросов.

Редактировать их нет необходимости отправлять запрос на согласие на использование файлов cookie, без этого вы могли бы напрямую отправить запрос xhr.

 import requests
from pandas import read_html

headers = {
    'X-Requested-With': 'XMLHttpRequest'
}
querystring = {
    "type": "general",
    "method": "getDetails",
    "language": "en",
    "refKey": "2101",
    "interval": "1",
    "intervalStart": "09.01.2021",
    "intervalEnd": "09.04.2021",
}
data = requests.get("https://www.wieland.com/en/ajax-metal-prices",headers=headers,params=querystring)
if data.status_code == 200:
    table = read_html(data.json()["content"]["template"], attrs={"class": "metalinfo-table"})[0]
    print(table)
else:
    print("Some Issue")
 

переменная таблицы имеет свой Dataframe для этой таблицы.

Выход:

Дайте мне знать, если у вас возникнут какие-либо вопросы 🙂