Блог

Могу ли я проанализировать страницу с динамическим содержимым с помощью Python?

Например, я начинающий инвестор и хочу анализировать последние заявки SEC в скрипте и отправлять результаты через Telegram API, чтобы получать их по телефону, как только они появятся.

Так что я могу разобрать https://www.sec.gov/edgar/search/#/entityName=TSLA для последней рекламной акции TSLA, например, но она загружает результаты в таблицу с помощью ajax после рендеринга страницы, поэтому я получаю пустую таблицу, если я делаю:

 soup = BeautifulSoup(requests.get(sec_url).text, 'lxml')
table = soup.find(id="hits").table.tbody
rows = table.find_all('tr')
 

(строки здесь пустые)

Вы можете загрузить эту страницу с помощью Selenium :

 from selenium import webdriver
import time
from bs4 import BeautifulSoup

options = webdriver.ChromeOptions()
options.add_argument('--headless')
options.add_argument('--no-sandbox')
options.add_argument('--disable-dev-shm-usage')

url="https://www.sec.gov/edgar/search/#/entityName=TSLA"
wd = webdriver.Chrome('chromedriver',options=options)
wd.get(url)
time.sleep(5) # sleep for a few seconds to allow loading the data

soup = BeautifulSoup(wd.page_source, 'lxml')
table = soup.find(id="hits").table.tbody
rows = table.find_all('tr')
 

Но лучшим решением является прямая загрузка json. Похоже, что сайт использует a post request по этому URL: https://efts.sec.gov/LATEST/search-index

 import requests

data = '{"entityName":"TSLA","startdt":"2016-03-02","enddt":"2021-03-02"}'
response = requests.post('https://efts.sec.gov/LATEST/search-index', data=data).json()
 

Вы можете найти данные в response["hits"]["hits"] . Загружается в фрейм данных Pandas,

 import pandas as pd
df = pd.json_normalize(response["hits"]["hits"])
 

Это будет df.head() результатом: