Блог

Заранее извините за несоблюдение каких-либо рекомендаций, это мой первый пост.

Проблема заключается в следующем: я создаю бота для проверки криптовалют — один из шагов состоит в том, чтобы получить биржи, на которых указана монета. Я планирую сделать это, очистив таблицу на вкладке «Рынок» (т. е. https://coinmarketcap.com/currencies/valor-token/markets/ -> bithumb, ascendex и так далее).

Я пробовал использовать BeautifulSoup с регулярным выражением

 soup = BeautifulSoup(html_page, 'html.parser')
table = soup.findAll("table", {"class" : re.compile('cmc-tab*')})

and 

def check_currency_markets(slug):
    url = "https://coinmarketcap.com/currencies/" slug "/markets"
    html_content = requests.get(url).text
    soup = BeautifulSoup(html_content, 'lxml')
    print(soup.prettify())
    with open('sopa.txt', 'w') as fil:
        fil.write(str(soup.prettify()))
        fil.close()
 

и панды

 def check_currency_markets(slug):
    url = "https://coinmarketcap.com/currencies/" slug "/markets"
    dfs = pd.read_html(url)

    for df in dfs:
        writer = pd.ExcelWriter(str(int(time.time())) ".xlsx")
        df.to_excel(writer)
        writer.save()

 

но ни один из них не работает. Одна вещь, которую я заметил, когда использую BeautifulSoup, заключается в том, что возвращаемая им строка не содержит тега «таблица», но она существует в коде страницы.*

Не могли бы вы, пожалуйста, помочь мне с извлечением этой таблицы страницы(или списка обменов)?

*Что может быть причиной этого?

Я знаю, что могу использовать API для этого, но я потратил довольно много времени, пытаясь решить эту проблему, и мне действительно хотелось бы знать решение.

Редактировать: Вот что возвращает BeautifulSoup

Edit2: Я наконец-то сделал это с помощью Селена. Теперь строка, возвращаемая BeautifulSoup, содержит элементы, которые я ищу, и я могу их извлечь.

 def check_currency_markets(slug):
    url = "https://coinmarketcap.com/currencies/" slug "/markets"

    browser = webdriver.Chrome(r'chromedriver.exe')
    browser.get(url)

    html = browser.page_source
    soup = BeautifulSoup(html, 'lxml')
    
    print(soup.prettify())
    with open('sopa.txt', 'w') as fil:
        fil.write(str(soup.prettify()))
        fil.close()