#python
Вопрос:
На веб-сайте https://www.shanghairanking.com/rankings/arwu/2020 URL-адрес не меняется, когда я нажимаю «далее». Любые идеи о том, как очистить таблицы на следующих страницах. Используя bs4 в Python, я могу очистить таблицу только на первой странице.
Что я делал до сих пор:
from bs4 import BeautifulSoup
import requests
import pandas as pd
html_text = requests.get('https://www.shanghairanking.com/rankings/arwu/2020').text
soup = BeautifulSoup(html_text,'lxml')
data = soup.find('table', class_= "rk-table").text.replace(' ','')
print(data)
Комментарии:
1. Попробуйте (пакет) селен.. Это позволяет программно запустить веб-браузер, перейти на веб-сайт и нажать «Просмотреть полный список». Затем вы можете использовать красивый суп для сбора необходимой вам информации.
2. Я попробовал selenium также не помог в поиске URL для новой страницы