#parsing #web-scraping #beautifulsoup #python-requests #lxml
#синтаксический анализ #веб-очистка #beautifulsoup #python-запросы #lxml
Вопрос:
Я хочу анализировать таблицы по многим страницам из приведенного ниже URL
https://www.marketscreener.com/tools/stock-screener/
Однако URL-адрес страницы динамически изменяется при каждом нажатии (даже если данные в таблицах остаются неизменными). Я не очень хорошо разбираюсь в последних технологиях разработки веб-сайтов / веб-страниц. У меня есть некоторый опыт, requests/lxml.xpath
но как мне передать динамический URL-адрес в « requests.get
Я попытался получить исходный контейнер из Network
вкладки в Chrome, но это тоже, похоже, не работает.
Правка_1:
в дополнение к комментариям @Andrej Kesely, в основном мой желаемый результат — это данные href, содержащиеся в .//table//tbody/td/tr//a href
которых я могу получить с помощью обычной lxml.xpath
функции. Моей реальной проблеме предшествует то, что URL-адрес продолжает динамически меняться. Итак, у меня возникли проблемы с передачей статического URL-адреса на requests.get
уровне. Надеюсь, я ясно выражаюсь.
Комментарии:
1. Какую информацию вы хотите получить с этой страницы? Можете ли вы отредактировать свой вопрос и указать, что вы сделали до сих пор?