анализ таблицы из динамически изменяющегося источника URL

#parsing #web-scraping #beautifulsoup #python-requests #lxml

#синтаксический анализ #веб-очистка #beautifulsoup #python-запросы #lxml

Вопрос:

Я хочу анализировать таблицы по многим страницам из приведенного ниже URL

 https://www.marketscreener.com/tools/stock-screener/
  

Однако URL-адрес страницы динамически изменяется при каждом нажатии (даже если данные в таблицах остаются неизменными). Я не очень хорошо разбираюсь в последних технологиях разработки веб-сайтов / веб-страниц. У меня есть некоторый опыт, requests/lxml.xpath но как мне передать динамический URL-адрес в « requests.get Я попытался получить исходный контейнер из Network вкладки в Chrome, но это тоже, похоже, не работает.

Правка_1:

в дополнение к комментариям @Andrej Kesely, в основном мой желаемый результат — это данные href, содержащиеся в .//table//tbody/td/tr//a href которых я могу получить с помощью обычной lxml.xpath функции. Моей реальной проблеме предшествует то, что URL-адрес продолжает динамически меняться. Итак, у меня возникли проблемы с передачей статического URL-адреса на requests.get уровне. Надеюсь, я ясно выражаюсь.

Комментарии:

1. Какую информацию вы хотите получить с этой страницы? Можете ли вы отредактировать свой вопрос и указать, что вы сделали до сих пор?