Блог

Я хочу создать скребок для рыночного бота, который будет соскабливать данные с более чем 50 монет одновременно, моя проблема в том, что мне нужны обновления данных в реальном времени, поэтому нажатие на новую вкладку, ожидание ее загрузки, а затем соскабливание происходит слишком медленно, так как python/selenium может делать только одну вещь за раз, я подумываю о том, чтобы просто открыть сразу 50 вкладок и очень быстро менять вкладки, соскабливать и повторять, однако, поскольку на каждой вкладке на веб-сайте рынка, который я использую, открыто так много веб-сокетов, постоянно обновляющих цены и тому подобное, мой компьютер не может точно обрабатывать все 50 динамических вкладок одновременно без очень медленной загрузки и сбоев.

1. Моя теория заключается в том, что если я смогу удалить все элементы websocket/dynamic на каждой вкладке(что, как я предполагаю, приводит к медленному переключению времени загрузки и сбоям), за исключением конкретного HTML-элемента, который я хочу очистить, я смогу очистить все вкладки очень быстро и эффективно с помощью моего подхода, но я не уверен, как это сделать или если это возможно, может кто-нибудь, пожалуйста, скажите мне?
2. Есть ли более простой способ сделать то, что я хочу сделать с любым api, не относящимся конкретно к python/selenium??