#python #python-3.x #multithreading #selenium #selenium-webdriver
Вопрос:
Я пытаюсь запустить сценарий python selenium, в котором на этой странице существует более 10 000 строк. Я запускаю цикл for, как показано ниже:
list = []
for i in range(10000):
try:
xpath = '//*[@id="home-contents"]/table/tbody/tr[' str(i 3) ']/td[3]'
xpath_quantity = '//*[@id="home-contents"]/table/tbody/tr[' str(i 3) ']/td[6]'
quantity = a.find_element(By.XPATH,xpath_quantity).text
if(int(quantity)>499):
print(str(i 1) ' is done')
t_5 = a.find_element(By.XPATH,xpath).text
list.append({"name":t_5,"quantity":quantity})
except Exception as e:
print(str(i) ' found exception')
break
Приведенный выше код выполняется успешно, но для завершения процесса требуется более 20 минут.
Есть ли какой-либо способ выполнить многопроцессорную обработку или многопоточность, чтобы ускорить выполнение?
Комментарии:
1. можете ли вы поделиться URL-адресом? Также, пожалуйста, объясните, что на самом деле делает код, и поделитесь html-кодом страницы. Не делитесь html как кодом, а не как изображением
2. Привет, к странице можно получить доступ только из частной сети, поэтому я не могу поделиться ею сейчас. Но конечная цель состоит в том, чтобы распараллелить цикл, который удаляет данные.