#python
#python
Вопрос:
У меня есть скрипт, в котором я извлекаю данные с веб-сайта, используя несколько URL-адресов в Excel. но проблема в том, что когда извлечение прерывается, все данные теряются, и в файле Excel ничего не сохраняется. Теперь мне нужно что-то, что открывает URL-адрес из Excel и очищает данные один за другим, сохраняя excel с каждой итерацией. Пожалуйста, дайте мне знать, если вам нужна информация.
Спасибо
Комментарии:
1.
exampleFile = open("Desktop/Test.csv") exampleReader = csv.reader(exampleFile) exampleData = list(exampleReader) final = []2.
records = [] for item in exampleData: final.append(item[0]) for url in final: driver.get(url) soup = BeautifulSoup(driver.page_source, 'html.parser') results = soup.find_all('div',{'id':'dp'}) for item in results: record = extract_record(item) if record: records.append(record) driver.close()3.
df = pd.DataFrame(records) df.columns = ['item_name', 'price_Final', 'Final_bullet','prod_desc','Image_link', 'Stock', 'Prod_spec ','Quantity_avail','Prod_spec','Brand_info','Add_info','Delivered_by','BTG'] writer = ExcelWriter('Desktop/Data Scrap.xlsx') df.to_excel(writer,'Sheet1',index=False) writer.save()4. в настоящее время я использую этот код, который сохраняет все данные только после завершения извлечения, и если программа остановится, в Excel ничего не сохраняется