#python #excel #pandas
Вопрос:
#***Code is as below***
import pandas as pd
import time
s = time.time()
x = pd.read_excel(r'D:CuriosityWhyPython1_FileLoadTimingcv.xls') #size is 100 mb
s = time.time()'#enter code hereenter code here`
x.to_excel(r'\ukcv.xlsx')
e = time.time()'`enter code here`
print((e-s)/60) #taking 90 min to complete
# same code taking around 7 min If i use local path to produce excel.I had tried Modin but not any improvement
Комментарии:
1. Сколько времени вам потребуется, чтобы получить файл через сеть? Представьте, что нет никакой магии, которую можно ожидать, если сеть/размер файла являются узкими местами, вы не сможете значительно улучшить, пытаясь настроить параметры программного обеспечения…
2. не знаю, сколько раз этот эксперимент проводился, основываясь на тех 90 минутах, которые вы сказали! я бы попробовал разные движки , а также сравнил с shutil(т. Е. Создал файл локально, а затем скопировал его на сетевой диск с помощью
copyfile(src, dst)) из любопытства.