Блог

Сейчас я использую pyExcelerator для чтения файлов Excel, но это чрезвычайно медленно. Поскольку мне всегда нужно открывать файлы Excel размером более 100 МБ, загрузка только одного файла занимает у меня более двадцати минут.

Мне нужны следующие функциональные возможности:

• Откройте файлы Excel, выберите определенные таблицы и загрузите их в объект Dict или List.
• Иногда: выберите определенные столбцы и загружайте только целые строки, в которых определенные столбцы имеют определенные значения.
• Читайте файлы Excel, защищенные паролем.

И код, который я использую сейчас, является:

 book = pyExcelerator.parse_xls(filepath)
parsed_dictionary = defaultdict(lambda: '', book[0][1])
number_of_columns = 44
result_list = []
number_of_rows = 500000
for i in range(0, number_of_rows):
    ok = False
    result_list.append([])
    for h in range(0, number_of_columns):
        item = parsed_dictionary[i,h]
        if type(item) is StringType or type(item) is UnicodeType:
            item = item.replace("t","").strip()
        result_list[i].append(item)
        if item != '':
            ok = True
    if not ok:
        break
  

Есть предложения?

pyExcelerator, похоже, не поддерживается. Для записи файлов xls используйте xlwt, который является форком pyExcelerator с исправлениями ошибок и множеством улучшений. (Очень простая) возможность чтения xls pyExcelerator была удалена из xlwt. Для чтения файлов xls используйте xlrd.

Если загрузка xls-файла размером 100 МБ занимает 20 минут, вы, должно быть, используете один или несколько: медленный компьютер, компьютер с очень небольшим объемом доступной памяти или более старую версию Python.

Ни pyExcelerator, ни xlrd не читают файлы, защищенные паролем.

Вот ссылка, которая охватывает xlrd и xlwt.

Отказ от ответственности: Я автор xlrd и сопровождающий xlwt.

xlrd довольно хорош для чтения файлов, а xlwt довольно хорош для записи. По моему опыту, оба превосходят pyExcelerator.

Вы могли бы попробовать предварительно распределить список по его размеру в одной инструкции вместо добавления по одному элементу за раз, как это: (одно большое выделение памяти должно быть быстрее, чем много маленьких)

 book = pyExcelerator.parse_xls(filepath)
parsed_dictionary = defaultdict(lambda: '', book[0][1])
number_of_columns = 44
number_of_rows = 500000
result_list = [] * number_of_rows 
for i in range(0, number_of_rows):
    ok = False
    #result_list.append([])
    for h in range(0, number_of_columns):
        item = parsed_dictionary[i,h]
        if type(item) is StringType or type(item) is UnicodeType:
            item = item.replace("t","").strip()
        result_list[i].append(item)
        if item != '':
            ok = True
    if not ok:
        break
  

Если это дает заметное увеличение производительности, вы также можете попробовать предварительно распределить каждый элемент списка по количеству столбцов, а затем присвоить им индекс, а не добавлять по одному значению за раз. Вот фрагмент, который создает двумерный список размером 10×10 в одной инструкции с начальным значением 0:

 L = [[0] * 10 for i in range(10)]
  

Итак, в вашем коде это может работать примерно так:

 book = pyExcelerator.parse_xls(filepath)
parsed_dictionary = defaultdict(lambda: '', book[0][1])
number_of_columns = 44
number_of_rows = 500000
result_list = [[''] * number_of_rows for x in range(number_of_columns)]
for i in range(0, number_of_rows):
    ok = False
    #result_list.append([])
    for h in range(0, number_of_columns):
        item = parsed_dictionary[i,h]
        if type(item) is StringType or type(item) is UnicodeType:
            item = item.replace("t","").strip()
        result_list[i,h] = item
        if item != '':
            ok = True
    if not ok:
        break
  

Не имеет отношения к вашему вопросу: Если вы пытаетесь проверить, не является ли ни один из столбцов пустой строкой, тогда вы устанавливаете ok = True изначально и делаете это вместо этого во внутреннем цикле ( ok = ok and item != '' ). Кроме того, вы можете просто использовать isinstance(item, basestring) , чтобы проверить, является ли переменная строковой или нет.

Пересмотренная версия

 for i in range(0, number_of_rows):
    ok = True
    result_list.append([])
    for h in range(0, number_of_columns):
        item = parsed_dictionary[i,h]
        if isinstance(item, basestring):
            item = item.replace("t","").strip()
        result_list[i].append(item)
        ok = ok and item != ''

    if not ok:
        break
  

Недавно я создал библиотеку, которая может представлять интерес: https://github.com/ktr/sxl. По сути, он пытается «передавать потоком» файлы Excel, как это делает Python с обычными файлами, и поэтому работает очень быстро, когда вам нужно только подмножество данных (особенно, если оно находится в начале файла).