Блог

Я работаю над моделью LDA с помощью gensim. Для этого я в основном открываю текстовые файлы, создаю словарь, а затем запускаю модель.

Чтобы открыть файлы, я использую это:

 files = [codecs.open(infile, 'r', 'utf-16', 'ignore') for infile in sample_list] 
  

в котором sample_list — это список путей к файлам. Мне нужно использовать codecs.open, потому что тексты на другом языке (и я не обновлял Python).

Моя проблема в том, что я не знаю, как закрыть все файлы после их использования. Есть идеи? Я попробовал пару вещей. Я не могу использовать здесь обычный цикл, потому что мой следующий шаг:

 texts = [" ".join(file.readlines()[0:]) for file in files]
  

Когда я использую более 5000 файлов, я получаю сообщение об ошибке «IOError: [Errno 24] Слишком много открытых файлов», я думаю, что я мог бы открывать несколько файлов одновременно, объединять их, закрывать и повторять. Кроме того, держать файлы открытыми просто плохо.
Спасибо!

 def read_contents(filename):
    with codecs.open(filename, 'r', 'utf-16', 'ignore') as infile:
        return ' '.join(infile)

texts = [read_contents(filename) for filename in sample_list]
  

Использование with эквивалентно выполнению:

 def read_contents(filename):
    try:
        infile = codecs.open(filename, 'r', 'utf-16', 'ignore')
        return ' '.join(infile)
    finally:
        infile.close()
  

finally Ключевое слово гарантирует, что close() оно будет выполнено независимо от того, что, даже если скрипт выдает ошибку внутри try .