Блог

Я пытаюсь предоставить единый интерфейс для извлечения всех файлов из одного каталога или списка каталогов.

 def get_files(dir_or_dirs):
    def helper(indir):
        file_list = glob.glob("*.txt")
        for file in file_list:
            yield file

    if type(dir_or_dirs) is list:
        # a list of source dirs
        for dir in dir_or_dirs:
            yield helper(dir)
    else:
        # a single source dir
        yield helper(dir_or_dirs)

def print_all_files(file_iter):
    for file in file_iter:
        print(file)        # error here!
 

Вопросы:

1. Ошибка гласит, что «файл» по-прежнему является генератором, независимо от того, является ли ввод одним каталогом или его списком. Почему это все еще генератор?
2. Можно ли обернуть или встроить генераторы в функции? Если да, то как заставить это работать?

Вы helper() каждый раз уступаете:

 yield helper(dir)
 

но helper() сам по себе является генератором.

В Python 3.3 и новее используйте yield from вместо:

 yield from helper(dir)
 

Это делегирует управление другому генератору. Из документации Yield expressions:

Когда yield from <expr> используется, он обрабатывает предоставленное выражение как подзаголовок. Все значения, создаваемые этим подзаголовком, передаются непосредственно вызывающей стороне методов текущего генератора.

В более старых версиях Python, включая Python 2.x, используйте другой цикл:

 for file in helper(dir):
    yield file
 

Для получения дополнительной информации о том, что yield from делает, см. PEP 380 — Синтаксис делегирования подгенератору .

Не то чтобы вам действительно нужна вспомогательная функция, она делает немного больше, чем просто перебирает glob.glob() результаты, вы можете сделать это напрямую.

Вам также необходимо исправить вашу функцию для фактического использования indir ; в настоящее время вы игнорируете этот аргумент, поэтому получаете только текстовые файлы из текущего рабочего каталога.

Далее, вы хотите использовать glob.iglob() вместо glob.glob() того, чтобы выполнять отложенную оценку os.scandir() , а не загружать все результаты в память сразу. Я бы просто превратил dir_or_dirs значение, отличное от списка, в список, а затем просто использовал один цикл:

 import glob
import os.path

def get_files(dirs):
    if not isinstance(dirs, list):
        # make it a list with one element
        dirs = [dirs]

    for dir in dirs:
        pattern = os.path.join(dir, '*.txt')
        yield from glob.iglob(pattern)
 

Теперь вместо одного аргумента, который является либо строкой, либо списком, я бы использовал переменное количество аргументов с синтаксисом *args параметра:

 def get_files(*dirs):
    for dir in dirs:
        pattern = os.path.join(dir, '*.txt')
        yield from glob.iglob(pattern)
 

Это может быть вызвано с 0 или более каталогами:

 for file in get_files('/path/to/foo', '/path/to/bar'):
    # ...