Блог

У меня возникли некоторые проблемы со скоростью загрузки .parquet файлов. Однако я не знаю, что я делаю не так.

Проблема

Я пытаюсь прочитать один .parquet файл из моей локальной файловой системы, который является разделенным выводом из задания spark. Таким образом , чтобы в .parquet иерархических каталогах были файлы с именем a=x и b=y .

Чтобы достичь этого, я использую pandas.read_parquet (which uses pyarrow.parquet.read_table ), для которого я включаю filters kwarg. Время выполнения использования filters намного больше, чем я ожидал бы.

 # The following runs for about 55 seconds
pd.read_parquet(<path_to_entire_dataset>, filters=[[('a', '=', 'x'), ('b', '=', 'y')]])

# The following runs for about 0.04 seconds
pd.read_parquet(<path_to_entire_dataset>/a=x/b=y/)

# The following runs for about 70 seconds
pd.read_parquet(<path_to_entire_dataset>)
 

Чтение одного файла parquet с указанием фильтров происходит лишь немного быстрее, чем загрузка всего набора данных, где я ожидал бы, что время выполнения будет примерно линейным по количеству файлов.

Какую ошибку я здесь совершаю?

Я понимаю, что простое размещение фильтров в пути будет работать, однако это быстро станет сложным, поскольку то, что я хочу отфильтровать, будет / может измениться. Кроме того, я думаю read_table , что должен иметь возможность эффективно загружать эти данные.

PS: Весь набор данных содержит много миллионов строк, данные, которые я хочу загрузить, составляют всего несколько тысяч строк.

Правка 1:

Как было предложено 0x26res, я вручную определил разделение, это привело к значительному ускорению, но все же не так сильно, как я ожидал. В этой ситуации время выполнения составляло около 5 секунд.

 partitioning = HivePartitioning(
    pa.schema([
        pa.field('a', pa.string()),
        pa.field('b', pa.int32()),
    ])
)

pd.read_parquet(
    <path_to_entire_dataset>,
    engine='pyarrow',
    filters=[
        [
            ('a', '=', x),
            ('b', '=', y),
        ]
    ],
    partitioning=partitioning
)
 

Учитывая время выполнения, я подозреваю, что arrow открывает все файлы, а затем фильтрует.

Может быть, вы можете попробовать указать разделение, чтобы стрелка могла быть умнее в этом:

 import pyarrow as pa

partitioning = pa.dataset.HivePartitioning(
        pa.schema([
            pa.field('a', pa.string()),
            pa.field('b', pa.string())
        ])
    )

pd.read_parquet(<path_to_entire_dataset>, filters=[[('a', '=', 'x'), ('b', '=', 'y')]], partitioning=partitioning)