Блог

У меня есть сценарий, в котором у меня есть набор данных со столбцом даты, а позже я использую набор данных на итерации для сохранения набора данных в файлах нескольких разделов в формате parquet. Я выполняю итерацию списка дат, и при записи в формат parquet с этой папкой раздела даты я фильтрую набор данных по дате.

Я смог записать для определенных итераций, но после этого произошел сбой из-за исключений нехватки памяти.

Каков наилучший способ оптимизировать это, чтобы сохранить данные с помощью ООМ.

 dataset = dataset with some transformations
for date in date-list
   pd.write_part_file("part-data-file", dataset.filter(archive_date==date))
 

Код выглядит так, как указано выше.