#python #python-3.x #pandas #dataframe #export-to-csv
Вопрос:
Есть ли лучшее решение для преобразования фрейма данных pandas в csv, чем модуль .to_csv?
Данный фрейм данных огромен, а csv-файл, созданный на его основе, составляет около 50 ГБ, поэтому я ищу лучшее решение.
Фрейм данных содержит только строки.
На данный момент я попытался преобразовать в numpy и функцию np.savetxt (), хотя это не улучшает производительность. Есть какие-нибудь идеи?
Комментарии:
1. Загляните в Dask , чтобы обработать огромные кадры данных. Вы могли бы сохранить его, например, в формате hdf .
2. @RJAdriaansen Это выглядит великолепно. Я проверю это через некоторое время и дам вам знать. Спасибо!