#amazon-web-services #amazon-s3 #aws-lambda
#amazon-веб-сервисы #amazon-s3 #aws-lambda
Вопрос:
Я работаю над преобразованием parquets в csv через AWS. я могу конвертировать файлы с помощью Lambda, но сценарий немного отличается при работе с файлами объемом более 1 ГБ. Может кто-нибудь подсказать, как я могу преобразовать большие parquets в CSV.
- Паркеты хранятся в формате s3, а CSV следует сохранить обратно в формате CSV.
Спасибо, Самит Г
Комментарии:
1. Настройка задания в glue для этого?
2. @Marcin, я запланировал задание, но каждый раз я буду получать разные схемы файлов parquet.