#aws-glue-spark
Вопрос:
Я обрабатываю необработанные файлы JSON в S3 и хочу сохранить преобразованный JSON в озере данных S3. Я использую гусеничный движок и клей для выполнения операций ETL. Мое хранилище S3 raw имеет иерархию папок s3rawbucket/источник/год/месяц/день, и я хочу динамически помещать преобразованные файлы в озеро данных s3, например, s3datalakebucket/источник/год/месяц/день. Я имею в виду, что папки в моем хранилище data lake s3 должны динамически создаваться, чтобы там можно было хранить преобразованные файлы JSON, все это должно происходить с помощью задания клея. Я ценю помощь и поддержку сообщества в этой реализации.