#snowflake-cloud-data-platform
Вопрос:
Я запланировал выгружать данные из snowflake в S3 каждый час . Данные загружаются по этому пути : My_bucket/год=2021/месяц= /день= /час = /data.csv
год , месяц , день и час динамически обновляются в пути при каждом часовом запуске .
Данные не обязательно должны быть там каждый час. В это время ни одна папка или путь не создаются
Мне нужно иметь папку на каждый час в S3, независимо от поступающих данных .
например, час=1 ,час=2 ,час=3 и так далее в течение всех 24 часов при каждом выполнении запроса.
Там должен быть файл csv, если данные присутствуют в таблице, и даже если данных нет, путь к этому часу должен быть там с пустым файлом
Итак, как я должен изменить свой sql-запрос?
Комментарии:
1. в s3 нет понятия «папки»
2. S3 папки нет , но корзины вы можете создать корзину с помощью функции AWS Lambda, ее можно вызывать ежедневно /еженедельно или ежемесячно
3. Не могли бы вы дополнить свой ответ запросом / задачей, которую вы фактически используете для выгрузки данных, и привести несколько примеров ввода / ожидаемого вывода ?
4. @CMe , я отредактировал вопрос . пожалуйста, изучите это