Создайте пустую папку в S3, если при выгрузке из snowflake нет данных

#snowflake-cloud-data-platform

Вопрос:

Я запланировал выгружать данные из snowflake в S3 каждый час . Данные загружаются по этому пути : My_bucket/год=2021/месяц= /день= /час = /data.csv

Запрос

год , месяц , день и час динамически обновляются в пути при каждом часовом запуске .

Данные не обязательно должны быть там каждый час. В это время ни одна папка или путь не создаются

Мне нужно иметь папку на каждый час в S3, независимо от поступающих данных .

например, час=1 ,час=2 ,час=3 и так далее в течение всех 24 часов при каждом выполнении запроса.

Там должен быть файл csv, если данные присутствуют в таблице, и даже если данных нет, путь к этому часу должен быть там с пустым файлом

Итак, как я должен изменить свой sql-запрос?

Комментарии:

1. в s3 нет понятия «папки»

2. S3 папки нет , но корзины вы можете создать корзину с помощью функции AWS Lambda, ее можно вызывать ежедневно /еженедельно или ежемесячно

3. Не могли бы вы дополнить свой ответ запросом / задачей, которую вы фактически используете для выгрузки данных, и привести несколько примеров ввода / ожидаемого вывода ?

4. @CMe , я отредактировал вопрос . пожалуйста, изучите это