Как передавать данные из вывода Snowflake SQL в S3 на AWS

#snowflake-cloud-data-platform

#snowflake-cloud-data-platform

Вопрос:

У меня есть SQL для запуска на трех таблицах Snowflake, размещенных в учетной записи AWS. Я хотел бы передавать любые новые записи, основанные на выводе моего SQL, в корзину S3, используя, возможно, Kafka или любой другой потоковый сервис. Какие у меня есть варианты для реализации этого?

Ответ №1:

Вы можете выгружать данные непосредственно в корзину S3 :

  1. Создайте интеграцию хранилища.
  2. Создайте этап или укажите URL-адрес корзины непосредственно в запросе.

скопировать в s3://mybucket/выгрузить / из mytable storage_integration = s3_int;

Ссылка: https://docs.snowflake.com/en/user-guide/data-unload-considerations.html

Комментарии:

1. Спасибо. Как мне сделать так, чтобы мой Snowflake SQL передавался в корзину s3, как мы можем сделать наоборот вокруг Kafka?