#apache-kafka #snowflake-cloud-data-platform #snowflake-task #snowflake-pipe
#apache-kafka #snowflake-cloud-data-platform #snowflake-задача #snowflake-pipe
Вопрос:
Я хочу получить преобразованные данные из snowflake в мою базу данных postgres. Для достижения этой цели я хочу переместить данные из snowflake в kafka, а затем из kafka в postgres. Не удалось выяснить, как переместить данные из snowflake в kafka.
Комментарии:
1. Я понимаю следующее: вы хотите выгрузить данные из Snowflake в AWS / Azure / GCP, а оттуда Kafka должен их использовать? Правильно?
Ответ №1:
- Вы можете использовать NiFi для получения данных из Snowflake и отправки их в тему kafka
- вы можете использовать группу из трех человек, например Fivetran
- Вы можете использовать копирование в S3 или облачное хранилище и использовать прослушиватель для получения новых событий https://docs.snowflake.com/en/user-guide/data-unload-s3.html