Как мы передаем конвейер данных для передачи данных из snowflake в kafka?

#apache-kafka #snowflake-cloud-data-platform #snowflake-task #snowflake-pipe

#apache-kafka #snowflake-cloud-data-platform #snowflake-задача #snowflake-pipe

Вопрос:

Я хочу получить преобразованные данные из snowflake в мою базу данных postgres. Для достижения этой цели я хочу переместить данные из snowflake в kafka, а затем из kafka в postgres. Не удалось выяснить, как переместить данные из snowflake в kafka.

Комментарии:

1. Я понимаю следующее: вы хотите выгрузить данные из Snowflake в AWS / Azure / GCP, а оттуда Kafka должен их использовать? Правильно?

Ответ №1:

  • Вы можете использовать NiFi для получения данных из Snowflake и отправки их в тему kafka
  • вы можете использовать группу из трех человек, например Fivetran
  • Вы можете использовать копирование в S3 или облачное хранилище и использовать прослушиватель для получения новых событий https://docs.snowflake.com/en/user-guide/data-unload-s3.html