#google-cloud-data-fusion
# #google-cloud-data-fusion
Вопрос:
Я развернул простой конвейер слияния данных, который считывает данные из GCS и записывает в таблицу BigQuery.
Я ищу способ запланировать конвейер, но не смог найти соответствующие документы.
Может кто-нибудь указать мне на документацию / страницы, в которых рассказывается о планировании конвейеров слияния данных?
Ответ №1:
Вы можете запланировать конвейер после развертывания, нажав на кнопку Запланировать на странице сведений о конвейере. Нажав на него, вы можете настроить конвейер для периодического запуска.
Пожалуйста, смотрите скриншоты ниже:
Комментарии:
1. Можно ли запланировать конвейер с помощью внешних планировщиков, таких как — Airlfow / Composer или любых других?
2. Data Fusion использует REST API для управления жизненным циклом. В настоящее время он не доступен для использования из внешних служб. Планируется опубликовать его во 2 квартале 2019 года, после чего можно будет запускать конвейеры из внешних планировщиков или airflow / composer.
Ответ №2:
Я использовал «Data Fusion Basic Edition», который не поддерживает планирование, и, следовательно, я не смог найти вариант для планирования.
В Enterprise edition я вижу опцию «Запланировать» после развертывания конвейера.
Сравнение функций здесь — Сравнение между Basic и Enterprise edition