Блог

Я использую службу передачи данных BigQuery для переноса всех данных из redshift в bigquery.

После этого я хочу выполнить обратное заполнение в течение определенного времени, если какие-либо данные отсутствуют. Но я не вижу никакой опции обратной засыпки в задании переноса.

Как я могу добиться этого в bigquery?

Читая ваш вопрос в свете ваших комментариев, я бы поступил иначе, чем вы описали. Однако вы достигаете той же цели :).

Используя конвейер ETL, первым шагом будет накопление необработанных данных в потоке данных. Давайте возьмем для этого службу хранения, такую как S3. Для этого конвейера ETL S3 является вашим каналом передачи данных. Обратите внимание, что ваш конвейер не делает ничего, кроме как берет необработанные данные из A, чтобы поместить их в S3. Кроме того, местоположение в S3 должно находиться в папке с меткой времени, например, в день (например, ггггммдд), чтобы вы могли сортировать и использовать свои данные по измерению времени.
Очевидно, что рассмотренные данные опережают по времени те, которые у вас уже есть в Redshift. Возможно, это также структура, отличная от той, которую вы уже ввели в redshift, из-за потенциального преобразования, которое вы задали в своем первоначальном конвейере. Если вы устанавливаете необработанные данные непосредственно в redshift, просто экспортируйте данные в ту же корзину S3 под именем legacy/* . (В случае, если он будет преобразован, вам нужно поместить второй канал передачи данных S3 в свой конвейер с этим промежуточным преобразованием и сохранить ту же стратегию именования S3).

Давайте сделаем перерыв, чтобы понять, что у нас есть. Мы заполнили корзину S3 необработанными данными, которые теперь мы можем воспроизводить по желанию в определенный день с помощью cron или инструмента оркестровки, такого как Apache Airflow. Кроме того, вы можете свободно изменять содержимое каждой папки с временной меткой на случай, если вы пропустили данные, чтобы воспроизвести следующие конвейеры => нужное обратное заполнение.

Говоря об этом, S3 будет выступать в качестве источника данных для следующих конвейеров, которые будут устанавливать требуемые преобразования для необработанных данных из S3 и выбирать BigQuery и, возможно, Redshift в качестве канала передачи данных. Теперь, пожалуйста, примите во внимание стоимость этих операций. Потоковый API в BQ стоит дорого. Максимум 0,50 доллара за ГБ. Делайте это, только если вам нужен результат в реальном времени. Если вы можете позволить себе задержку более 5 минут, лучшей стратегией было бы установить GCS в качестве источника данных вашего ETL и перенести данные оттуда в BQ (обратите внимание, чтобы поместить данные в тот же шаблон именования файлов yyyymmdd, чтобы включить возможное обратное заполнение). Эта передача бесплатна, если корзина GCS и набор данных BQ находятся в одном регионе. Вы бы запустили передачу, например, с помощью событий GCS (запуск облачной функции при создании большого двоичного объекта, которая помещает данные в BQ).

И последнее, но не менее важное: обратное заполнение должно выполняться с умом, особенно в BQ, где обновление или создание на уровне строк не является формальным и является открытой дверью для дублирования. Что вам следует учитывать, так это раздел BigQuery, который вы можете установить для столбца, содержащего временную метку или скрытую, если ваши данные не содержат ее. Какая временная метка? Ну, тот, который указан в имени папки GCS! Еще раз вы можете изменять данные в своей корзине GCS каждый день и воспроизводить передачу в BQ. Но при каждой передаче с определенного дня необходимо перезаписывать раздел, к которому принадлежат рассматриваемые данные. (например: данные в 20200914 перезаписывают соответствующий раздел в BQ. Мы придерживаемся концепции выполнения чистой задачи, что гарантирует идемпотентность и отсутствие дублирования). Пожалуйста, прочтите эту статью, чтобы получить больше информации.

Примечание: Если вы намерены избавиться от Redshit, вы можете сделать это напрямую и забыть о S3 в качестве источника данных вашего первого ETL. Выберите непосредственно GCS (вход бесплатный) и перенесите уже имеющиеся данные Redshift в GCS, используя S3 в качестве промежуточной службы и службу Google transfer с S3 на GCS.