#google-bigquery
#google-bigquery
Вопрос:
Друзья,
Я пытаюсь экспортировать таблицу BigQuery с вложенными столбцами (массив, структура) в файл CSV, сглаживая строки.
Я пробовал bq export и Python BQ API ( from google.cloud import bigquery ), оба варианта.
Какой подход был бы лучше с точки зрения производительности сети и планирования заданий?
Я думал о планировании задания либо в Scheduler, либо в Composer, который запустит скрипт экспорта для записи csv-файла в облачное хранилище.
Я знаю, что для этого bq export требуется cloud sdk, тогда как Python BQ API подходит для облачной функции. Но пытаюсь понять, какой подход лучше всего подходит для производительности. Есть ли какие-либо рекомендации?
Также любая ссылка, связанная с ними, была бы полезна.
С уважением, Sant
Комментарии:
1. Не могли бы вы немного подробнее описать свой вариант использования и упомянутое вами планирование заданий?
2. @SandeepMohanty — отредактировал мой вопрос
Ответ №1:
Между ними нет существенной разницы в производительности. bq export оба API BQ и Python написаны на Python, и оба они вызывают одни и те же API BigQuery REST за кулисами.
Основное различие заключается в том, пишете ли вы скрипт командной строки или пишете скрипт на Python. У Composer есть как python_operator, так и bash_operator для работы с любым сценарием. Так что это всего лишь вопрос выбора / предпочтения языка программирования.