Блог

Главная - Вопросы по программированию - Экспорт вложенных данных BigQuery в облачное хранилище с использованием python

Экспорт вложенных данных BigQuery в облачное хранилище с использованием python

#python #google-bigquery

#python #google-bigquery

Вопрос:

Пытаюсь экспортировать данные bigquery в хранилище, но появляется ошибка «Операция 400 не может быть выполнена с вложенной схемой. Поле: event_params».

Ниже приведен мой код:

 from google.cloud import bigquery
client = bigquery.Client()
os.environ["GOOGLE_APPLICATION_CREDENTIALS"] = "/Users/Nitin/Desktop/big_query_test/soy-serty-897-ed73.json"
bucket_name = "soy-serty-897.appspot.com"
project = "soy-serty-897"
dataset_id = "analytics_157738"
table_id = "events_20190326"

destination_uri = 'gs://{}/{}'.format(bucket_name, 'basket.csv')
dataset_ref = client.dataset(dataset_id, project=project)
table_ref = dataset_ref.table(table_id)

extract_job = client.extract_table(
    table_ref,
    destination_uri,
    # Location must match that of the source table.
    location='US')  # API request
extract_job.result()  # Waits for job to complete.

print('Exported {}:{}.{} to {}'.format(
    project, dataset_id, table_id, destination_uri))

Ответ №1:

В рамках ограничений на экспорт BigQuery упоминается, что CSV не поддерживает вложенные и повторяющиеся данные. Таким образом, попробуйте экспортировать в Avro или JSON:

 from google.cloud import bigquery
client = bigquery.Client()
bucket_name = 'your_bucket'
project = 'bigquery-public-data'
dataset_id = 'samples'
table_id = 'shakespeare'

destination_uri = 'gs://{}/{}'.format(bucket_name, '<your_file>')
dataset_ref = client.dataset(dataset_id, project=project)
table_ref = dataset_ref.table(table_id)
configuration = bigquery.job.ExtractJobConfig()
#For AVRO
#configuration.destination_format ='AVRO'
#For JSON
#configuration.destination_format ='NEWLINE_DELIMITED_JSON'

extract_job = client.extract_table(
table_ref,
destination_uri,
job_config=configuration,
location='US')
extract_job.result()

Надеюсь, это поможет.

Ответ №2:

Не могу протестировать это сейчас, но, возможно, это работает:

 from google.cloud import bigquery as bq
ejc = bq.ExtractJobConfig()
ejc.destination_format='NEWLINE_DELIMITED_JSON'
extract_job = client.extract_table(
    table_ref,
    destination_uri,
    # Location must match that of the source table.
    location='US',
    job_config=ejc)  # API request

Идея состоит в том, чтобы использовать JSON вместо CSV, чтобы у вас была поддержка вложенных данных.