Блог

Я пытаюсь открыть файл, который у меня есть в облачном хранилище Google, используя библиотеку cloudstorage. Я получаю сообщение об ошибке, что модуль cloudstorage не имеет атрибута ‘open’.

Я хочу указать размер буфера чтения при загрузке файла из облачного хранилища Google в Google BigQuery. Это функция, которую я хотел бы использовать для этого. Для параметров требуется объект, подобный файлу.

 Client.load_table_from_file(file_obj, destination, rewind=False, size=None, num_retries=6, job_id=None, job_id_prefix=None, location=None, project=None, job_config=None)[source]
  

Загрузите содержимое этой таблицы из объекта, подобного файлу.

Есть ли какой-либо другой способ передать файл облачного хранилища в качестве объекта этому методу? Или, возможно, другой способ загрузить файл из облачного хранилища в Google BigQuery с указанием размера буфера чтения.

  from google.cloud import bigquery
 from google.cloud import storage 
 import cloudstorage as gcs
 def hello_gcs(event, context):
    gcs_file = gcs.open('no-trigger/transaction.csv')
    job_config = bigquery.LoadJobConfig()
    job_config.autodetect = False
    job_config.max_bad_records=1
    job_config.create_disposition = 'CREATE_IF_NEEDED'
    job_config.source_format = bigquery.SourceFormat.CSV
    load_job = bclient.load_table_from_file(
    gcs_file,
    dataset_ref.table(temptablename),
    location='asia-northeast1',
    size=2147483648,
    job_config=job_config)  # API request