Блог

Главная - Вопросы по программированию - невозможно загрузить данные из CoLab в Bigquery

невозможно загрузить данные из CoLab в Bigquery

#python #pandas #google-bigquery #google-colaboratory

#python #pandas #google-bigquery #google-colaboratory

Вопрос:

Я пытаюсь загрузить 5 файлов SQL в 5 разных таблиц в bigquery для визуализации данных в data studio.я загрузил эти файлы в раздел хранения CoLab и авторизовал проект.

 datasets = [r"/file1.sql",r"/file2.sql",,r"/file3.sql",r"/file4.sql",,r"/file5.sql"]
f = open(datasets[1], "r")
data=f.read()
data = data.replace('n','')
import pandas as pd

df = pd.io.gbq.read_gbq('''data''', project_id='newproject1', dialect='standard')

df.head()

df.to_gbq('dataset1.testtable1','newproject1',chunksize=None,reauth=False,if_exists='append')
df.to_gbq('dataset1.testtable2','newproject1',chunksize=None,reauth=False,if_exists='append')
df.to_gbq('dataset1.testtable3','newproject1',chunksize=None,reauth=False,if_exists='append')
df.to_gbq('dataset1.testtable4','newproject1',chunksize=None,reauth=False,if_exists='append')
df.to_gbq('dataset1.testtable5','newproject1',chunksize=None,reauth=False,if_exists='append')

)

При запуске запроса я получаю сообщение об ошибке ниже.

 The following traceback may be corrupted or invalid
The error message is: ('EOF in multi-line string', (1, 0))

---------------------------------------------------------------------------
BadRequest                                Traceback (most recent call last)
/usr/local/lib/python3.6/dist-packages/pandas_gbq/gbq.py in _download_results(self, query_job, max_results, progress_bar_type)
    549 
--> 550             query_job.result()
    551             # Get the table schema, so that we can list rows.

Также я хочу знать, как изменить код python для загрузки данных в 5 уважаемых таблиц.

Комментарии:

1. В настоящее время загрузка файлов sql в BigQuery не поддерживается. Здесь вы можете найти все поддерживаемые форматы. Кроме того, в качестве альтернативы вы можете загрузить эти файлы в Cloud SQL и запросить их с помощью объединенных запросов в консоли BigQuery, как описано в документации . Будет ли это соответствовать вашим потребностям?

Ответ №1:

Я не знаю, является ли это опечаткой или это проблема, но попробуйте заменить:

 df.to_gbq(dataset1.testtable1','newproject1',chunksize=None,reauth=False,if_exists='append')
df.to_gbq(dataset1.testtable2','newproject1',chunksize=None,reauth=False,if_exists='append')
df.to_gbq(dataset1.testtable3','newproject1',chunksize=None,reauth=False,if_exists='append')
df.to_gbq(dataset1.testtable4','newproject1',chunksize=None,reauth=False,if_exists='append')
df.to_gbq(dataset1.testtable5','newproject1',chunksize=None,reauth=False,if_exists='append')

с

 df.to_gbq('dataset1.testtable1','newproject1',chunksize=None,reauth=False,if_exists='append')
df.to_gbq('dataset1.testtable2','newproject1',chunksize=None,reauth=False,if_exists='append')
df.to_gbq('dataset1.testtable3','newproject1',chunksize=None,reauth=False,if_exists='append')
df.to_gbq('dataset1.testtable4','newproject1',chunksize=None,reauth=False,if_exists='append')
df.to_gbq('dataset1.testtable5','newproject1',chunksize=None,reauth=False,if_exists='append')

Комментарии:

1. Извините!! это опечатка .. кавычки были включены в реальный запрос … я хочу знать, не хватает ли чего-нибудь в коде .. я думаю, если я загружу файл на Google Диск, а затем включу from google.colab import drive drive.mount('/content/drive') в код .. дайте мне знать, если он правильный