Блог

Главная - Вопросы по программированию - Панды read_gbq с большими результатами

Панды read_gbq с большими результатами

# #python-3.x #pandas #google-bigquery

Вопрос:

Я пытаюсь получить данные из общедоступного набора данных Google bigquery и сохранить результат в фрейме данных pandas. Мой код хорошо работает, когда я добавляю что-то вроде ЛИМИТА 100, но при попытке запустить без него я получаю сообщение об ошибке. В идеале я хотел бы извлечь все строки из общедоступного набора данных, сохранить их в фрейме данных pandas и работать с ним на Python, а не в Google cloud или SQL. Вот мой текущий код и сообщение об ошибке.

 import pandas as pd

process_date = '2021-08-16'
process_date_no_dash = '20210816'
project_id = 'myproject-323109'

query = '''
        SELECT * 
        FROM `bigquery-public-data.crypto_bitcoin.transactions`
        
'''

df_bit = pd.read_gbq(query, project_id = project_id, dialect = 'standard', configuration={"allow_large_results":True})

 
 GenericGBQException: Reason: 403 Response too large to return. Consider specifying a destination table in your job configuration. For more details, see https://cloud.google.com/bigquery/troubleshooting-errors

Как мне исправить эту ошибку?

Метки: