# #sql #google-bigquery #airflow
Вопрос:
Я пробовал использовать оператор BigQueryInsertJobOperator в airflow для вставки данных в таблицу, он отлично работает для 1-2 строк.
В моем sql 100 миллионов строк , задача для операторов выполняется полностью со статусом «успешно», даже создается таблица, но таблица пуста
task2 = BigQueryInsertJobOperator(
task_id="insert_query_job",
gcp_conn_id='xxxxxxxxx',
configuration={
"query": {
"query": my_sql_query,
"useLegacySql": False,
"destinationTable": {
"projectId": "xxxxxxxx",
"datasetId": 'yyyyyyyy',
"tableId": 'zzzzzzzzz'
},
"allowLargeResults":True
}
}
)
Комментарии:
1. Здравствуйте, может быть, вы достигаете каких-то больших ограничений на запросы [1]? Я имею в виду «Максимальный размер ответа», но в любом случае, пожалуйста, убедитесь, что вы находитесь в пределах всех ограничений. С другой стороны, не могли бы вы поделиться обработанной версией своего запроса? [1] cloud.google.com/bigquery/quotas