#google-bigquery #streaming #airflow
#google-bigquery #потоковая передача #поток воздуха
Вопрос:
https://airflow.apache.org/docs/stable/_modules/airflow/contrib/operators/bigquery_to_bigquery.html
Копирует данные из одной таблицы BigQuery в другую.
При копировании данных из исходной таблицы в целевую таблицу используется ли потоковая передача bigquery для вставки данных в целевую таблицу?
Другими словами, если здесь используется потоковая передача. и если я просто выполню эту задачу bigquery_to_bigquery write_truncate, и когда буферизация потоковой передачи еще не пуста, и я снова запускаю эту задачу слишком рано, будут ли проблемы?
Например, когда мы выполняем усечение записи в потоковой передаче, https://cloud.google.com/bigquery/docs/error-messages#streaming
Ответ №1:
При просмотре документации для airflow похоже, что это вызывает api заданий с конфигурацией copy, которая отличается от потокового API.