#google-bigquery #airflow
#google-bigquery #воздушный поток
Вопрос:
Я новичок в python и airflow. пытался использовать оператор перехвата Bigquery и узнал, что для перехвата есть два пакета. airflow.providers.google.cloud.крючки.bigquery airflow.contrib.hooks.bigquery_hook . итак, в чем разница между ними
Ответ №1:
contrib
не рекомендуется (см. Исходный код). Вы всегда должны использовать providers
. Если вы проверите свои журналы, вы увидите предупреждение об устаревании при каждом импорте contrib
.
Причина этого в том, что ранее интеграция с такими сервисами, как BigQuery, была связана с Airflow core. Это означает, что новые версии появлялись часто только в качестве основных выпусков Airflow. Чтобы избежать этого, Airflow отделил каждую услугу от собственного пакета поставщика, который выпускается отдельно.