разница между airflow.providers и airflow.contrib

#google-bigquery #airflow

#google-bigquery #воздушный поток

Вопрос:

Я новичок в python и airflow. пытался использовать оператор перехвата Bigquery и узнал, что для перехвата есть два пакета. airflow.providers.google.cloud.крючки.bigquery airflow.contrib.hooks.bigquery_hook . итак, в чем разница между ними

Ответ №1:

contrib не рекомендуется (см. Исходный код). Вы всегда должны использовать providers . Если вы проверите свои журналы, вы увидите предупреждение об устаревании при каждом импорте contrib .

Причина этого в том, что ранее интеграция с такими сервисами, как BigQuery, была связана с Airflow core. Это означает, что новые версии появлялись часто только в качестве основных выпусков Airflow. Чтобы избежать этого, Airflow отделил каждую услугу от собственного пакета поставщика, который выпускается отдельно.