Поддержка Airflow 2.0 для операторов Contrib

#airflow

#воздушный поток

Вопрос:

Я использовал лямбда-хук с Airflow версии v1.10.11, который был в разделе contrib. С выходом версии 2.0 может кто-нибудь подсказать, как использовать лямбда-хуки. Я также не могу получить доступ к ссылкам airflow сейчас. (https://airflow.apache.org/docs/apache-airflow/stable/_modules/airflow/contrib/hooks/aws_lambda_hook.html)

Ссылки: Поддерживаемые крючки Airflow 2.0: https://airflow.apache.org/docs/apache-airflow/stable/_api/airflow/hooks/index.html

Ответ №1:

Airflow 2.0 был разделен на две части:

  • Ядро Apache Airflow, которое включает веб-сервер, планировщик, CLI и другие компоненты, необходимые для минимальной установки Airflow.
  • Пакеты провайдеров — пакеты провайдеров включают интеграцию со сторонними интеграциями. Они обновляются независимо от ядра Apache Airflow.

Это было подробно описано в блоге одного из ЧВК: https://www.polidea.com/blog/airflow-2-providers /

В вашем случае вам следует посмотреть список операторов, которые находятся в пакетах провайдера:

https://airflow.apache.org/docs/apache-airflow-providers/operators-and-hooks-ref/index.html

Таким образом, вы можете обнаружить, что новое расположение класса:

 airflow.providers.amazon.aws.hooks.lambda_function.AwsLambdaHook
 

Документация: https://airflow.apache.org/docs/apache-airflow-providers-amazon/stable/_api/airflow/providers/amazon/aws/hooks/lambda_function/index.html#module-airflow.providers.amazon.aws.hooks.lambda_function

Вы также можете попробовать загрузить старый класс, который должен отображать сообщение.

 >>> import airflow.contrib.hooks.aws_lambda_hook

/Users/X/airflow/airflow/contrib/hooks/aws_lambda_hook.py:29 DeprecationWarning: This module is deprecated. Please use `airflow.providers.amazon.aws.hooks.lambda_function`.
 

Ответ №2:

См. https://airflow.apache.org/docs/apache-airflow-providers/operators-and-hooks-ref/index.html для последних поддерживаемых операторов / перехватов.