#airflow
#воздушный поток
Вопрос:
Я использовал лямбда-хук с Airflow версии v1.10.11, который был в разделе contrib. С выходом версии 2.0 может кто-нибудь подсказать, как использовать лямбда-хуки. Я также не могу получить доступ к ссылкам airflow сейчас. (https://airflow.apache.org/docs/apache-airflow/stable/_modules/airflow/contrib/hooks/aws_lambda_hook.html)
Ссылки: Поддерживаемые крючки Airflow 2.0: https://airflow.apache.org/docs/apache-airflow/stable/_api/airflow/hooks/index.html
Ответ №1:
Airflow 2.0 был разделен на две части:
- Ядро Apache Airflow, которое включает веб-сервер, планировщик, CLI и другие компоненты, необходимые для минимальной установки Airflow.
- Пакеты провайдеров — пакеты провайдеров включают интеграцию со сторонними интеграциями. Они обновляются независимо от ядра Apache Airflow.
Это было подробно описано в блоге одного из ЧВК: https://www.polidea.com/blog/airflow-2-providers /
В вашем случае вам следует посмотреть список операторов, которые находятся в пакетах провайдера:
https://airflow.apache.org/docs/apache-airflow-providers/operators-and-hooks-ref/index.html
Таким образом, вы можете обнаружить, что новое расположение класса:
airflow.providers.amazon.aws.hooks.lambda_function.AwsLambdaHook
Вы также можете попробовать загрузить старый класс, который должен отображать сообщение.
>>> import airflow.contrib.hooks.aws_lambda_hook
/Users/X/airflow/airflow/contrib/hooks/aws_lambda_hook.py:29 DeprecationWarning: This module is deprecated. Please use `airflow.providers.amazon.aws.hooks.lambda_function`.
Ответ №2:
См. https://airflow.apache.org/docs/apache-airflow-providers/operators-and-hooks-ref/index.html для последних поддерживаемых операторов / перехватов.