Блог

Я понимаю, что для Airflow CeleryExecutor требуются celery и rabbitmq (или redis). Выполняются ли требования простым запуском pip install apache-airflow[celery,rabbitmq] или нам нужно запустить sudo yum install rabbitmq-server и pip install celery ?

Мой вопрос для Airflow 2.0

1. Если вы установите apache-airflow[celery] новую виртуальную среду, вы увидите, что она уже установлена celery для вас. Таким образом, pip install celery является избыточным.
2. Вам нужен сервер RabbitMQ (фактический процесс). Кроме того, вы можете использовать RabbitMQ в docker.
3. Не уверен apache-airflow[rabbitmq] , потому что я знаю, что Celery использует amqp протокол для связи с RabbitMQ. amqp==5.0.6 пакет устанавливается с celery установкой (что произошло pip install apache-airflow[celery] ).