Блог

Я использую версию 2.2.2 воздушного потока и сельдерей в качестве исполнителя. Вот чего я пытаюсь достичь

1. Dag должен работать каждую секунду
2. Одновременно должна выполняться только одна активная группа dag.

Ранее я решил этот случай с сельдереем и сельдереем. С момента переноса приложения в кластерный планировщик мы пытаемся использовать airflow. Может ли кто-нибудь предложить, чтобы мы могли использовать воздушный поток для этого случая использования

Нет. Воздушный поток не подходит для этого случая использования. Процесс, который выполняется каждую секунду, вероятно, не относится к области пакетной обработки.

В вашем случае при сочетании двух условий это также означает, что задача должна быть выполнена за 1 секунду, иначе пул будет накапливаться и будет запланировано больше задач, после чего вы сможете выполнить обработку. Воздушный поток вряд ли сможет справиться с этим.

Для этой функции я бы проверил больше технологий в области поиска событий и потоковой передачи (предполагая, что причина, по которой вы хотите запускать процесс каждые 1 секунду, заключается в том, чтобы постоянно реагировать на данные, которые обновляются/обрабатываются в режиме реального времени).