Блог

Поддерживает ли воздушный поток регулирование или ограничение параллелизма по типу оператора. Я хочу ограничить количество отправок spark в разных базах данных, но не ограничивать параллелизм по

Вы хотите использовать воздушный pool поток . Подробнее см.: https://airflow.apache.org/docs/apache-airflow/stable/concepts.html#pools .

Короче говоря, что pool делает a, так это ограничивает количество доступных слотов для запуска задач. В вашем случае вы можете подклассировать рассматриваемые операторы и присвоить им параметр пула по умолчанию для конкретного экземпляра пула, чтобы подтолкнуть разработчиков в правильном направлении.