#airflow
#воздушный поток
Вопрос:
возможно ли в airflow разделить рабочую нагрузку на блоки? Например: если у меня есть файл с 1.000.000 записей, я могу обрабатывать больше, чем в блоках по 100.000 каждый, и запускать эти блоки параллельно. Я знаю, что в сельдерее для этой цели есть что-то, называемое чанками, но мне нужно то же самое в Airflow. Спасибо за любую помощь!
Комментарии:
1. Вы можете динамически создавать задачи в airflow, вы также можете использовать python в airflow и использовать его многопоточность.
Ответ №1:
Воздушный поток в основном используется для оркестровки. Вы можете сделать это, назначив задачи динамически в DAG. Однако это не идеальный вариант использования. Я бы рекомендовал использовать Airflow для планирования отправки этих данных в очереди сообщений, такие как RabbitMQ или Redis.