#apache-storm #airflow #data-processing
#apache-storm #воздушный поток #обработка данных
Вопрос:
В чем разница между ними? Насколько я понимаю, оба они основаны на концепции направленного ациклического графа (DAG), и Storm обрабатывает данные в режиме реального времени, а Airflow скорее перемещает все это с одного этапа на другой. Это единственное различие между ними? Для какого рода заданий они оба подходят?
Комментарии:
1. Этот вопрос довольно широкий, но в документации также есть некоторое объяснение, т.е. airflow.apache.org/#beyond-the-horizon
Ответ №1:
Airflow — это механизм оркестровки, подобный Azkaban или Oozie. Storm — это процессор обработки данных, работающий почти в реальном времени, который в значительной степени был заменен Spark Streaming или Heron (замена Storm в Twitter во втором поколении).