Блог

Я новичок в Нифи.Мое требование состоит в том, чтобы запустить группу процессов Nifi с помощью внешнего инструмента планирования под названием Control M. Я попытался использовать сценарий оболочки для запуска и остановки группы процессов с помощью команды curl. Группа процессов будет извлекать данные из текстового файла и записывать их в базу данных, но не сможет определить, когда группа процессов будет завершена, потому что я мог видеть состояние «Начато, запущено и остановлено», но состояние «не завершено». Столкнулся с этой проблемой и нуждаюсь в ваших ценных сведениях о том, как определить, что все записи были вставлены в базу данных, размещенную внутри группы процессов

NiFi-это не инструмент в стиле пакетного запуска и остановки. NiFi создан для работы с непрерывными потоками данных, что означает, что потоки «всегда включены». Он не предназначен для использования с планировщиками пакетов, такими как ControlM, Oozie, Airflow и т.д. Таким образом, для потока не существует статуса «Завершено».

Тем не менее, если вы хотите планировать потоки таким образом, это возможно, но вам нужно встроить его в поток самостоятельно. Вам нужно будет определить, что такое «Завершено», и построить эту логику в своем потоке — например, отслеживать активность после вашего последнего процессора, чтобы следить за активностью.