Блог

У меня есть несколько потоков Nifi, которые потребляют данные из Kafka, а затем записывают их в HDFS. Перед записью в HDFS мы используем MergeContent для объединения потоковых файлов и записи больших сообщений (вроде как пакет).

Однако для 2 из этих потоков, похоже, MergeContent не обрабатывает потоковые файлы: потоковые файлы остаются в очереди перед MergeContent процессором. Я попытался изменить Max Bin Age параметр, а также максимальное и минимальное количество записей, это ничего не меняет. Потоковые файлы остаются в очереди намного дольше max bin age периода.

Вот скриншоты MergeContent свойств :

Вот также скриншот очереди. Вы можете видеть, что ничего не обрабатывалось, по крайней мере, за последние 5 минут. Вы также можете видеть, что некоторые потоковые файлы были объединены, поток работал нормально, когда я впервые запустил его, проблема появилась примерно через 10 минут.

Есть идеи, в чем может быть проблема?