#apache-nifi
#apache-nifi
Вопрос:
Apache NiFi увеличивает загрузку процессора до 100%, и конкретный узел отключается от кластера.
У нас есть кластер из 3 узлов,
каждый с 8 ядрами, 64 ГБ RDM и 40 ГБ памяти, выделенных для JVM
При слиянии содержимого при обработке более 2 миллионов файлов small flow small flow (размер всех файлов около 300 МБ) процессор узла NiFi достигает 100%, узел отключается, и данные никогда не обрабатываются,
Я использую стратегию дефрагментации при слиянии содержимого.
Я попытался изменить nifi.queue.swap.threshold на 1,000,00, но это не помогло.
Есть какие-либо подсказки о том, как с этим справиться?
Комментарии:
1. 40 ГБ памяти, выделенной для JVM или для NiFi? не могли бы вы поделиться всеми параметрами процессора содержимого слияния?