Блог

При запуске NiFi происходит сбой с ошибкой ниже

     at org.springframework.beans.factory.support.AbstractBeanFactory.getBean(AbstractBeanFactory.java:202)
    at org.springframework.context.support.AbstractApplicationContext.getBean(AbstractApplicationContext.java:1086)
    at org.apache.nifi.web.contextlistener.ApplicationStartupContextListener.contextInitialized(ApplicationStartupContextListener.java:55)
    ... 37 common frames omitted
  

Вызвано: org.springframework.beans.factory.Исключение BeanCreationException: ошибка при создании компонента с именем ‘flowController’: FactoryBean вызвал исключение при создании объекта; вложенным исключением является исключение java.lang.RuntimeException: java.nio.file.Исключение FileSystemException: ./state/local/partition-0/107654.journal: слишком много открытых файлов
в org.springframework.beans.factory.support.FactoryBeanRegistrySupport.doGetObjectFromFactoryBean(FactoryBeanRegistrySupport.java:185)

я отладил и обнаружил, что во всех разделах в

/usr/lib/NiFi/ NiFi/ nifi-1.11.4/state/local

раздел-0 раздел-11 раздел-14 раздел-3 раздел-6 раздел-9 раздел-1 раздел-12 раздел-15 раздел-4 раздел-7 раздел моментального снимка-10 раздел-13 раздел-2 раздел-5 раздел-8 wali.lock

например, если я выберу какую-либо папку раздела… предположим, я выбираю раздел-0, чтобы внутри этого множества записей в журнале я мог видеть, как

107018.журнал 107632.журнал 108246.журнал 108860.журнал 109474.журнал 110088.журнал 107019.журнал 107633.журнал 108247.журнал 108861.журнал 109475.журнал 110089.журнал 107020.журнал 107634.журнал 108248.журнал 108862.журнал 109476.журнал 110090.журнал 107021.журнал 107635.журнал108249.журнал 108863.журнал 109477.журнал 110091.журнал 107022.журнал 107636.журнал 108250.журнал 108864.журнал 109478.журнал 110092.журнал 107023.журнал 107637.журнал 108251.журнал 108865.журнал 109479.журнал 110093.журнал 107024.журнал 107638.журнал 108252.журнал 108866.журнал109480.журнал 110094.журнал 107025.журнал 107639.журнал 108253.журнал 108867.журнал 109481.журнал 110095.журнал 107026.журнал 107640.журнал 108254.журнал 108868.журнал 109482.журнал 110096.журнал 107027.журнал 107641.журнал 108255.журнал 108869.журнал 109483.журнал 110097.журнал107028.журнал 107642.журнал 108256.журнал 108870.журнал 109484.журнал 110098.журнал 107029.журнал 107643.журнал 108257.журнал 108871.журнал 109485.журнал 110099.журнал 107030.журнал 107644.журнал 108258.журнал 108872.журнал 109486.журнал 110100.журнал 107031.журнал 107645.журнал 108259.журнал 108873.журнал 109487.журнал 110101.журнал 107032.журнал 107646.журнал 108260.журнал 108874.журнал 109488.журнал 110102.журнал 107033.журнал 107647.журнал 108261.журнал 108875.журнал 109489.журнал 110103.журнал 107034.журнал 107648.журнал 108262.журнал 108876.журнал 109490.журнал 110104.журнал 107035.журнал 107649.журнал 108263.журнал 108877.журнал 109491.журнал 110105.журнал

Записей еще больше, и я предполагаю, что это приводит к тому, что Nifi не запускается.

Надеюсь, я найду здесь решение для этой проблемы

Вы следовали инструкциям, чтобы увеличить лимит открытых файлов в вашей операционной системе? NiFi требует большого количества открытых файлов при чтении / записи во внутренние хранилища данных, поэтому, если это ограничено, это часто может помешать успешной работе.

Из документов:

Максимальное количество дескрипторов файлов

В NiFi в любой момент времени может быть открыто очень большое количество дескрипторов файлов. Увеличьте ограничения, отредактировав /etc/security/limits.conf , чтобы добавить что-то вроде

• hard nofile 50000
• soft nofile 50000

Максимально разветвленные процессы

NiFi может быть настроен для генерации значительного количества потоков. Чтобы увеличить допустимое число, отредактируйте /etc/security/limits.conf

• hard nproc 10000
• soft nproc 10000

И ваш дистрибутив может потребовать редактирования /etc/security/limits.d/90-nproc.conf путем добавления

• soft nproc 10000