#hadoop #hdfs #hdp #namenode
#hadoop #hdfs #hdp #namenode
Вопрос:
в нашем кластере HDP — версии 2.6.5 с платформой ambari
мы заметили, что /hadoop/hdfs/journal/hdfsha/current/ папка содержит огромные файлы и более 1000 файлов, поскольку
-rw-r--r--. 1 hdfs hadoop 494690334 Dec 28 11:37 edits_0000000017251672645-0000000017253719335
-rw-r--r--. 1 hdfs hadoop 524892007 Dec 28 12:37 edits_0000000017253719336-0000000017255810613
-rw-r--r--. 1 hdfs hadoop 509365350 Dec 28 14:17 edits_0000000017255810614-0000000017258005682
-rw-r--r--. 1 hdfs hadoop 526756290 Dec 28 15:07 edits_0000000017258005683-0000000017260117992
чтобы свести к минимуму журналы редактирования журнала, мы можем использовать следующее как часть HDFS ( hdfs-site.xml )
мы не уверены, что смысл — dfs.namenode.num.extra.edits.retained в том, чтобы сохранить только 100 файлов
пожалуйста, посоветуйте, может ли следующая конфигурация помочь удалить дополнительные файлы журнала в
dfs.namenode.num.extra.edits.retained=100
dfs.namenode.max.extra.edits.segments.retained=1
dfs.namenode.num.checkpoints.retained=1
Ответ №1:
Чтобы очистить пространство, занимаемое jornal edit, вы на правильном пути. Однако значения слишком малы, и если что-то пойдет не так, вы можете потерять данные.
Значение по умолчанию для dfs.namenode.num.extra.edits.retained и dfs.namenode.max.extra.edits.segments.retained устанавливается на 1000000 и 10000 соответственно.
Я бы предложил следующие значения:-
dfs.namenode.num.extra.edits.retained=100000
dfs.namenode.max.extra.edits.segments.retained=100
dfs.namenode.num.checkpoints.retained=2
Вы можете найти все эти сведения о параметрах здесь, значения могут быть любыми и зависят от вашей среды, которую вы должны выбрать.
Комментарии:
1. ‘когда — dfs.namenode.num.extra.edits.retained=100000 , означает ли это, что мы остаемся с файлами — 100000?
2. Да, это файлы,
3. но почему 100000 , зачем нам так много? потому что теперь у нас меньше этого числа
4. Вы можете уменьшить это, это изменения, в случае сбоя службы hdfs это поможет вам попытаться восстановить данные. Всегда рекомендуется сохранять их как можно больше. Но опять же, это полностью зависит от вашей среды.
Ответ №2:
возникла та же проблема, изменения начали накапливаться в узлах NN и журнала. Оказалось, что резервный NN мертв. прочитал документ и обнаружил, что за объединение и очистку изменений отвечает резервный NN.
в режиме, отличном от HA, это делает SecondaryNN.
поэтому убедитесь, что ваш резервный / дополнительный NN работает правильно.