Блог

мои кластеры hadoop не работают нормально из-за условий сети.Что, если я изменю всю сеть, например, другой маршрутизатор, таким образом, изменив IP-адреса? могут ли кластеры по-прежнему работать, обновляя некоторые конфигурации? или я должен разорвать его и все перестроить? Заранее спасибо

Это работает, как только вы меняете IP-адреса в конфигурации, почему вы не использовали DNS?

Хорошо, это был не очень хороший ответ, позвольте мне извиниться и дать лучший ответ. Если вам нужно изменить конфигурацию в работающем кластере, вы можете вывести из эксплуатации и ввести в эксплуатацию узлы данных.

Отключение узла данных не является хорошей идеей.

Вывод узла данных из эксплуатации

Первый шаг — сообщить yarn, что вы собираетесь удалить некоторые узлы, затем вы должны сказать то же самое диспетчеру узлов.

Я не знаю, настроена ли ваша система на вывод из эксплуатации, если это так, у вас есть ключ yarn.resourcemanager.nodes.exclude-path в yarn-site.xml и dfs.hosts.exclude в hdfs-site.xml

hdfs-site.xml

 <property>
  <name>dfs.hosts.exclude</name>
  <value>$YOUR_PATH/dfs.exclude</value>
  <final>true</final>
</property> 
 

yarn-site.xml

 <property>
  <name>dfs.hosts.exclude</name>
  <value>$YOUR_PATH/dfs.exclude</value>
  <final>true</final>
</property> 
 

Откройте файл $YOUR_PATH/dfs.exclude и добавьте имена хостов / IP-адреса узла, который вам нужно остановить.

выполнить

 yarn rmadmin  -refreshNodes
hdfs dfsadmin -refreshNodes 
 

Проверьте, находятся ли узлы данных в режиме вывода из эксплуатации, проверяя веб-интерфейс.

Ввод в эксплуатацию узла данных

Работает так же, как при выводе из эксплуатации

yarn-site.xml

 <property>
  <name>yarn.resourcemanager.nodes.include-path</name>
  <value>$YOUR_PATH/dfs.include</value>
  <final>true</final>
</property> 
 

hdfs-site.xml

 <property>
  <name>dfs.hosts</name>
  <value>$YOUR_PATH/dfs.include</value>
  <final>true</final>
</property> 
 

Откройте файл $YOUR_PATH/dfs.include и добавьте имена хостов / IP-адреса узла, который вам нужно добавить.

 yarn rmadmin  -refreshNodes
hdfs dfsadmin -refreshNodes
 

подождите некоторое время

  hdfs dfsadmin -report 
 

Теперь добавленные вами хосты находятся в списке.

Если в ваших конфигурациях отсутствуют вышеуказанные ключи, вам необходимо остановить / перезапустить диспетчер узлов и yarn после их добавления.

Используя эту процедуру, вы можете безопасно остановить узлы данных.