#hadoop #configuration #ip
#hadoop #конфигурация #ip
Вопрос:
мои кластеры hadoop не работают нормально из-за условий сети.Что, если я изменю всю сеть, например, другой маршрутизатор, таким образом, изменив IP-адреса? могут ли кластеры по-прежнему работать, обновляя некоторые конфигурации? или я должен разорвать его и все перестроить? Заранее спасибо
Ответ №1:
Это работает, как только вы меняете IP-адреса в конфигурации, почему вы не использовали DNS?
Хорошо, это был не очень хороший ответ, позвольте мне извиниться и дать лучший ответ. Если вам нужно изменить конфигурацию в работающем кластере, вы можете вывести из эксплуатации и ввести в эксплуатацию узлы данных.
Отключение узла данных не является хорошей идеей.
Вывод узла данных из эксплуатации
Первый шаг — сообщить yarn, что вы собираетесь удалить некоторые узлы, затем вы должны сказать то же самое диспетчеру узлов.
Я не знаю, настроена ли ваша система на вывод из эксплуатации, если это так, у вас есть ключ yarn.resourcemanager.nodes.exclude-path
в yarn-site.xml
и dfs.hosts.exclude
в hdfs-site.xml
hdfs-site.xml
<property>
<name>dfs.hosts.exclude</name>
<value>$YOUR_PATH/dfs.exclude</value>
<final>true</final>
</property>
yarn-site.xml
<property>
<name>dfs.hosts.exclude</name>
<value>$YOUR_PATH/dfs.exclude</value>
<final>true</final>
</property>
Откройте файл $YOUR_PATH/dfs.exclude
и добавьте имена хостов / IP-адреса узла, который вам нужно остановить.
выполнить
yarn rmadmin -refreshNodes
hdfs dfsadmin -refreshNodes
Проверьте, находятся ли узлы данных в режиме вывода из эксплуатации, проверяя веб-интерфейс.
Ввод в эксплуатацию узла данных
Работает так же, как при выводе из эксплуатации
yarn-site.xml
<property>
<name>yarn.resourcemanager.nodes.include-path</name>
<value>$YOUR_PATH/dfs.include</value>
<final>true</final>
</property>
hdfs-site.xml
<property>
<name>dfs.hosts</name>
<value>$YOUR_PATH/dfs.include</value>
<final>true</final>
</property>
Откройте файл $YOUR_PATH/dfs.include
и добавьте имена хостов / IP-адреса узла, который вам нужно добавить.
yarn rmadmin -refreshNodes
hdfs dfsadmin -refreshNodes
подождите некоторое время
hdfs dfsadmin -report
Теперь добавленные вами хосты находятся в списке.
Если в ваших конфигурациях отсутствуют вышеуказанные ключи, вам необходимо остановить / перезапустить диспетчер узлов и yarn после их добавления.
Используя эту процедуру, вы можете безопасно остановить узлы данных.
Комментарии:
1. не совсем понимаю, не могли бы вы объяснить подробно? Большое спасибо
2. Если вам нужно изменить все IP-адреса компьютеров в вашем кластере, это единственное, что вам нужно изменить. Объяснять нечего.
3. Моя искренняя благодарность! Раньше не ожидал такого подробного ответа, он определенно поможет в ближайшем будущем.