Блог

у нас есть кластер Hadoop (кластер HDP 2.6.4 с ambari, с 5 машинами datanodes).

мы используем потоковое приложение spark (spark 2.1 выполняется поверх Hortonworks 2.6.x).

текущая ситуация такова, что приложения потоковой передачи spark выполняются на всех компьютерах datanodes

поскольку, возможно, некоторые из них известны по ярлыкам узлов yarn, мы можем включить потоковое приложение spark для запуска только на первых 2 компьютерах с узлами передачи данных

итак, если, например, мы настроили ярлыки узлов yarn на первых 2 машинах с узлами данных, то на других 3 машинах с узлами данных приложение spark запускаться не будет, поскольку ярлыки узлов yarn отключены

мой вопрос в том, возможно ли с помощью ярлыков узлов yarn также отключить HDFS на 3 последних компьютерах с узлами данных (чтобы избежать любой реплики HDFS на 3 последних узлах данных)

ссылка — http://crazyadmins.com/configure-node-labels-on-yarn

Вы можете декомиссировать datanode. Если вы сделаете это, то по определению это не является частью HDFS, что означает, что вы в основном останавливаете службы HDFS и удаляете их из кластера, что не равносильно ограничению того, какие задания выполняются на них (например, с помощью ярлыков узлов YARN)

Метки узлов определяют, какие NodeManagers запускают код, напрямую не связанный с узлами данных.

Вы могли бы запускать NodeManangers вне DataNodes, но это противоречит цели использования функции HDFS «переноса вычислений в данные», что приводит к замедлению выполнения заданий