Блог

Я создаю веб-сайт на основе Python CGI, который позволяет мне настраивать кластер Hadoop. Мне было интересно, есть ли какой-либо способ проверить, присутствует ли уже готовый кластер? Потому что я хочу ограничить веб-сайт созданием только одного кластера за раз. Я хочу знать, существует ли автономный кластер.

Единственная идея, которая у меня пока есть, это сохранить флаг в файл при создании кластера и изменить его значение при удалении кластера.

Адитья — Убедитесь, что ваши порты Hadoop прослушиваются на компьютере. По умолчанию hdfs запускается под портом 9000, аналогичным образом вы можете исправить порты по умолчанию для hadoop и отфильтровать их в соответствии с вашими требованиями.

Создайте уникальную идентификацию в каталоге метаданных HDFS. или перечислите файл hadoop conf (core-site, hdfs-site ….) в каждом каталоге. Это обязательные элементы для hadoop.

Вы можете получить его в переменных среды / Classpath или использовать эту команду hadoop version . Это сработает, когда переменные пути (%HADOOP_HOME%) правильно настроены.Для этого не требуется, чтобы какие-либо службы hadoop находились в запущенном состоянии, скорее, на этом компьютере настроена соответствующая переменная среды.