Не удается получить доступ к cloudera manager на порту 7180

#amazon-web-services #hadoop #cloudera-manager

Вопрос:

Установка Cloudera Manager на экземпляре AWS EC2, следуя официальной инструкции:

http://www.cloudera.com/documentation/archive/manager/4-x/4-6-0/Cloudera-Manager-Installation-Guide/cmig_install_on_EC2.html

Я успешно запускаю .bin пакет, но когда я захожу IP:7180 , браузер сообщает, что мой доступ был запрещен … Почему…

Я попытался подтвердить статус cm server : service cloudera-scm-server status . Сначала он сказал

cloudera-scm-server is dead and pid file exists

В файле журнала указано "unknown host ip-10-0-0-110" , что затем я добавляю сопоставление между ip-10-0-0-110 и EC2 instance **public** ip . Затем restart служба scm-сервера. Он мог работать нормально, но IP: 7180 оставался недоступным, говоря ERR_CONNECTION_REFUSED . Я удалил iptables и закрыл свои окна firewall .

Через несколько минут cloudera-scm-server is dead and pid file exists снова появился…

Использование: tail -40 /var/log/cloudera-scm-server/cloudera-scm-server.out

JAVA_HOME=/usr/lib/jvm/java-7-oracle-cloudera Java HotSpot (TM) 64-разрядная серверная виртуальная машина предупреждение: ИНФОРМАЦИЯ: сбой операционной системы:: commit_memory(0x0000000794223000, 319201280, 0); ошибка = ‘Не удается выделить память’ (errno = 12)

Недостаточно памяти для продолжения работы среды выполнения Java. Не удалось выделить 319201280 байт встроенной памяти (malloc) для выделения зарезервированной памяти. Файл отчета об ошибке с дополнительной информацией сохраняется как: /tmp/hs_err_pid5523.log

1. Проверьте брандмауэр

2. @KrishnaChaitanyaReddy Привет ~~ Я удалил iptables , но доступ по-прежнему запрещен.. кстати, я использовал протокол tcp для группы безопасности, в этом причина?

Ответ №1:

Какой тип экземпляра EC2 вы используете? Ошибка довольно описательная и указывает на то, что CM не может получить доступ к памяти. Возможно, вы используете тип экземпляра со слишком маленьким объемом оперативной памяти.

Кроме того, документы, на которые вы ссылаетесь, устарели. Последние документы по развертыванию CDH5 в облаке можно найти здесь: https://www.cloudera.com/documentation/director/latest/topics/director_get_started_aws.html

В этих документах также рекомендуется использовать Cloudera Director, что значительно упростит развертывание и настройку вашего кластера.

1. Вот и все! Я не заметил, что у бесплатного экземпляра есть только 1 гб памяти… Я воссоздаю экземпляр с большим объемом памяти и теперь могу войти в cloudera manager. Но что меня смутило, так это то, что теперь CM говорит, что экземпляр не может получить сигнал от агента. Я прочитал журнал, в нем говорится unknown host..... , что я создаю экземпляр, но у него есть только общедоступный IP-адрес без общедоступного DNS. Не могли бы вы рассказать мне, как решить эту проблему?

2. Сколько узлов, кроме CM, вы используете или развернули? через какой процесс вы прошли для их развертывания? Я бы предложил добавлять узлы, используя их частные IP-адреса, а не общедоступные IP-адреса.