Блог

Главная - Вопросы по программированию - Как я могу запросить сервер истории заданий Hadoop?

Как я могу запросить сервер истории заданий Hadoop?

#java #hadoop #hadoop-yarn

#java #hadoop #hadoop-yarn

Вопрос:

Я хочу запросить JHS, чтобы убедиться, что он не отключен.

Если бы я хотел сделать это для ResourceManager, я мог бы выполнить Cluster.getClusterStatus() . Это вызовет RM и вернет ошибку, если мы не сможем связаться с кластером.

Как я могу сделать то же самое для сервера истории заданий?

Комментарии:

1. Похоже, что сервер истории заданий имеет REST API. Вы пробовали использовать его для пинга службы? Я предполагаю, что он вернет определенный код, если он не работает. hadoop.apache.org/docs/r2.4.1/hadoop-yarn/hadoop-yarn-site /…

2. Есть ли у меня способ получить URL-адрес сервера истории заданий? Лучшее, что я могу найти, это Cluster.getJobHistoryUrl , но мне нужно передать ему JobID . У меня нет доступа client , поэтому я не могу позвонить client.getJobHistoryDir() напрямую.

3. Я не совсем уверен. попробуйте использовать свой namenode с портом 19888 в форме: http://<адрес namenode>:19888/ или http://<адрес namenode>:19888/jobhistory