#apache #hadoop #hive #hortonworks-data-platform
#apache #hadoop #улей #hortonworks-платформа данных
Вопрос:
мой куст выходит из строя, когда я пытаюсь запустить задание TEZ в терминале. Я установил HDP 2.1 на кластер с 5 узлами. ОПЕРАЦИОННАЯ система: Redhat Enterprise
Кто может мне помочь? 🙂
Журнал из трекера приложений:
HDP: 2.1
User: hdfs
Name: HIVE-9fd632e5-d76a-4e0a-8845-0c1f0af52f5c
Application Type: TEZ
Application Tags:
State: FAILED
FinalStatus: FAILED
Started: 1-Jul-2014 12:03:22
Elapsed: 4sec
Tracking URL: History
Diagnostics:
Application application_1404208879507_0002 failed 2 times due to AM Container for appattempt_1404208879507_0002_000002 exited with exitCode: 1 due to: Exception from container- launch: org.apache.hadoop.util.Shell$ExitCodeException:
org.apache.hadoop.util.Shell$ExitCodeException:
at org.apache.hadoop.util.Shell.runCommand(Shell.java:505)
at org.apache.hadoop.util.Shell.run(Shell.java:418)
at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:650)
at org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor.launchContainer(DefaultContainerExecu tor.java:195)
at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch .java:300)
at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch .java:81)
at java.util.concurrent.FutureTask.run(FutureTask.java:262)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
at java.lang.Thread.run(Thread.java:745)
Container exited with a non-zero exit code 1
.Failing this attempt.. Failing the application.
И в терминале:
Total jobs = 1
Launching Job 1 out of 1
Tez session was closed. Reopening...
Session re-established.
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.tez.TezTask
Ответ №1:
Причиной может быть то, что идентификатор пользователя, выполняющего задание, не может быть меньше 1000. Перейдите к файлам журнала TaskTracker, чтобы посмотреть, есть ли сообщение типа:
INFO org.apache.hadoop.mapred.TaskController: Reading task controller configuration /etc/hadoop/taskcontroller.cfg
INFO. org.apache.hadoop.mapred.TaskController: requested user
hdfs has id 201, which is below the minimum allowed 1000
Если это так, то вы можете сделать следующее:
usermod -u 10000 hdfs
Комментарии:
1. Извините, не сработало, я отредактировал свой пост с дополнительной информацией 🙂
2. Я думаю, что Tez просто очень нестабилен. Выберите только * из без того, где в данный момент работают пункты.. Я вошел в систему как HDFS в Hue и запустил обычный select * from … запрос. Спасибо за ваш быстрый ответ!
Ответ №2:
Я думаю, что Tez просто очень нестабилен. Выберите только * из без того, где в данный момент работают пункты.. Я вошел в систему как HDFS в Hue и запустил обычный select * from … запрос. Спасибо за ваш быстрый ответ!
Ответ №3:
Строка «Сбой приложения application_1404208879507_0002 2 раза из-за контейнера AM для» показывает, что, скорее всего, не удалось запустить мастер приложения Tez. Это может быть связано с различными причинами.
Проще всего искать причину в журналах приложений, полученных путем вызова «bin / yarn logs -applicationId application_1404208879507_0002». Наиболее распространенной проблемой, вызывающей это, обычно является ошибка установки / конфигурации, приводящая к ошибкам ClassNotFound при запуске процесса Java.