#hadoop #mapreduce
#hadoop #mapreduce
Вопрос:
Я получаю следующее исключение при выполнении задания по сокращению карты в недавно созданном кластере hadoop с открытым исходным кодом. Я использую последнюю версию hadoop 3.3.0.
2020-09-03 00:58:30,068 INFO mapreduce.Job: Task Id : attempt_1599094453872_0001_m_000000_2, Status : FAILED
Container launch failed for container_1599094453872_0001_01_000004 : org.apache.hadoop.yarn.exceptions.InvalidAuxServiceException: The auxService:mapreduce_shuffle does not exist
at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:83)
at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:57)
at java.lang.reflect.Constructor.newInstance(Constructor.java:437)
at org.apache.hadoop.yarn.api.records.impl.pb.SerializedExceptionPBImpl.instantiateExceptionImpl(SerializedExceptionPBImpl.java:171)
at org.apache.hadoop.yarn.api.records.impl.pb.SerializedExceptionPBImpl.instantiateException(SerializedExceptionPBImpl.java:182)
at org.apache.hadoop.yarn.api.records.impl.pb.SerializedExceptionPBImpl.deSerialize(SerializedExceptionPBImpl.java:106)
at org.apache.hadoop.mapreduce.v2.app.launcher.ContainerLauncherImpl$Container.launch(ContainerLauncherImpl.java:163)
at org.apache.hadoop.mapreduce.v2.app.launcher.ContainerLauncherImpl$EventProcessor.run(ContainerLauncherImpl.java:394)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1160)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:635)
at java.lang.Thread.run(Thread.java:820)
В соответствии с некоторыми онлайн-предложениями я добавил следующие два свойства в yarn-site.xml и перезапустил как yarn, так и dfs. Однако оно по-прежнему выдает то же исключение, что и выше. Иногда задание завершается успешно с исключением.
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
Комментарии:
1. Вы следовали официальному предложению Hadoop? hadoop.apache.org/docs/current/hadoop-mapreduce-client /…
2. Согласно официальному предложению hadoop, я попытался ввести свойства. Я перезапустил dfs и resourcemanager. Я все еще получаю то же исключение. Теперь задание по уменьшению карты также не выполняется. Ниже приведены свойства в моем yarn-site.xml .
3. <свойство> <имя>yarn.nodemanager.aux-services</имя> <значение>mapreduc-shuffle, AuxServiceFromHDFS</значение> </свойство> <свойство> <имя>yarn.nodemanager.aux-services.mapreduce_shuffle.class </name> <значение>org.apache.hadoop.mapred. ShuffleHandler</значение> </свойство> <свойство> <имя>yarn.nodemanager.вспомогательные службы. AuxServiceFromHDFS.class </name> <значение>org.apache.auxtest. Вспомогательный сервис изhdfs2</значение> </свойство>
4. Я перепробовал почти все различные решения из Интернета. Но оно все еще не работает. Я не могу понять, что я делаю не так. Любая помощь приветствуется.
5. Я действительно застрял в этой проблеме. Любая помощь или предложения приветствуются.