Блог

Главная - Вопросы по программированию - Исключение Hadoop FileAlreadyExistsException: Выходной каталог hdfs: //:9000/input уже существует

Исключение Hadoop FileAlreadyExistsException: Выходной каталог hdfs: //:9000/input уже существует

#java #hadoop #amazon-ec2 #jar #mapreduce

#java #hadoop #amazon-ec2 #jar #mapreduce

Вопрос:

У меня есть настройка Hadoop в полностью распределенном режиме с одним ведущим и 3 подчиненными устройствами. Я пытаюсь выполнить файл jar с именем Tasks.jar, который принимает arg[0] в качестве входного каталога и arg[1] в качестве выходного каталога.

В моей среде Hadoop входные файлы находятся в каталоге /input, а каталога /output нет.

Я проверил вышеизложенное с помощью hadoop fs -ls / команды

Теперь, когда я пытаюсь выполнить свой файл jar с помощью приведенной ниже команды:

 hadoop jar Tasks.jar ProgrammingAssigment/Tasks /input /output'

Я получаю приведенное ниже исключение:

 ubuntu@ip-172-31-5-213:~$ hadoop jar Tasks.jar ProgrammingAssignment/Tasks /input /output
16/10/14 02:26:23 INFO client.RMProxy: Connecting to ResourceManager at ec2-52-55-2-64.compute-1.amazonaws.com/172.31.5.213:8032
Exception in thread "main" org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory hdfs://ec2-52-55-2-64.compute-1.amazonaws.com:9000/input already exists
    at org.apache.hadoop.mapreduce.lib.output.FileOutputFormat.checkOutputSpecs(FileOutputFormat.java:146)
    at org.apache.hadoop.mapreduce.JobSubmitter.checkSpecs(JobSubmitter.java:266)
    at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:139)
    at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1290)
    at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1287)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:415)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1657)
    at org.apache.hadoop.mapreduce.Job.submit(Job.java:1287)
    at org.apache.hadoop.mapreduce.Job.waitForCompletion(Job.java:1308)
    at ProgrammingAssignment.Tasks.main(Tasks.java:96)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:606)
    at org.apache.hadoop.util.RunJar.run(RunJar.java:221)
    at org.apache.hadoop.util.RunJar.main(RunJar.java:136)

Комментарии:

1. покажите нам основной метод Tasks.jar

Ответ №1:

Трассировка стека отображается как hdfs://ec2-52-55-2-64.compute-1.amazonaws.com:9000/input , в вашем выходном каталоге кода упоминается как /input , поэтому произошло вышеупомянутое исключение. возможно, вам потребуется изменить выходной каталог или изменить имя входного каталога в hdfs.

Комментарии:

1. Я попытался изменить имя, и я получаю ту же ошибку

2. Измените выходной каталог в вашем файле jar.

Ответ №2:

Убедитесь, что /input был передан в качестве вашего входного каталога, но не выходного каталога. Через исключение

org.apache.hadoop.mapreduce.lib.output.FileOutputFormat.checkOutputSpecs

/ввод считался вашим направлением вывода.

Метки: