доступ к выходным файлам промежуточной карты hadoop

#hadoop #mapreduce

#hadoop #mapreduce

Вопрос:

Можно ли получить доступ или прочитать промежуточные выходные файлы карты, т.е. Последовательный файл- file.out ? Я хочу прочитать файл file.out. Я использовал подход, упомянутый в этой ссылке, http://hadooptutorial.info/hadoop-sequence-files-example / , но там написано, что файл.out не является последовательным файлом.

Ответ №1:

Если вы хотите прочитать выходные данные картографа, используйте следующий аргумент конфигурации во время выполнения задания

 -Dmapreduce.job.reduces = 0
  

Он установит количество редукторов равным 0, что приведет к разделителям 0, и в выходном каталоге будет отображаться только результат сопоставления.