#hadoop #mapreduce
#hadoop #mapreduce
Вопрос:
Можно ли получить доступ или прочитать промежуточные выходные файлы карты, т.е. Последовательный файл- file.out ? Я хочу прочитать файл file.out. Я использовал подход, упомянутый в этой ссылке, http://hadooptutorial.info/hadoop-sequence-files-example / , но там написано, что файл.out не является последовательным файлом.
Ответ №1:
Если вы хотите прочитать выходные данные картографа, используйте следующий аргумент конфигурации во время выполнения задания
-Dmapreduce.job.reduces = 0
Он установит количество редукторов равным 0, что приведет к разделителям 0, и в выходном каталоге будет отображаться только результат сопоставления.