Блог

Я хочу взять под контроль промежуточные результаты между Map и Reduce с помощью hadoop. Я бы хотел указать, куда копировать эти результаты после Карты. Я бы выбрал данные, которые будут сокращены. Таким образом, я хочу получить результаты map, прежде чем обрабатывать их в случайном порядке и сортировать, и делать то, что я хочу. Если у вас есть решение, пожалуйста, скажите мне об этом.

Спасибо

Вы можете обрабатывать данные после того, как ваш конкретный картограф получит InputSplit. Укажите логику в map функции.

1. Я хотел бы указать, куда копировать эти результаты после карты

   используйте Context класс Java и FileSystem для очистки результатов на FS (local, hdfs, ftp, …)

2. Я бы хотел выбрать данные, которые будут сокращены

   я хочу, чтобы результаты map перед обработкой перемешивались и сортировались и делали то, что я хочу

   укажите логику для вашей map функции в Mapper классе