Блог

У меня есть картограф, объединитель и редуктор. Как я знаю, объединение происходит перед этапом перемешивания и сортировки. Но, в моем случае, выходные данные из mapper поступают отсортированными в объединитель.

 hadoop jar hadoop_streeaming.jar 
        -input some_folder 
        -output some_folder 
        -mapper mapper.py 
        -combiner combine.py 
        -file mapper.py 
        -file combine.py
  

Я хочу, чтобы результаты от Mapper поступали в объединитель не отсортированными.

Например:

У меня есть этот текст:

 mary
has
a
big
cat
  

этот текст поступает в объединитель в такой форме:

 a
big
cat
has
mary
  

Но я не хочу, чтобы выходные данные были отсортированы до объединителя.