Блог

У меня есть сценарий для вычисления среднего значения двух столбцов в map reduce. Итак, что я сделал, я получил значения из файла с помощью mapper и объединил их в текст, а затем попытался записать их в контекст, как показано ниже.

 class TestMapper extends Mapper<LongWritable, Text, Text, Text> {
  private Text outputKey;
  private Text outputVal;


  @Override
  public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
  
  //more code here

context.write(outputkey,OutputVal);


    
  }
} 

Здесь вы должны использовать пользовательский тип данных, например, класс TextPair, который имеет два текстовых элемента для хранения необходимых вам данных. Ниже приведен пример кода, который используется для вывода пары строк в значении контекста mapper.

 // Mapper's map code
protected void map(LongWritable key, Text value, Mapper<LongWritable, Text, Text, TextPair>.Context context)
        throws IOException, InterruptedException {

    String line = value.toString();
    String year = line.substring(15, 19);
    int airTemperature;
    if (line.charAt(87) == ' ') { // parseInt doesn't like leading plus signs
      airTemperature = Integer.parseInt(line.substring(88, 92));
    } else {
      airTemperature = Integer.parseInt(line.substring(87, 92));
    }
    String quality = line.substring(92, 93);
    if (airTemperature != MISSING amp;amp; quality.matches("[01459]")) {
        System.out.println("Year " year " " airTemperature);
      context.write(new Text(year), new TextPair(String.valueOf(airTemperature),1));
    }
 

// Text Pair — пользовательский код типа данных ниже

 public class TextPair implements WritableComparable<TextPair> {

private Text first;
private Text second;

//Default constructor is a must
public TextPair() {
    this.first=new Text();
    this.second=new Text();
}

public TextPair(String first,int second) {
    try {
        this.first=new Text(first);
        this.second=new Text(String.valueOf(second));
    }catch(Exception ex) {
        System.out.println("Exception occurred " ex.getCause());
    }

}

// Other methods such as compare, equals, hashcode, write, readFields etc implementation also needs to done

public Text getFirst() {
    return first;
}

public Text getSecond() {
    return second;
}

@Override
public String toString() {
    return this.first "t" this.second "t";
}

}
 

Если вам нужна еще более подробная информация, обратитесь к Окончательному руководству Hadoop. Надеюсь, это поможет.