Блог

Даже у меня есть аналогичное требование. Я хочу читать записи avro, имеющие некоторую схему, и выдавать значения ключей текстового типа данных, для этого мне нужно написать примеры модульных тестов MR. Я написал следующий код, но он выдает мне следующее исключение:

    org.apache.avro.AvroTypeException: Found string, expecting xyz.abc.Myschema
   at org.apache.avro.io.ResolvingDecoder.doAction(ResolvingDecoder.java:231)
   at org.apache.avro.io.parsing.Parser.advance(Parser.java:88)
   .....
   .....
  

Ниже приведена моя кодовая база в функции настройки:

 MyMapper myMapper = new MyMapper();
    mapDriver = new MapDriver<AvroKey<Myschema>, NullWritable, Text, Text>();
    mapDriver.setMapper(myMapper);
    Configuration configuration = mapDriver.getConfiguration();
    //Copy over the default io.serializations. If you don't do this then you will
    //not be able to deserialize the inputs to the mapper
    String[] strings = mapDriver.getConfiguration().getStrings("io.serializations");
    String[] newStrings = new String[strings.length  1];
    System.arraycopy( strings, 0, newStrings, 0, strings.length );
    newStrings[newStrings.length-1] = AvroSerialization.class.getName();

    //Now you have to configure AvroSerialization by sepecifying the key
    //writer Schema and the value writer schema.
    configuration.setStrings("io.serializations", newStrings);
    Text x = new Text();

    Configuration conf = mapDriver.getConfiguration();
    AvroSerialization.addToConfiguration(conf);
    AvroSerialization.setKeyWriterSchema(conf, Schema.create(Schema.Type.STRING));

    AvroSerialization.setKeyReaderSchema(conf, new Myschema().getSchema());

    Job job = new Job(conf);
    job.setMapperClass(MyMapper.class);
    job.setInputFormatClass(AvroKeyInputFormat.class);
    AvroJob.setInputKeySchema(job, new Myschema().getSchema());
    job.setOutputKeyClass((new Text()).getClass());
  

Мне нужно прочитать записи на основе avro, имеющие схему Myschema, и выдать пары значений ключей, имеющие текстовые типы данных.
Ниже приведен мой класс mapper:

     public class MyMapper extends Mapper<AvroKey<Myschema>, NullWritable, Text, Text>...

    protected void map(AvroKey<Myschema> key, NullWritable value, Context context)...
  

Может кто-нибудь проверить, есть ли какой-либо параметр конфигурации, который мне не хватает, и помочь мне?