如何在单个MapReaver中读取多种类型的Avro数据

Question

我有两种不同类型的Avro数据，它们有一些公共字段。我想在映射器中读取这些公共字段。我想通过在集群中生成单个作业来阅读本文。

下面是示例avro模式

模式1：

{“type”：“record”，“name”：“Test”，“namespace”：“com.abc.schema.SchemaOne”，“doc”：“Avro使用MR.存储模式”，“fields”：[{“name”：“EE”，“type”：“string”，“default”：null}，{“name”：“AA”，“type”：[“null”，“long”]，“default”：null}，{“name”：“BB”，“type”：[“null”，“string”]，“default”：null}，{“name”：“CC”，“type”：[“null”，“string”；“null”，“string”；“default

模式2：

{“type”：“record”，“name”：“Test”，“namespace”：“com.abc.schema.SchemaTwo”，“doc”：“Avro使用MR.存储模式”，“fields”：[{“name”：“EE”，“type”：“string”，“default”：null}，{“name”：“AA”，“type”：[“null”，“long”]，“default”：null}，{“name”：“CC”，“type”：[“null”，“string”]，“default”：null}，{“name”：“DD

驾驶员等级：

package com.mango.schema.aggrDaily;

import java.util.Date;
import org.apache.avro.Schema;
import org.apache.avro.mapred.AvroJob;
import org.apache.avro.mapred.Pair;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.conf.Configured;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.mapred.FileInputFormat;
import org.apache.hadoop.mapred.FileOutputFormat;
import org.apache.hadoop.mapred.JobClient;
import org.apache.hadoop.mapred.JobConf;
import org.apache.hadoop.mapred.RunningJob;
import org.apache.hadoop.util.Tool;
import org.apache.hadoop.util.ToolRunner;

public class AvroDriver extends Configured implements Tool {

    @Override
    public int run(String[] args) throws Exception {

        JobConf conf = new JobConf(super.getConf(), getClass());
        conf.setJobName("DF");

        args[0] = "hdfs://localhost:9999/home/hadoop/work/alok/aggrDaily/data/avro512MB/part-m-00000.avro";
        args[1] = "/home/hadoop/work/alok/tmp"; // temp location
        args[2] = "hdfs://localhost:9999/home/hadoop/work/alok/tmp/10";

        FileInputFormat.addInputPaths(conf, args[0]);
        FileOutputFormat.setOutputPath(conf, new Path(args[2]));

        AvroJob.setInputReflect(conf);
        AvroJob.setMapperClass(conf, AvroMapper.class);

        AvroJob.setOutputSchema(
                conf,
                Pair.getPairSchema(Schema.create(Schema.Type.STRING),
                        Schema.create(Schema.Type.INT)));

        RunningJob job = JobClient.runJob(conf);

        return 0;
    }

    public static void main(String[] args) throws Exception {
        long startTime = new Date().getTime();
        System.out.println("Start Time :::::" + startTime);
        Configuration conf = new Configuration();
        int exitCode = ToolRunner.run(conf, new AvroDriver(), args);
        long endTime = new Date().getTime();
        System.out.println("End Time :::::" + endTime);
        System.out.println("Total Time Taken:::"
                + new Double((endTime - startTime) * 0.001) + "Sec.");
        System.exit(exitCode);
    }
}

映射器类：

package com.mango.schema.aggrDaily;

import java.io.IOException;
import org.apache.avro.generic.GenericData;
import org.apache.avro.mapred.AvroCollector;
import org.apache.avro.mapred.AvroMapper;
import org.apache.avro.mapred.Pair;
import org.apache.hadoop.mapred.Reporter;

public class AvroMapper extends
        AvroMapper<GenericData, Pair<CharSequence, Integer>> {

    @Override
    public void map(GenericData record,
        AvroCollector<Pair<CharSequence, Integer>> collector, Reporter reporter) throws IOException {
        System.out.println("record :: " + record);
    }

}

通过设置输入模式，我可以用这段代码读取Avro数据。

AvroJob。setInputSchema（conf，new AggrDaily（）。getSchema（））

由于Avro数据在数据中内置了模式，我不想将特定的模式显式地传递给作业。我在猪身上做到了这一点。但现在我想在MapReduce中实现同样的效果。

有人能帮我通过MR代码实现这一点吗？或者让我知道我哪里出错了？




Answer 1

我们不能使用org.apache.hadoop.mapreduce.lib.input.MultipleIn来读取多个avro数据，因为每个avro输入都有一个与其关联的模式，并且当前上下文只能存储其中一个输入的模式。所以其他映射器将无法读取数据。

HCatInputFormat也是如此（因为每个输入都有一个与之关联的模式）。但是，在Hcatalog 0.14以后的版本中，有相同的规定。

AvroMultipleIn可以用来完成相同的。它只适用于特定映射和反射映射。它可从版本1.7.7起。

Answer 2

由*组织。阿帕奇。hadoop。mapreduce。自由党。输入多输入类我们可以通过单个MR作业读取多个avro数据