在Hadoop中使用空可写的优点

Question

与使用空文本（即新文本（空））相比，对空键/值使用空可写值有什么优势？我从“Hadoop：权威指南”一书中看到了以下内容。

NullWritable是一种特殊类型的可写，因为它具有零长度序列化。没有字节写入流或从流读取。它用作占位符；例如，在MapReduce中，键或值可以声明为＜code＞可空写SequenceFile中的键。它是一个不可变的单例：可以通过调用＜code＞NullWritable.get（）来检索实例

我不太明白如何使用< code>NullWritable写出输出？在开始的输出文件中是否会有一个常量值指示该文件的键或值为< code>null，以便MapReduce框架可以忽略读取< code>null键/值(无论哪个是< code>null)？另外，< code>null文本实际上是如何序列化的呢？

谢谢，

文卡特

Answer 1

您可以始终将字符串包装在自己的可写类中，并用一个布尔值来指示它是否包含空字符串:

@Override
public void readFields(DataInput in) throws IOException { 
    ...
    boolean hasWord = in.readBoolean();
    if( hasWord ) {
        word = in.readUTF();
    }
    ...
}

和

@Override
public void write(DataOutput out) throws IOException {
    ...
    boolean hasWord = StringUtils.isNotBlank(word);
    out.writeBoolean(hasWord);
    if(hasWord) {
        out.writeUTF(word);
    }
    ...
}

Answer 2

我改变跑步方法。和成功

@Override
public int run(String[] strings) throws Exception {
    Configuration config = HBaseConfiguration.create();  
    //set job name
    Job job = new Job(config, "Import from file ");
    job.setJarByClass(LogRun.class);
    //set map class
    job.setMapperClass(LogMapper.class);

    //set output format and output table name
    //job.setOutputFormatClass(TableOutputFormat.class);
    //job.getConfiguration().set(TableOutputFormat.OUTPUT_TABLE, "crm_data");
    //job.setOutputKeyClass(ImmutableBytesWritable.class);
    //job.setOutputValueClass(Put.class);

    TableMapReduceUtil.initTableReducerJob("crm_data", null, job);
    job.setNumReduceTasks(0);
    TableMapReduceUtil.addDependencyJars(job);

    FileInputFormat.addInputPath(job, new Path(strings[0]));

    int ret = job.waitForCompletion(true) ? 0 : 1;
    return ret;
}

Answer 3

键/值类型必须在运行时给出，因此任何写入或读取NullWritables的内容都将提前知道它将处理该类型；文件中没有标记或任何东西。从技术上讲，NullWritables是“读取”的，只是“读取”一个NullWritable实际上是一种禁止操作。您可以自己看到根本没有写入或读取任何内容：

NullWritable nw = NullWritable.get();
ByteArrayOutputStream out = new ByteArrayOutputStream();
nw.write(new DataOutputStream(out));
System.out.println(Arrays.toString(out.toByteArray())); // prints "[]"

ByteArrayInputStream in = new ByteArrayInputStream(new byte[0]);
nw.readFields(new DataInputStream(in)); // works just fine

至于您关于< code>new Text(null)的问题，您也可以尝试一下:

Text text = new Text((String)null);
ByteArrayOutputStream out = new ByteArrayOutputStream();
text.write(new DataOutputStream(out)); // throws NullPointerException
System.out.println(Arrays.toString(out.toByteArray()));

Text对于nullString根本不起作用。