如何在Hadoop-.20 API中指定KeyValueTextInputFormat分隔符？

Question

在新的API（apache.hadoop.mapreduce.KeyValueTextInputFormat）中，如何指定制表符（默认值）以外的分隔符（定界符）来分隔键和值。

样本输入：

one,first line
two,second line

需要的输出量：

Key : one
Value : first line
Key : two
Value : second line

我将KeyValueTextInputFormat指定为：

    Job job = new Job(conf, "Sample");

    job.setInputFormatClass(KeyValueTextInputFormat.class);
    KeyValueTextInputFormat.addInputPath(job, new Path("/home/input.txt"));

对于制表符作为分隔符，这工作正常。

Answer 1

在较新的API中，您应该使用mapreduce.input.keyvaluelinerecordreader.key.value.separator配置属性。

这是一个例子：

Configuration conf = new Configuration();
conf.set("mapreduce.input.keyvaluelinerecordreader.key.value.separator", ",");

Job job = new Job(conf);
job.setInputFormatClass(KeyValueTextInputFormat.class);
// next job set-up