多行文字到一张地图

Question

我一直在尝试使用Hadoop将N条线发送到单个映射。我不需要将行拆分。

我尝试使用NLineInputFormat，但是，它会将数据中的N行文本一次发送到每个映射器[在第N行之后放弃]。

我试图设置该选项，它只需要N行输入，一次将其发送到每张地图的一行：

    job.setInt("mapred.line.input.format.linespermap", 10);

我发现了一个邮件列表，建议我重写LineRecordReader :: next，但这并不是那么简单，因为内部数据成员都是私有的。

我刚刚检查了NLineInputFormat的源代码，并将其硬编码为LineReader，所以覆盖将无济于事。

另外，顺便说一句，我正在使用Hadoop 0.18与Amazon EC2 MapReduce兼容。

Answer 1

您必须 实现自己的输入格式 。您还可以定义自己的记录读取器。

不幸的是，您必须定义一个getSplits（）方法。在我看来，这比实现记录读取器更难：此方法必须实现逻辑以对输入数据进行分块。

请参见“ Hadoop-权威指南”中的以下摘录（我将永远推荐一本好书！）：

这是界面：

public interface InputFormat<K, V> {
  InputSplit[] getSplits(JobConf job, int numSplits) throws IOException;
  RecordReader<K, V> getRecordReader(InputSplit split,
                                     JobConf job, 
                                     Reporter reporter) throws IOException;
}

JobClient调用getSplits（）方法，将所需数量的地图任务作为numSplits参数传递。该数字被视为提示，因为InputFormat实现可以自由地将不同数量的拆分返回到numSplits中指定的数字。计算完分割后，客户端将其发送给作业跟踪器，该跟踪器使用其存储位置来计划地图任务以在任务跟踪器上对其进行处理。

在tasktracker上，地图任务将拆分传递到InputFormat的getRecordReader（）方法，以获取该拆分的RecordReader。RecordReader仅仅是对记录的迭代器，并且map任务使用一个来生成记录键值对，并将其传递给map函数。一个代码片段（基于MapRunner中的代码）说明了这个想法：

K key = reader.createKey();
V value = reader.createValue();
while (reader.next(key, value)) {
  mapper.map(key, value, output, reporter);
}