必须实现Hadoop MapReduce RecordReader？

Question

对于许多应用程序来说，基于输入大小的逻辑拆分是不够的，因为要尊重记录边界。在这种情况下，应用程序还必须实现一个RecordReader，该RecordReader负责尊重记录边界，并向单个任务呈现逻辑输入拆分的面向记录的视图。

WordCount示例应用程序中基于输入大小的逻辑拆分是否不足？如果是，在源代码中的什么地方可以找到RecordReader的实现？

Answer 1

输入拆分是对数据的逻辑引用。如果您查看API，可以看到它对记录边界一无所知。为每个输入拆分启动映射器。映射器的map()对每个记录（在WordCount程序中，文件中的每一行）运行。

但是映射器如何知道记录边界在哪里呢？

这就是您引用Hadoop MapReduce InputFormat接口的地方-

[L]基于输入大小的逻辑分裂对于许多应用是不够的，因为记录边界必须得到尊重。

这意味着，对于例如

a b c d e
f g h i j
k l m n o

我们希望每句台词都能成为一张唱片。当逻辑拆分基于输入大小时，可能会有两个拆分，例如：

a b c d e
f g 

    h i j 
k l m n 0