将 MapReduce 程序配置为仅在现有程序中运行化简器

Question

mapreduce程序是否可以配置为只执行reducer而不执行mapper[即使程序中定义了map函数]。这能仅仅通过改变工作配置来实现吗？

我想在mapduce中实现增量计算（仅将输入作为附加文件）。例如

对于字数，

如果已经在文件上执行了wordcount，之后会将更多数据附加到输入文件中。

如果再次对更新的输入文件执行wordcount，我希望只对新数据执行wordcount，并将旧结果与此合并。对于这种输出组合，我想单独执行reducer。

Answer 1

是的，你可以！，将此代码用作映射器(python_version)

< code >在sys.stdin: print i中导入sys for i in >

这将起作用，因为mapper是必须的。所以只需使用虚拟映射器打印输入的内容

我想这有帮助！

Answer 2

不，这是不可能的。Hadoop要求您执行< code>map，而< code>reduce是可选的。

如果您想进行group-by，您可以尝试使用Apache Tez并配置一个与您要存档的内容相同的DAG（可能仍然很复杂，因为您需要使用内部数据格式）。