具有多个输出的Hadoop MapReduce递归？
嗨，我有一个map-reduce程序，它在每个递归步骤中获取reducer的输出。但我还需要在每次递归中输出另一个结果。
输入1---
输出1---
输出2---
输出3---
作为我需要的最终输出：输出11，输出22，输出33，输出44和输出4
像这样，每个步骤都有两个输出文件，其中一个用于下一次迭代，另一个用于输出。
我正在使用序列文件作为文本输入格式。
任何帮助，谢谢。
共有1个答案
您可以为每个递归步骤创建一个映射减少作业，并将1个递归步骤的输出文件用于下一个映射减少作业
-
给定一个将消息发布到两个不同主题的Kafka流拓扑，是否可以保证在这两个分支中执行各个步骤的顺序，或者这些分支是完全分开并并行执行的？ 在本例中，是否会在调用< code>mapTwo或向output-topic-two发布消息之前执行< code>mapOne并发布到output-topic-one？换句话说，能否保证在消息发布到output-topic-two之前完成< code>mapOne
-
问题内容： 给定一个预测变量向量时，我有一个问题要处理两个输出。假设预测变量矢量看起来像，它是坐标，并且是附加到出现坐标的其他属性。基于这个预测变量集，我想进行预测。这是一个时间序列问题，我正在尝试使用多元回归解决。我的问题是如何设置keras，这可以在最后一层为我提供2个输出。 问题答案：
-
问题内容： 我正在使用SQL Server 2008 R2 SP1。我想通过“走树”来递归地为某个组织单位找到第一个非空经理。 我有一个包含组织单位“ ORG”的表，一个包含每个组织的父母的表。“ ORG”中的部门，将其称为表“”，其中一个表包含每个组织部门的经理，将其称为“ ”。 ORG具有一列ORG_ID： ORG_PARENTS有两列。 管理器有两列。 我正在尝试创建一个递归查询，该查询将为
-
问题内容： 我下面有以下代码示例。你可以在其中输入的命令，即回显结果。但是，先读后。其他输出流不起作用？ 为什么会这样或我做错了什么？我的最终目标是创建一个线程计划任务，该任务定期执行对/ bash的命令，因此必须一前一后工作，而不能停止工作。我也一直在经历错误的任何想法？ 谢谢。 问题答案： 首先，我建议更换生产线 与线 ProcessBuilder是Java 5中的新增功能，它使运行外部进程更
-
问题内容： 有谁知道如何在具有 多个 功能的groupby.agg（）中传递参数？ 最重要的是，我想将其与自定义函数一起使用，但是我将使用需要参数的内置函数来询问我的问题。 假设： 我该怎么做： 作为“分位数”的参数： 问题答案： 使用功能： 或者可以创建函数并将其名称设置为自定义列名称：
-
问题内容： 我想在Java中实现具有多个值的哈希表，即 并且将返回2倍的值。 我怎样才能做到这一点？ 问题答案： 您可以改用Multimap。它在列表中为一个键保留多个值。在commons- collection 和Guava中有实现。 这类似于使用值是列表的Hashmap，但是不必显式创建列表。 自己动手做的同一示例如下所示： 请注意，您可以将Multimap用作构建器，并对其调用asMap以返