同一文件中两个不同键的化简器输出值

Question

嗨，我写了一个mapreduce作业，它一般解析XML文件。我能够解析XML文件并正确生成所有键值对。我有6个不同的键和相应的值。所以我并行运行6个不同的减速器。

现在我面临的问题是，reducer将两个不同的键 - 值对放在同一个文件中，其余4个键值放在单个文件中。因此，简而言之，在化简器输出的6个文件中，我得到了4个具有单键值对的文件和1个具有两个键值对的文件以及1个没有任何内容的文件。

我尝试在Google和各种论坛上进行研究，我得出的唯一结论是我需要一个分区器来解决这个问题。我是新的hadoop，所以有人可以阐明这个问题并帮助我解决这个问题。

我正在开发一个伪节点集群，并使用Java作为编程语言。我不能在这里分享代码，但仍然试图简要描述问题。

如果需要更多信息，请提前告诉我，谢谢。

Answer 1

默认情况下，Hadoop使用默认的哈希分区程序 - 单击此处，类似于

public class HashPartitioner<K2, V2> implements Partitioner<K2, V2> {

  public void configure(JobConf job) {}

  /** Use {@link Object#hashCode()} to partition. */
  public int getPartition(K2 key, V2 value,
                          int numReduceTasks) {
    return (key.hashCode() & Integer.MAX_VALUE) % numReduceTasks;
  }

}

密钥哈希码（）

这一行本身就有问题——两个这样的语句可能会返回相同的数字。因此，两个不同的键可能会指向同一个减速器。例如-

("go".hashCode() & Integer.MAX_VALUE) % 6

将返回您4，

("hello".hashCode() & Integer.MAX_VALUE) % 6

也会退还你4英镑。

所以，我在这里建议的是，如果你想确保你的6个键被6个不同的归约器处理，你需要创建你自己的划分器来得到你想要的。

如果您有任何困惑，并且您使用Job类指定了如下所示的自定义分区器，请查看创建自定义分区器的链接。

< code>job.setPartitioner(

希望这能有所帮助。

Answer 2

对于6个减缩器，只有6个密钥并不是hadoop的最佳利用——虽然6个减减缩器中的每一个都使用单独的减缩器是很好的，但这并不能保证。

键不能在化简器之间拆分，因此，如果您拥有的键少于 6 个，则只有一部分化简器需要执行任何工作。您应该考虑重新考虑您的键分配（也许输入文件适合hadoop），并且可能使用一个系统，以便有足够的键在化简器之间均匀分布。

编辑：我相信您可能想要的是MultipleOutputFormat，它具有方法generateFileNameForKeyValue（key，value，name）允许您生成一个文件，以每个key写入，而不是每个Reducer。