hadoop在哪里存储映射器、分区器和组合器的输出文件？
我在一个伪分布式hadoop设置上运行mapreduce作业。在哪里可以找到映射器、分割器和合并器的输出文件？有办法检查每个操作的输出吗？
共有1个答案
MapReduce中的中间输出存储在运行任务的节点上的本地临时存储中(不在HDFS)。
您可以在Hadoop.conf中查找本地临时目录，然后逐个节点手动检查它们。
一般来说，可能有更好的方法通过日志消息或计数器来执行您认为想要执行的操作。您可以做的另一件事是关闭还原器，以便您的映射器直接写入HDFS，以便您可以检查它。
-
我遇到了一个非常非常奇怪的问题。还原器确实工作，但如果我检查输出文件，我只能找到映射器的输出。当我尝试调试时，在将映射器的输出值类型从Longwritable更改为Text之后，我发现了与单词计数示例相同的问题 这是结果。 然后我在输出文件中发现了奇怪的结果。这个问题发生在我将map的输出值类型和reducer的输入键类型更改为Text之后，无论我是否更改了reduce输出值的类型。我还被迫更改j
-
我使用的是hadoop版本0.20和hadoop-core:1.2.0.jar 有没有可能使用新的hadoop API做到这一点？
-
你好，我正在尝试实现java hadoop应用程序。我想制作映射器 我在主类中有这样的配置: 在这里，我必须说将使用哪个输出键和输出值。有没有可能将其设置为 ok 对于映射器使用此输出键和值，但对于组合器使用不同的？ 非常感谢您的回答
-
我正在从mapper生成两个输出文件。我使用Multipleoutput api生成两个输出。我不确定这样做是否正确。这是我的代码。。请仔细检查一下，给我你的建议。。当我运行代码时，我得到了一个错误：java。lang.NullPointerException。。 这是日志... 错误：java。com上的lang.NullPointerException。尼尔森。grfe。Export\u Co
-
我在1.1GB文件上运行Hadoop MapReduce多次，使用不同数量的映射器和化简器（例如，1个映射器和1个化简器，1个映射器和2个化简器，1个映射器和4个化简器，...） Hadoop安装在具有超线程的四核机器上。 以下是按最短执行时间排序的前 5 个结果： 1 - 8 个化简器和 1 - 8 个映射器的结果：列 = 映射器行数 = 化简器数 （1）当我有8个映射器时，程序运行速度似乎稍快
-
我正在编写一个映射函数，它将键生成为一些user_id，值也是文本类型。我是这样做的 然后，在主程序中，我将映射器的输出类设置为： 因此，即使我将输出值的类设置为text.class，但在编译时仍然会出现以下错误：