hadoop中最大/最小温度的python mapreduce示例
我使用给定的示例文件（https://github.com/tomwhite/hadoop-book/blob/master/input/ncdc/sample.txt）测试了这段代码。然而，当我根据我的数据文件修改映射器代码时，还原器从0%到33%，然后又回到0%。有没有人能帮我解释一下为什么会发生这种情况，或者我应该如何修改代码。我的数据看起来像：
STN---,WBAN , YEARMODA, TEMP, , DEWP, , SLP , , STP , , VISIB, , WDSP, , MXSPD, GUST, MAX , MIN ,PRCP ,SNDP , FRSHTT,
690190,13910, 20120101, 42.9,18, 29.4,18, 1033.3,18, 968.7,18, 10.0,18, 8.7,18, 15.0, 999.9, 52.5*, 31.6*, 0.00I,999.9, 000000,
共有1个答案
如果您检查作业跟踪器，我确信map任务正在失败，并且被重新调度到在另一个节点上运行（最终作业失败）。这可能是由于python脚本抛出了一个错误，所以我建议（如果您还没有这样做的话）通过映射器管道您的示例数据，看看它产生了什么。
例如，我获取了您的数据，并通过链接的python映射器运行它（使用附加的println查看提取的列：
#> cat data.csv | python map.py
EARM MXSP D
0120 15. 0
0120 15.
很明显，正如您在问题中提到的那样，映射器已经被修改了--所以您需要确保python脚本处理示例数据时没有错误。如果它运行时没有出错，那么您需要检查日志中失败的映射任务（将它们张贴到您的问题中）
-
问题内容： 我有这个设置： HTML ： CSS ： 通过此设置，它可以在iPhone上运行，但不能在浏览器中运行。 是因为我已经在meta中，也许已经在？ 问题答案： 我发现最好的方法是为较旧的浏览器编写默认CSS，因为较旧的浏览器包括5.5、6、7和8。无法读取@media。当我使用@media时，我会这样使用： 但是，您可以使用@media进行任何操作，这只是为所有浏览器构建样式时最适合我的
-
问题内容： 我有一个表，我想定义和属性。请参见下面的示例。 我现在的问题是浏览器无法使用它。如果我在它上定义它，将被忽略，如果我在一个元素内的一个元素中定义它，则内容具有正确的最小和最大宽度，但表的大小仍然相同。（所以有很多可用空间：/） 我该如何解决？ 编辑：我只是注意到问题似乎仅在表处于全屏模式时才会发生。但是，元素的最大宽度不应大于！ 例： 问题答案： 对于表单元格，应使用’width’属性
-
我是OptaPlanner的新手，尝试根据自己的需要修改现有VRP示例。 我的问题是：我想要无容量限制的VRP，如示例tutorial/test/tutorial-01-uncapacitated中所示。vrp。在实际实现中，优化器大多只使用一辆车，因为它只考虑最小化总数据量。我想改变软约束，使最大行程最小化。我的目标是平等利用车辆。 以下是实现的drools软约束： 我试图计算每辆车的距离，并为
-
问题内容： 所以基本上我正在生成随机的10000个IP地址，我想存储在HashSet中找到的所有那些IP地址，但是根据我的计算，发现了大约6000个IP地址，但是在HashSet中仅存储了700个IP地址？HashSet在存储String方面是否有任何限制。任何建议将不胜感激。 问题答案： 就您而言，没有限制（限制是数组的最大大小，即2 ** 31）。 但是，仅存储 唯一 值，因此我的猜测是您仅生
-
问题内容： 为什么会限制其大小？ 我浏览了一些链接：http : //www.coderanch.com/t/540346/java/java/maximum-size-hold- String-buffer 。 是因为count成员变量是int吗？ 假设我们有2 ^ 31-1个字符，并在其中追加了一些字符。Count成员变量将增加附加的字符数，如果Count变量已经达到最大值（2 ^ 31-1）
-
有时候希望指定两个节点之间的最小长度，可以使用minlen这个属性实现，如果必要的话，还可以使用invisible属性让这个节点隐藏。 [ Aachen ] --> [ Bonn ] --> [ Coburg ] [ Aue ] --> { minlen: 3; } [ Cuxhaven ] +--------+ +------+ +----------+ | Aachen |