问题：
hadoop映射任务重启时减少完成80%
戚永福
我在一个大约50个节点的集群上运行2.2.0上的hadoop，我的工作是64个map任务和20个reduce任务。map在大约30分钟内完成，然后所有reduce任务都在运行，但是我发现一个奇怪的日志是这样的：
14/10/08 21:41:04 INFO mapreduce.Job: map 37% reduce 10%
14/10/08 21:41:05 INFO mapreduce.Job: map 38% reduce 11%
14/10/08 21:41:07 INFO mapreduce.Job: map 39% reduce 12%
14/10/08 21:41:08 INFO mapreduce.Job: map 40% reduce 12%
14/10/08 21:41:09 INFO mapreduce.Job: map 41% reduce 12%
14/10/08 21:41:10 INFO mapreduce.Job: map 42% reduce 12%
14/10/08 21:41:12 INFO mapreduce.Job: map 44% reduce 12%
14/10/08 21:41:14 INFO mapreduce.Job: map 45% reduce 12%
14/10/08 21:41:16 INFO mapreduce.Job: map 46% reduce 13%
14/10/08 21:41:18 INFO mapreduce.Job: map 48% reduce 13%
14/10/08 21:41:21 INFO mapreduce.Job: map 49% reduce 13%
14/10/08 21:41:22 INFO mapreduce.Job: map 50% reduce 13%
14/10/08 21:41:25 INFO mapreduce.Job: map 51% reduce 14%
14/10/08 21:41:29 INFO mapreduce.Job: map 52% reduce 15%
14/10/08 21:41:34 INFO mapreduce.Job: map 52% reduce 16%
14/10/08 21:41:38 INFO mapreduce.Job: map 53% reduce 17%
14/10/08 21:41:53 INFO mapreduce.Job: map 53% reduce 18%
14/10/08 21:42:09 INFO mapreduce.Job: map 54% reduce 18%
14/10/08 21:42:18 INFO mapreduce.Job: map 55% reduce 18%
14/10/08 21:42:37 INFO mapreduce.Job: map 56% reduce 18%
14/10/08 21:42:49 INFO mapreduce.Job: map 56% reduce 19%
14/10/08 21:42:53 INFO mapreduce.Job: map 57% reduce 19%
14/10/08 21:42:57 INFO mapreduce.Job: map 58% reduce 19%
14/10/08 21:42:59 INFO mapreduce.Job: map 59% reduce 19%
14/10/08 21:43:00 INFO mapreduce.Job: map 60% reduce 19%
14/10/08 21:43:05 INFO mapreduce.Job: map 61% reduce 19%
14/10/08 21:43:06 INFO mapreduce.Job: map 62% reduce 19%
14/10/08 21:43:09 INFO mapreduce.Job: map 62% reduce 20%
14/10/08 21:43:13 INFO mapreduce.Job: map 63% reduce 20%
14/10/08 21:43:16 INFO mapreduce.Job: map 63% reduce 21%
14/10/08 21:43:19 INFO mapreduce.Job: map 64% reduce 21%
14/10/08 21:43:36 INFO mapreduce.Job: map 65% reduce 21%
14/10/08 21:43:42 INFO mapreduce.Job: map 66% reduce 21%
14/10/08 21:43:44 INFO mapreduce.Job: map 67% reduce 22%
14/10/08 21:44:00 INFO mapreduce.Job: map 68% reduce 22%
14/10/08 21:44:09 INFO mapreduce.Job: map 70% reduce 22%
14/10/08 21:44:12 INFO mapreduce.Job: map 70% reduce 23%
14/10/08 21:44:18 INFO mapreduce.Job: map 71% reduce 23%
14/10/08 21:44:24 INFO mapreduce.Job: map 72% reduce 23%
14/10/08 21:44:28 INFO mapreduce.Job: map 72% reduce 24%
14/10/08 21:44:35 INFO mapreduce.Job: map 73% reduce 24%
14/10/08 21:44:44 INFO mapreduce.Job: map 74% reduce 24%
14/10/08 21:44:50 INFO mapreduce.Job: map 75% reduce 24%
14/10/08 21:44:51 INFO mapreduce.Job: map 76% reduce 24%
14/10/08 21:44:54 INFO mapreduce.Job: map 77% reduce 25%
14/10/08 21:45:00 INFO mapreduce.Job: map 78% reduce 25%
14/10/08 21:45:07 INFO mapreduce.Job: map 78% reduce 26%
14/10/08 21:45:15 INFO mapreduce.Job: map 79% reduce 26%
14/10/08 21:45:17 INFO mapreduce.Job: map 80% reduce 26%
14/10/08 21:45:20 INFO mapreduce.Job: map 81% reduce 26%
14/10/08 21:45:24 INFO mapreduce.Job: map 82% reduce 26%
14/10/08 21:45:27 INFO mapreduce.Job: map 83% reduce 26%
14/10/08 21:45:29 INFO mapreduce.Job: map 83% reduce 27%
14/10/08 21:45:34 INFO mapreduce.Job: map 85% reduce 27%
14/10/08 21:45:37 INFO mapreduce.Job: map 86% reduce 27%
14/10/08 21:45:42 INFO mapreduce.Job: map 86% reduce 28%
14/10/08 21:45:43 INFO mapreduce.Job: map 88% reduce 28%
14/10/08 21:45:45 INFO mapreduce.Job: map 89% reduce 28%
14/10/08 21:45:47 INFO mapreduce.Job: map 89% reduce 29%
14/10/08 21:45:56 INFO mapreduce.Job: map 89% reduce 30%
14/10/08 21:45:58 INFO mapreduce.Job: map 90% reduce 30%
14/10/08 21:46:00 INFO mapreduce.Job: map 91% reduce 30%
14/10/08 21:46:06 INFO mapreduce.Job: map 92% reduce 30%
14/10/08 21:46:10 INFO mapreduce.Job: map 92% reduce 31%
14/10/08 21:46:12 INFO mapreduce.Job: map 93% reduce 31%
14/10/08 21:46:24 INFO mapreduce.Job: map 94% reduce 31%
14/10/08 21:48:02 INFO mapreduce.Job: map 95% reduce 31%
14/10/08 21:48:12 INFO mapreduce.Job: map 95% reduce 32%
14/10/08 21:48:13 INFO mapreduce.Job: map 96% reduce 32%
14/10/08 21:48:22 INFO mapreduce.Job: map 97% reduce 32%
14/10/08 21:49:00 INFO mapreduce.Job: map 98% reduce 32%
14/10/08 21:49:09 INFO mapreduce.Job: map 98% reduce 33%
14/10/08 21:49:19 INFO mapreduce.Job: map 99% reduce 33%
14/10/08 21:49:22 INFO mapreduce.Job: map 100% reduce 33%
14/10/08 21:49:27 INFO mapreduce.Job: map 100% reduce 34%
14/10/08 21:49:28 INFO mapreduce.Job: map 100% reduce 37%
14/10/08 21:49:29 INFO mapreduce.Job: map 100% reduce 40%
14/10/08 21:49:30 INFO mapreduce.Job: map 100% reduce 42%
14/10/08 21:49:32 INFO mapreduce.Job: map 100% reduce 44%
14/10/08 21:49:33 INFO mapreduce.Job: map 100% reduce 46%
14/10/08 21:49:34 INFO mapreduce.Job: map 100% reduce 48%
14/10/08 21:49:35 INFO mapreduce.Job: map 100% reduce 49%
14/10/08 21:49:36 INFO mapreduce.Job: map 100% reduce 54%
14/10/08 21:49:37 INFO mapreduce.Job: map 100% reduce 55%
14/10/08 21:49:39 INFO mapreduce.Job: map 100% reduce 58%
14/10/08 21:49:40 INFO mapreduce.Job: map 100% reduce 59%
14/10/08 21:49:41 INFO mapreduce.Job: map 100% reduce 60%
14/10/08 21:49:42 INFO mapreduce.Job: map 100% reduce 61%
14/10/08 21:49:44 INFO mapreduce.Job: map 100% reduce 62%
14/10/08 21:49:46 INFO mapreduce.Job: map 100% reduce 63%
14/10/08 21:49:48 INFO mapreduce.Job: map 100% reduce 64%
14/10/08 21:49:50 INFO mapreduce.Job: map 100% reduce 65%
14/10/08 21:49:56 INFO mapreduce.Job: map 100% reduce 66%
14/10/08 21:50:03 INFO mapreduce.Job: map 100% reduce 67%
14/10/08 21:52:11 INFO mapreduce.Job: map 100% reduce 68%
14/10/08 21:56:12 INFO mapreduce.Job: map 100% reduce 69%
14/10/08 22:00:35 INFO mapreduce.Job: map 100% reduce 71%
14/10/08 22:00:40 INFO mapreduce.Job: map 100% reduce 72%
14/10/08 22:00:55 INFO mapreduce.Job: map 100% reduce 74%
14/10/08 22:01:09 INFO mapreduce.Job: map 100% reduce 75%
14/10/08 22:01:14 INFO mapreduce.Job: map 100% reduce 77%
14/10/08 22:02:23 INFO mapreduce.Job: map 100% reduce 78%
14/10/08 22:02:37 INFO mapreduce.Job: map 100% reduce 80%
14/10/08 22:03:32 INFO mapreduce.Job: map 100% reduce 82%
14/10/08 22:04:14 INFO mapreduce.Job: map 100% reduce 83%
14/10/08 22:04:43 INFO mapreduce.Job: map 100% reduce 85%
14/10/08 22:08:11 INFO mapreduce.Job: map 100% reduce 86%
14/10/08 22:08:45 INFO mapreduce.Job: map 100% reduce 88%
14/10/08 22:09:53 INFO mapreduce.Job: map 100% reduce 89%
14/10/08 22:11:21 INFO mapreduce.Job: map 100% reduce 91%
14/10/08 22:11:44 INFO mapreduce.Job: map 100% reduce 92%
14/10/08 22:13:23 INFO mapreduce.Job: map 100% reduce 94%
14/10/08 22:13:25 INFO mapreduce.Job: map 100% reduce 95%
14/10/08 22:15:21 INFO mapreduce.Job: map 100% reduce 97%
14/10/08 22:18:14 INFO mapreduce.Job: map 97% reduce 98%
14/10/08 22:18:15 INFO mapreduce.Job: map 97% reduce 100%
14/10/08 22:19:14 INFO mapreduce.Job: map 97% reduce 95%
14/10/08 22:19:15 INFO mapreduce.Job: map 97% reduce 90%
14/10/08 22:19:27 INFO mapreduce.Job: map 97% reduce 91%
14/10/08 22:19:35 INFO mapreduce.Job: map 97% reduce 92%
14/10/08 22:20:36 INFO mapreduce.Job: map 97% reduce 93%
14/10/08 22:34:55 INFO mapreduce.Job: map 94% reduce 93%
14/10/08 22:35:20 INFO mapreduce.Job: map 95% reduce 93%
14/10/08 22:40:46 INFO mapreduce.Job: map 96% reduce 93%
14/10/08 22:40:55 INFO mapreduce.Job: map 97% reduce 93%
14/10/08 22:40:59 INFO mapreduce.Job: map 97% reduce 94%
14/10/08 22:41:12 INFO mapreduce.Job: map 97% reduce 95%
14/10/08 22:51:43 INFO mapreduce.Job: map 98% reduce 95%
14/10/08 22:52:52 INFO mapreduce.Job: map 99% reduce 95%
14/10/08 22:53:01 INFO mapreduce.Job: map 100% reduce 95%
14/10/08 22:53:03 INFO mapreduce.Job: map 100% reduce 96%
14/10/08 22:53:28 INFO mapreduce.Job: map 100% reduce 97%
14/10/08 22:57:19 INFO mapreduce.Job: map 100% reduce 98%
14/10/08 23:09:55 INFO mapreduce.Job: map 100% reduce 100%
14/10/08 23:10:00 INFO mapreduce.Job: Job job_1412772687841_0019 completed successfully
共有1个答案
相洛华
如果您的一个节点在两个作业之间死亡，就会发生这种情况。
例如，一个任务跟踪器正在做一个任务，它完成了50%。它通过心跳更新作业跟踪器。那么如果该节点死亡,进度将丢失,作业将必须重新启动。这可能会导致总体完成率下降。
类似资料：
-
问题内容： 我刚刚开始使用hadoop / hbase MapReduce工作（使用cloudera），但我有以下问题： 假设我们有一个带有主要和静态viariable的java类。该类定义与Mapper和Reducer任务相对应的内部类。在启动作业之前，主程序初始化静态变量。在Mapper类中读取此变量。然后使用群集上的“ hadoop jar”启动该类。 我的问题：我看不到其他节点上的Map和
-
我刚开始处理一些Hadoop/HBase MapReduce作业（使用cloudera)，我有以下问题： 我的问题是：我不明白其他节点上的Map和Reduce任务是如何看到那个静态变量的。是否存在允许节点共享jvm或静态变量的“Hadoop魔术”？这怎么能起作用呢？我必须在一个类上做这件事，我不知道在一个非单节点集群中这是怎么行的。谢谢你
-
如果我执行以下“连接”两个流的代码 < li >首先通过平面映射< code >流 我在两种情况下都获得了相同的正确结果，但过滤操作的次数不同。 我在两种情况下都得到了预期的结果(3)。但是，第一个操作对集合的每个元素应用第一个过滤器，而第二个操作在遇到一个过滤器时就停止。输出是: 为什么两者之间的行为有所不同？JDK代码在第一个场景中是否可以改进为与第二个场景中一样高效，或者是否有一些东西使其不
-
问题内容： 我的问题对于HADOOP用户而言似乎很愚蠢。但是我对在地图减少问题中使用泛型感到困惑，例如“ WORD COUNT”。 我知道，泛型被基本用于类型转换和类型安全。但是我不能在这里将这个概念联系起来。 在字数问题上， 请任何人在这里让我明白泛型的使用 。如果我在问这个问题时犯了任何错误，请纠正我。 现在，我了解将泛型用于键值对（KEY IN，VALUE IN，KEY OUT，VALUE
-
我是hadoop的新手，我阅读了许多hadoop mapreduce和hdfs的页面，但仍然无法明确一个概念。 也许这个问题是愚蠢的或不寻常的，如果真是如此的话。我的问题是，假设我在hadoop中为一个大小为1GB的文件创建了一个单词计数程序，其中map函数将把每一行作为输入，输出作为键值对，reduce函数将输入作为键值，并简单地迭代列表，计算单词进入该文件的总次数。 现在我的问题是，因为这个文
-
我在单个节点上使用hadoop 1.0.1，并尝试使用python 2.7流式传输制表符分隔的文件。我可以让Michael Noll的字数计数脚本使用hadoop/python运行，但无法让这个极其简单的映射器和减速器工作，只是复制文件。这是映射器： 这是减速器： 以下是输入文件的一部分： mapper和reducer在linux中运行良好： 但在我修改映射器和reducer之后，将输入文件移动到