Hadoop选项没有任何作用（mapreduce.input.lineinputformat.linespermap，mapred.max.map.failures.percent）

Question

我正在尝试实现MapReduce作业，其中每个映射器将占用150行文本文件，并且所有映射器将同时运行。此外，无论有多少个地图任务失败，它都不应失败。

这是配置部分：

        JobConf conf = new JobConf(Main.class);
        conf.setJobName("My mapreduce");

        conf.set("mapreduce.input.lineinputformat.linespermap", "150");
        conf.set("mapred.max.map.failures.percent","100");

        conf.setInputFormat(NLineInputFormat.class);

        FileInputFormat.addInputPath(conf, new Path(args[0]));
        FileOutputFormat.setOutputPath(conf, new Path(args[1]));

问题是hadoop为每一行文本创建了一个映射器，它们似乎是按顺序运行的，如果单个失败，则作业将失败。

由此推断，我应用的设置没有任何效果。

我做错什么了？

Answer 1

如果您想快速找到hadoop新api选项的正确名称，请使用以下链接：http
:
//pydoop.sourceforge.net/docs/examples/intro.html#hadoop-0-21-0-notes。