将reducers设置为默认，但最后我有两个文件

Question

我正在运行一个map reduce作业，其中的reducer数设置为默认值（一个reducer）。理论上，输出必须是每个reducer一个文件，但当我运行我的作业时，我有两个文件

零件-R-00000

而且

public class DriverDate extends Configured implements Tool {

    @Override
    public int run(String[] args) throws Exception {
        if (args.length != 2) {
            System.out.printf("Usage: AvgWordLength inputDir outputDir\n");
            System.exit(-1);
        }
            Job job = new Job(getConf());
            job.setJobName("Job transformacio dates");

            job.setJarByClass(DriverDate.class);
            job.setMapperClass(MapDate.class);
            job.setReducerClass(ReduceDate.class);

            job.setMapOutputKeyClass(Text.class);
            job.setMapOutputValueClass(NullWritable.class);

            job.setOutputKeyClass(Text.class);
            job.setOutputValueClass(NullWritable.class);


            FileInputFormat.setInputPaths(job, new Path(args[0]));


            FileOutputFormat.setOutputPath(job, new Path(args[1]));

            job.waitForCompletion(true);

        return 0;
    }

    public static void main(String[] args) throws Exception{
        Configuration conf = new Configuration();
        ToolRunner.run(conf,new DriverDate(), args);
    }

}

Answer 1

这段代码应该生成一个输出文件是正确的，因为reduce任务的默认数量是1，每个reducer生成一个输出文件。

然而，可能出了问题的事情包括（但不限于）：

>

在生成jar时，请确保运行正确的jar，并确保更新正确的jar。确保您将正确的jar从生成它的计算机复制到（单节点）集群的主机。例如，在您的说明中，您说用法:AvgWordLength inputDir OutputDir，但是这个jar的名称不太可能是AvgWordLength...

确保您没有从命令行指定不同数量的还原器（例如，通过使用a-d属性）。

除此之外，我找不到其他可能的原因...

群集中的节点数是不相关的。