将mapreduce的输出合并到另一个目录结构中

Question

我的MapReduce作业当前使用MultipleOutputs（如本文所述）以以下结构生成输出：

2013
    01
    02
    ..

2012
    01
    02
    ..

输出的基本路径是/dev/project/job1/output但是，另一个作业(job2)生成类似的数据，我希望这个作业(job1)的输出与另一个作业(job2)的输出合并。

我试图将生成的输出合并到一个公共输出目录(/dev/project/combinedoutput)中，该目录包含上述结构和两个作业的组合输出。是否有一种方法可以在作业本身中手动运行shell命令？

欣赏任何洞察力。

Answer 1

工作本身？不是真的，但是您可以在作业完成后在main函数中完成

//prior code above

job.waitForCompletion(true);

FileSystem fs = FileSystem.get(conf);

String job1Dir = "/dev/project/job1/output";
String combinedDir = "(/dev/project/combinedoutput";

Path job1Path = new Path(job1Dir+*/);


FileStatus[] job1Files = fs.globStatus(job1Path);

for(file: job1Files){
    if(file.isFile()){
        String fullFileName = file.getPath().toString();
        String belowMainDir = fullFileName.subString(job1Dir.length());
        String newFileName = combinedDir+belowMainDir+"job1";
        fs.mkdirs(new Path(newFileName.subString(0,lastIndexOf("/")));
        fs.rename(file.getPath(),new Path(combinedDir+belowMainDir+"job1");
    }
}

这应该能让你的文件转移过来。对job2做同样的操作，你应该被设置。您还可以选择更改代码，以便它将复制而不是重命名，和/或在完成后删除原始job1/job2目录。