使用Python映射器进行Hadoop流传输的多个输出文件

Question

我的用例如下：

我有一个仅地图的mapreduce作业，该作业需要一个输入文件，进行了大量的解析和调整，然后再写回。但是，某些行的格式可能正确也可能不正确，如果是这样，我想将原始行写入单独的文件中。

看来，执行此操作的一种方法是将文件名添加到我正在打印的行的前面，并使用multipleOutputFormat参数。例如，如果我最初有：

if line_is_valid(line):
    print name + '\t' + comments

我可以改为：

if line_is_valid(line):
    print valid_file_name + '\t' + name + '\t' + comments
else:
    print err_file_name + '\t' + line

此解决方案唯一的问题是我不希望file_name显示为文本文件的第一列。我想然后我可以运行另一项工作来删除每个文件的第一列，但这似乎很愚蠢。所以：

1）这是使用python mapreduce作业管理多个输出文件的正确方法吗？

2）摆脱该初始列的最佳方法是什么？

Answer 1

您可以执行类似以下的操作，但是它涉及一些Java编译，如果您希望用Python来完成用例，我认为这应该不是问题-
就Python而言，据我所知，这不可能直接实现根据您的用例要求在单个作业中从最终输出中跳过文件名。但是，下面显示的内容可以轻松实现！

这是需要编译的Java类-

package com.custom;
 import org.apache.hadoop.fs.Path;
 import org.apache.hadoop.io.Text;
 import org.apache.hadoop.mapred.lib.MultipleTextOutputFormat;

 public class CustomMultiOutputFormat extends MultipleTextOutputFormat<Text, Text> {
        /**
        * Use they key as part of the path for the final output file.
        */
       @Override
       protected String generateFileNameForKeyValue(Text key, Text value, String leaf) {
             return new Path(key.toString(), leaf).toString();
       }

       /**
        * We discard the key as per your requirement
        */
       @Override
       protected Text generateActualKey(Text key, Text value) {
             return null;
       }
 }

编译步骤：

1. 完全将文本保存到文件（没有其他名称） CustomMultiOutputFormat.java
2. 当您在上面保存的文件所在的目录中时，键入-

$JAVA_HOME/bin/javac -cp $(hadoop classpath) -d . CustomMultiOutputFormat.java

1. 尝试执行上述命令之前，请确保将JAVA_HOME设置为/ path / to / your / SUNJDK。

2. 使用（精确键入）制作您的custom.jar文件-

$JAVA_HOME/bin/jar cvf custom.jar com/custom/CustomMultiOutputFormat.class

1. 最后，像这样运行您的工作-

hadoop jar /path/to/your/hadoop-streaming-*.jar -libjars custom.jar -outputformat com.custom.CustomMultiOutputFormat -file your_script.py -input inputpath --numReduceTasks 0 -output outputpath -mapper your_script.py

完成这些操作后，您应该在 输出路径中 看到两个目录，一个目录带有 有效文件名 ，另一个目录具有 err_file_name
。所有具有有效文件名作为标记的记录都将进入valid_file_name目录，而所有具有err_file_name的记录将进入err_file_name目录。

我希望所有这些都是有道理的。