运行Hadoop MapReduce作业时，如何获取文件名/文件内容作为MAP的键/值输入？

Question

我正在创建一个程序来分析PDF，DOC和DOCX文件。这些文件存储在HDFS中。

当我开始MapReduce作业时，我希望map函数将Filename作为键，将Binary
Contents作为值。然后，我想创建一个流阅读器，可以将其传递给PDF解析器库。如何实现映射阶段的键/值对是文件名/文件内容？

我正在使用Hadoop 0.20.2

这是开始工作的旧代码：

public static void main(String[] args) throws Exception {
 JobConf conf = new JobConf(PdfReader.class);
 conf.setJobName("pdfreader");

 conf.setOutputKeyClass(Text.class);
 conf.setOutputValueClass(IntWritable.class);

 conf.setMapperClass(Map.class);
 conf.setReducerClass(Reduce.class);

 conf.setInputFormat(TextInputFormat.class);
 conf.setOutputFormat(TextOutputFormat.class);

 FileInputFormat.setInputPaths(conf, new Path(args[0]));
 FileOutputFormat.setOutputPath(conf, new Path(args[1]));

 JobClient.runJob(conf);
}

我知道还有其他inputformat类型。但是，有没有一种正是我想要的？我发现文档含糊不清。如果有一个可用的，那么Map函数输入类型应该如何显示？

提前致谢！

Answer 1

解决方案是创建自己的FileInputFormat类来执行此操作。您可以从此FileInputFormat接收的FileSplit（getPath）访问输入文件的名称。确保否决FileInputformat的isSplitable以始终返回false。

您还将需要一个自定义的RecordReader，它以单个“ Record”值返回整个文件。

处理太大的文件时要小心。您将有效地将整个文件加载到RAM中，并且任务跟踪器的默认设置是仅具有200MB RAM。