Hadoop：只在映射器中获取一次输入文件名

Question

我是hadoop新手，目前正在hadoop上工作。我有一个小问题。

我在输入文件夹中有大约10个文件，我需要将其传递给我的地图缩减程序。我希望我的映射器中的文件名称，因为我的文件名称包含创建此文件的时间。我看到人们使用FileSplit在映射器中获取文件名称。如果假设我的输入文件包含数百万行，那么每次调用映射器代码时，它都会获取文件名称，然后从文件中提取时间，对于同一个文件来说，这显然是一件重复耗时的事情。一旦我在映射器中获得时间，我就不必一次又一次地从文件中分配时间。

我如何才能实现这一点？

Answer 1

您可以使用Mapper的setup方法来获取文件名，因为setup方法在map（）方法初始化之前只需运行一次：

java prettyprint-override">public class MapperRSJ extends Mapper<LongWritable, Text, CompositeKeyWritableRSJ, Text> {
  String filename;

  @Override
  protected void setup(Context context) throws IOException, InterruptedException {
    FileSplit fsFileSplit = (FileSplit) context.getInputSplit();
    filename = context.getConfiguration().get(fsFileSplit.getPath().getParent().getName()));
  }

  @Override
  public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
    // process each key value pair
  }
}