如何在Hadoop程序的映射器中获取输入文件名？

Question

如何在映射器中获取输入文件的名称？我有多个输入文件存储在输入目录中，每个映射器可能读取不同的文件，我需要知道映射器读取了哪个文件。

Answer 1

如果您使用的是Hadoop Streaming，那么可以在流作业的mapper/reducer中使用JobConf变量。

至于mapper的输入文件名，请参阅配置参数部分，map.input.file变量（map正在读取的文件名）是可以完成工作的。但请注意：

注意：在流作业的执行过程中，“mapred”参数的名称会被转换。点（.）变成下划线。例如，mapred。工作id变为mapred_job_id和mapred。jar变成mapred_jar。要在流作业的mapper/reducer中获取值，请使用带下划线的参数名称。

例如，如果您使用的是Python，那么您可以将这一行放在mapper文件中：

import os
file_name = os.getenv('map_input_file')
print file_name

Answer 2

在地图绘制程序中使用此选项：

FileSplit fileSplit = (FileSplit)context.getInputSplit();
String filename = fileSplit.getPath().getName();

编辑：

如果您想通过旧的API在configure（）中执行此操作，请尝试以下操作：

String fileName = new String();
public void configure(JobConf job)
{
   filename = job.get("map.input.file");
}

Answer 3

首先，需要使用较新的mapreduce API对输入进行拆分，具体操作如下：

context.getInputSplit();

但是为了获取文件路径和文件名，您需要首先将结果类型转换为FileSplit。

因此，为了获得输入文件路径，您可以执行以下操作：

Path filePath = ((FileSplit) context.getInputSplit()).getPath();
String filePathString = ((FileSplit) context.getInputSplit()).getPath().toString();

类似地，要获取文件名，可以只调用getName（），如下所示：

String fileName = ((FileSplit) context.getInputSplit()).getPath().getName();