映射器输出中的部件文件表示拆分？

Question

作为映射器输出而生成的部件文件是否只作为part-m-00000、Part-m-00001等工作，从而表示第一个输入拆分、第二个输入拆分等等，它们是否按顺序生成？？

Answer 1

可能不是。getSplits（）方法返回的分裂数组根据大小按顺序排序，因此最大的数组优先。这个排序的数组向下传递得更远，并为每个元素创建映射任务。因此，排序信息将在进行排序时丢失。

参考:org.apache.hadoop.MapReduce.JobSubmitter类。参见方法writesplits(..)

源代码链接：https://svn.apache.org/repos/asf/hadoop/common/trunk/hadoop-MapReduce-project/hadoop-MapReduce-client/hadoop-MapReduce-client-core/src/main/java/org/apache/hadoop/mapReduce/jobsubmitter.java

一旦确定了任务id，文件的名称就由org.apache.hadoop.mapreduce.lib.output.FileOutputFormat类中的GetDefaultWorkFileAPI决定。以下是文档：

getDefaultWorkFile

public Path getDefaultWorkFile(TaskAttemptContext context,
                               String extension)
                        throws IOException
Get the default path and filename for the output format.
Parameters:
context - the task context
extension - an extension to add to the filename
Returns:
a full path $output/_temporary/$taskid/part-[mr]-$id

这意味着“part”与任务类型后缀，'m'表示maps，'r'表示reduces和任务分区号（即任务id）。例如，生成名称的作业的第一个映射的文件将是'part-M-00000'。

Javadoc参考:https://hadoop.apache.org/docs/r2.4.1/api/org/apache/hadoop/mapreduce/lib/output/fileoutputformat.html#getDefaultWorkfile(org.apache.hadoop.mapreduce.taskAttributContext,java.lang.string）

位于org.apache.hadoop.mapred包中的较旧的FileOutputFormatAPI也以类似的方式工作。以下是参考:https://hadoop.apache.org/docs/r2.4.1/api/org/apache/hadoop/mapred/fileoutputformat.html#getUniquename（org.apache.hadoop.mapred.jobconf,java.lang.string）