hadoop将结果从hdfs复制到S3

Question

我已经成功地完成了在Amazon EMR上的工作，现在我想将结果从HDFS复制到S3，但是我遇到了一些问题

这是代码（--steps）

{
    "Name":"AAAAA",
    "Type":"CUSTOM_JAR",
    "Jar":"command-runner.jar",
    "ActionOnFailure":"CONTINUE",
    "Args": [
        "s3-dist-cp",
        "--src", "hdfs:///seqaddid_output",
        "--dest", "s3://wuda-notebook/seqaddid"
    ]  
}

这是日志：

Answer 1

当CopyFilesReducer使用多个CopyFilesRunable实例从S3下载文件时，该bug似乎是由竞争条件引起的。问题是它在多个线程中使用相同的临时目录，线程在完成时删除临时目录。因此，当一个线程在另一个线程之前完成时，它会删除另一个线程仍在使用的临时目录。

我已经向AWS报告了这个问题，但与此同时，您可以通过在作业配置中将变量s3distcp.copyfiles.mapper.numworkers设置为1，强制精简器使用单个线程来解决这个bug。