无法使用Hadoop访问S3 bucket

Question

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>s3://[ Bucket ]</value>
    </property>

    <property>
            <name>fs.s3a.endpoint</name>
            <value>s3.eu-central-1.amazonaws.com</value>
    </property>

    <property>
        <name>fs.s3a.access.key</name>
        <value>[ Access Key Id ]</value>
    </property>

    <property>
        <name>fs.s3a.secret.key</name>
        <value>[ Secret Access Key ]</value>
    </property>

    <property>
        <name>fs.s3.awsAccessKeyId</name>
        <value>[ Access Key Id ]</value>
    </property>

    <property>
        <name>fs.s3.awsSecretAccessKey</name>
        <value>[ Secret Access Key ]</value>
    </property>

    <property>
        <name>fs.s3n.awsAccessKeyId</name>
        <value>[ Access Key Id ]</value>
    </property>

    <property>
        <name>fs.s3n.awsSecretAccessKey</name>
        <value>[ Secret Access Key ]</value>
    </property>

    <property>
        <name>fs.s3.impl</name>
        <value>org.apache.hadoop.fs.s3a.S3AFileSystem</value>
    </property>

    <!-- Comma separated list of local directories used to buffer
         large results prior to transmitting them to S3. -->
    <property>
        <name>fs.s3.buffer.dir</name>
        <value>/tmp</value>
    </property>
</configuration>

有人知道这是什么问题吗？

编辑：bucket和访问它的VM都在法兰克福。它看起来与https://docs.hortonworks.com/hdpdocuments/hdcloudaws/hdcloudaws-1.8.0/bk_hdcloud-aws/content/s3-trouble/index.html类似，但添加了endpoint之后，它仍然不起作用。

Answer 1

听起来像是V4身份验证问题，fs.s3a.endpoint属性应该已经解决了这个问题

时钟问题也会引起问题。检查Joda时间，确保你所有的机器都赶上了这个周末的时钟变化。

也可以尝试抓取Hadoop 2.8.0 RC3，然后看看问题是否已经消失。如果它仍然存在，那就是要在apache列表中请求帮助的版本。