（python）Spark.textfile(s3:/…)使用有效凭据访问被拒绝403

Question

为了访问我的S3 bucket，我导出了我的cred

export AWS_SECRET_ACCESS_KEY=
export AWS_ACCESSS_ACCESS_KEY=

我可以通过做

aws s3 ls mybucket

我还可以用boto3验证它在python中工作

resource = boto3.resource("s3", region_name="us-east-1")
resource.Object("mybucket", "text/text.py") \
            .put(Body=open("text.py", "rb"),ContentType="text/x-py")

我可以看到文件在桶里。

然而，当我使用Spark执行此操作时：

spark_context = SparkContext()
sql_context = SQLContext(spark_context)
spark_context.textFile("s3://mybucket/my/path/*)

我得到了一个很好的

> Caused by: org.jets3t.service.S3ServiceException: Service Error
> Message. -- ResponseCode: 403, ResponseStatus: Forbidden, XML Error
> Message: <?xml version="1.0"
> encoding="UTF-8"?><Error><Code>InvalidAccessKeyId</Code><Message>The
> AWS Access Key Id you provided does not exist in our
> records.</Message><AWSAccessKeyId>[MY_ACCESS_KEY]</AWSAccessKeyId><RequestId>XXXXX</RequestId><HostId>xxxxxxx</HostId></Error>

这是我在本地提交作业的方式

spark-submit--packages com.amazonaws:aws--sdk-pom:1.11.98,org.apache.hadoop:hadoop-aws:2.7.3test.py

为什么它能用命令行+boto3工作，但spark却被阻塞了？

编辑：

使用S3A://与

hadoopConf = spark_context._jsc.hadoopConfiguration()
hadoopConf.set("fs.s3a.access.key", "xxxx")
hadoopConf.set("fs.s3a.secret.key", "xxxxxxx")
hadoopConf.set("fs.s3a.impl", "org.apache.hadoop.fs.s3a.S3AFileSystem")

使用aws-sdk 1.7.4和hadoop 2.7.2也存在同样的问题

Answer 1

Spark会自动将您的AWS凭据复制到s3n和s3a机密。Apache Spark版本不涉及s3://URL，就像在Apache Hadoop中一样，s3://模式与最初的s3客户机相关联，该客户机现在已被弃用，它与其他任何东西都不兼容。

在亚马逊EMR上，s3://与亚马逊EMR S3绑定；EC2虚拟机将自动为执行程序提供秘密。所以我不认为它与env var传播机制有关。还可能是它如何设置身份验证链，您不能覆盖EC2/IAM数据。

如果您试图与S3对话，并且不是运行在EMR VM中，那么您可能是在Apache Hadoop JAR中使用Apache Spark，而不是EMR版本。在世界范围内，使用带有s3a://URL来获取最新的S3客户端库

如果这不起作用，请查看apache文档的故障排除部分。这里有一个关于“403”的部分，包括故障排除的推荐步骤。这可能是由于类路径/JVM版本问题以及凭据问题，甚至是客户机和AWS之间的时钟偏斜。