使用Spark读取S3文件时提供AWS_PROFILE

Question

我希望我的Spark应用程序（Scala）能够读取S3文件

spark.read.parquet("s3://my-bucket-name/my-object-key")

在我的开发机器上，我可以使用awscli访问S3文件在~/. aws/config或~/. aws/凭据中预先配置的配置文件，例如：

aws --profile my-profile s3 ls s3://my-bucket-name/my-object-key

但是当尝试从Spark读取这些文件时，使用作为env变量提供的aws_配置文件（aws_配置文件），我得到了以下错误：

DoesBucket存在于我的bucket名称中：com.amazonaws.AmazonClientException:BasicAWSCredentialsProvider环境变量CredentialsProvider SharedInstanceProfileCredentialsProvider:com.amazonaws.sdkClientxception:无法从服务endpoint加载凭据

还尝试将概要文件作为JVM选项提供（-Daws.profile=my profile），但没有成功。

谢谢你的阅读。

Answer 1

如果在将fs.s3a.aws.credentials.provider设置为之后仍然出现问题com.amazonaws.auth.profile.并正确设置AWS_PROFILE，这可能是因为您正在使用不支持上述配置的Hadoop 2。

因此，我找到的唯一解决办法是升级到Hadoop 3。

查看本文和Hadoop文档了解更多信息。

Answer 2

解决方案是提供spark属性：fs.s3a.aws.credentials.provider，将其设置为com.amazonaws.auth.profile.ProfileCredentialsProvider。如果我可以更改代码以构建Spark会话，则类似于：

SparkSession
    .builder()
    .config("fs.s3a.aws.credentials.provider","com.amazonaws.auth.profile.ProfileCredentialsProvider")
    .getOrCreate()

另一种方法是提供JVM选项-Dspark.hadoop.fs.s3a.aws.credentials.provider=com.amazonaws.auth.profile.ProfileCredentialsProvider
*注意前缀spark.hadoop