PySpark使用IAM角色访问S3

Question

我想知道PySpark是否支持使用IAM角色进行S3访问。具体来说，我有一个业务限制，我必须承担AWS角色才能访问给定的存储桶。使用boto时可以这样做（因为它是API的一部分），但我无法找到关于PySpark是否支持开箱即用的明确答案。

理想情况下，我希望能够在本地以独立模式运行时扮演一个角色，并将我的SparkContext指向该s3路径。我发现非IAM呼叫通常会随之而来：

spark_conf = SparkConf().setMaster('local[*]').setAppName('MyApp')
sc = SparkContext(conf=spark_conf)
rdd = sc.textFile('s3://<MY-ID>:<MY-KEY>@some-bucket/some-key')

是否存在提供IAM信息的类似内容？：

rdd = sc.textFile('s3://<MY-ID>:<MY-KEY>:<MY-SESSION>@some-bucket/some-key')

或

rdd = sc.textFile('s3://<ROLE-ARN>:<ROLE-SESSION-NAME>@some-bucket/some-key')

如果没有，使用IAM creds的最佳实践是什么？有可能吗？

我正在使用Python 1.7和PySpark 1.6.0

谢谢

Answer 1

Spark支持对S3中文件的IAM基于角色的访问，您只需小心配置即可。具体而言，您需要：

• aws java sdk和hadoop aws的兼容版本。这是非常脆弱的，所以只有特定的组合才能工作
• 您必须使用S3AFileSystem，而不是NativeS3FileSystem。前者允许基于角色的访问，而后者只允许用户凭据

要了解哪些组合有效，请在此处转到mvnrepository上的hadoop-aws。单击hadoop-aws的版本，您可以查找aws-java-sdk编译依赖项的版本。

要了解您使用的hadoop-aws版本，您可以在PySpark中执行：

sc._gateway.jvm.org.apache.hadoop.util.VersionInfo.getVersion()

其中，sc是SparkContext

这就是对我有用的：

import os
import pyspark
from pyspark import SparkContext
from pyspark.sql import SparkSession

os.environ['PYSPARK_SUBMIT_ARGS'] = '--packages com.amazonaws:aws-java-sdk:1.7.4,org.apache.hadoop:hadoop-aws:2.7.1 pyspark-shell'

sc = SparkContext.getOrCreate()

hadoopConf = sc._jsc.hadoopConfiguration()
hadoopConf.set("fs.s3a.impl", "org.apache.hadoop.fs.s3a.S3AFileSystem")

spark = SparkSession(sc)

df = spark.read.csv("s3a://mybucket/spark/iris/",header=True)
df.show()

正是aws java sdk:1.7.4和hadoop aws:2.7.1的具体组合使其工作。这里有很好的s3a访问故障排除指南

特别注意

随机更改hadoop-和aws-JAR以希望使问题“消失”或访问您想要的功能，不会导致您想要的结果。

这里有一篇有用的帖子，包含更多信息。

这里有一些关于java库之间兼容性的更有用的信息

我想在jupyter pyspark笔记本中实现这一点。请注意，aws hadoop版本必须与Dockerfile（即此处）中的hadoop安装相匹配。

Answer 2

Hadoop 2.8的s3a连接器通过一个新的凭证提供者支持IAM角色；它不在Hadoop 2.7版本中。

要使用它，您需要更改凭据提供程序。

fs.s3a.aws.credentials.provider = org.apache.hadoop.fs.s3a.TemporaryAWSCredentialsProvider
fs.s3a.access.key = <your access key>
fs.s3a.secret.key = <session secret>
fs.s3a.session.token = <session token>

Hadoop 2.7（默认情况下启用）中的内容是提取AWS\uuuz环境变量。

如果您在本地系统和远程系统上设置会话登录的AWS环境变量，那么它们应该会被拾取。

我知道这很痛苦，但就Hadoop团队而言，Hadoop 2.7于2016年年中发布，自那以后，我们已经做了很多，我们不会放弃这些东西

Answer 3

用于访问s3的IAM角色仅由s3a支持，因为它使用的是AWS SDK。

您需要将hadoop aws和aws java sdk（以及包中的第三方JAR）放入类路径中。

hadoop-aws链接。

aws java sdk链接。

然后在core-site.xml中设置：

<property>
    <name>fs.s3.impl</name>
    <value>org.apache.hadoop.fs.s3a.S3AFileSystem</value>
</property>
<property>
    <name>fs.s3a.impl</name>
    <value>org.apache.hadoop.fs.s3a.S3AFileSystem</value>
</property>