我应该如何在s3上使用Spark加载文件？

Question

我通过pip install pyspark安装了spark

from pyspark.sql import SparkSession

spark = SparkSession.builder \
            .config('spark.driver.extraClassPath', '/home/ubuntu/spark/jars/aws-java-sdk-1.11.335.jar:/home/ubuntu/spark/jars/hadoop-aws-2.8.4.jar') \
            .appName("cluster").getOrCreate()
df = spark.read.load('s3a://bucket/path/to/file')

~/miniconda3/envs/audience/lib/python3.6/site-packages/py4j/protocol.py in get_return_value（应答,gateway_client,target_id,name）318 Rise Py4JJavaError（319“调用{0}{1}{2}时出错.\n”。-->320格式(target_id,“.”,name）,value）321 else：322 Rise Py4JError（

如果我将s3a更改为s3或s3n，它将请求aws访问密钥。但是，我已经在IAM中给出了ec2实例Amazons3FullAccess。

IllegalArgumentException：“必须分别通过设置fs.s3.awsAccessKeyID和fs.s3.awsSecretAccessKey属性来指定AWS访问密钥ID和秘密访问密钥。”

如有任何帮助，我们将不胜感激。

Answer 1

您需要一种向脚本公开AWS凭据的方法。

下面使用botocore的示例可能会超出范围，但使您不必滚动自己的AWS配置或凭据解析器。

首先,

from pyspark.sql import SparkSession
import botocore.session

session = botocore.session.get_session()
credentials = session.get_credentials()

spark = (
    SparkSession
    .builder
    .config(
        'spark.driver.extraClassPath', 
        '/home/ubuntu/spark/jars/aws-java-sdk-1.11.335.jar:'
        '/home/ubuntu/spark/jars/hadoop-aws-2.8.4.jar')
    .config('fs.s3a.access.key', credentials.access_key)
    .config('fs.s3a.secret.key', credentials.secret_key)
    .appName("cluster")
    .getOrCreate()
)

df = spark.read.load('s3a://bucket/path/to/file')

编辑

在使用s3n文件系统客户端时，身份验证属性如下所示

.config('fs.s3n.awsAccessKeyId', credentials.access_key)
.config('fs.s3n.awsSecretAccessKey', credentials.secret_key)