从Spark 2.0访问S3

Question

我正在尝试从SparkSQL作业访问S3文件。我已经尝试了几个帖子的解决方案，但似乎没有工作。也许是因为我的EC2集群为Hadoop2.7运行了新的Spark2.0。

我是这样设置hadoop的：

sc.hadoopConfiguration.set("fs.s3a.impl","org.apache.hadoop.fs.s3a.S3AFileSystem")
sc.hadoopConfiguration.set("fs.s3a.awsAccessKeyId", accessKey)
sc.hadoopConfiguration.set("fs.s3a.awsSecretAccessKey", secretKey)

我使用sbt程序集构建了一个uber-jar，使用：

name := "test"
version := "0.2.0"
scalaVersion := "2.11.8"

libraryDependencies += "com.amazonaws" % "aws-java-sdk" %   "1.7.4"
libraryDependencies += "org.apache.hadoop" % "hadoop-aws" % "2.7.3" excludeAll(
    ExclusionRule("com.amazonaws", "aws-java-sdk"),
    ExclusionRule("commons-beanutils")
)

libraryDependencies += "org.apache.spark" %% "spark-core" % "2.0.0" % "provided"
libraryDependencies += "org.apache.spark" %% "spark-sql" % "2.0.0" % "provided"

PS：如果我切换到s3n协议，我得到以下异常：

java.io.ioException：方案s3n没有文件系统

Answer 1

如果要使用s3n:

sc.hadoopConfiguration.set("fs.s3n.impl","org.apache.hadoop.fs.s3native.NativeS3FileSystem")
sc.hadoopConfiguration.set("fs.s3n.awsAccessKeyId", accessKey)
sc.hadoopConfiguration.set("fs.s3n.awsSecretAccessKey", secretKey)

现在，关于这个异常，您需要确保两个JAR都位于驱动程序和辅助类路径上，并确保在使用客户机模式时通过--JARs标志将它们分发到辅助节点：

spark-submit \
--conf "spark.driver.extraClassPath=/location/to/aws-java-sdk.jar" \
--conf "spark.driver.extraClassPath=/location/to/hadoop-aws.jar" \
--jars /location/to/aws-java-sdk.jar,/location/to/hadoop-aws.jar \

此外，如果您正在构建您的uber JAR，并包含aws-java-sdk和hadoop-aws，那么没有理由使用--packages标志。