如何从Spark2.3访问us-east-2区域的parquet文件（使用hadoop aws 2.7）

Question

我们能够从我们当前的代码访问us-east-1，但是我们不能访问US-East-2上的拼花文件。请注意“US-East-2”连接，创建数据流在intellij上运行良好，但当我们从Spark-Shell尝试时，它会给出400个错误。

我想在星火壳上做工作

/users/test/downloads/spark-2.3.3-bin-hadoop2.7/bin/spark-shell-jars/users/test/downloads/hadoop-aws-2.7.3.jar,/users/test/downloads/aws-java-sdk-1.7.4.jar

val配置=sc.hadoopConfiguration

configuration.set（“fs.s3a.impl.disable.cache”，“true”）；

set（“fs.s3a.impl”,“org.apache.hadoop.fs.s3a.s3afilesystem”）；

set（“fs.defaultfs”,“s3a://parquet-dev”）；

configuration.set（“fs.s3a.endpoint”、“s3.us-east-2.amazonaws.com”）

configuration.set（“fs.s3a.html" target="_blank">access.key”，“xyz”）；

配置.设置（“fs.s3a.secret.key”、“abc”）；

val fileName=“s3a:/xyz:abc@parquet-dev/c000.snappy.parquet”

val df=spark.sqlcontext.read.Parquet（文件名）

com.amazonaws.services.S3.model.amazons3异常：状态代码：400,AWS服务：Amazon S3,AWS请求ID：asadfas,AWS错误代码：null,AWS错误消息：错误请求

Answer 1

这是一个简单的更改，但很难在AWS文档或其他任何地方找到

下面是我们所做的更改（可以做特定于语言的代码）

spark-shell \
    --master local[4] \
    --driver-memory 2g \
    --conf 'spark.executor.extraJavaOptions=-Dcom.amazonaws.services.s3.enableV4=true' \
    --conf 'spark.driver.extraJavaOptions=-Dcom.amazonaws.services.s3.enableV4=true' \
    --jars aws-java-sdk-1.7.4.jar,hadoop-aws-2.7.7.jar


System.getProperty("com.amazonaws.services.s3.enableV4")

sc.hadoopConfiguration.set("fs.s3a.impl", "org.apache.hadoop.fs.s3a.S3AFileSystem");
sc.hadoopConfiguration.set("fs.s3a.access.key", "access")
sc.hadoopConfiguration.set("fs.s3a.secret.key", "secret")
sc.hadoopConfiguration.set("fs.s3a.endpoint", "s3.us-east-2.amazonaws.com")

val fileName = "s3a://parquet123/c000.parquet"
val df = spark.sqlContext.read.parquet(fileName)
df.count

很少有新的s3存储桶只支持签名版本v4支持，除非您指定，否则旧的SDK无法使用

system.getProperty（“com.amazonaws.services.s3.enablev4”）sc.hadoopConfiguration.set（“fs.s3a.endpoint”,“s3.us-east-2.amazonaws.com”）

而且

--conf“spark.executor.extraJavaOptions=-dcom.amazonaws.services.s3.enablev4=true”--conf“spark.driver.extraJavaOptions=-dcom.amazonaws.services.s3.enablev4=true”

System.getProperty（“com.amazonaws.services.s3.enablev4”）非常重要，必须通过指定上面的标志为所有excutor JVM设置。谢谢

Answer 2

1. fs.s3a.endpoint是正确的选项；我刚刚验证了它在Hadoop 2.7中
2. 您不应该将秘密放在文件名URL中，因为它们会在任何地方被记录。
3. 并且不需要设置fs.defaultfs或fs.s3a.impl值

“坏请求”是来自亚马逊的一个相当模糊的错误，它意味着某种身份验证问题，没有任何细节。可能需要切换到V4签名，这只能通过JVM属性使用Hadoop-2.7.x/AWS-1.7.xJAR完成。其他堆栈溢出的文章也涉及到这个主题。

如果您试图通过S3A连接器使用S3，最好从升级到Hadoop 2.9 JARs和shaded AWS SDK或2.8.x开始。hadoop-aws代码发生了巨大的变化，最新的aws SDK也带来了很大的变化