403尝试在S3本地从拼花文件构建数据帧时出现异常

Question

我正在构建一个Spark应用程序，并尝试在EMR或容器中启动它之前在本地运行它。当parquet文件本身是本地时，我可以让DataFrame正常工作，但如果parquet文件在S3中，它拒绝读取该文件。我已经尝试设置了所有我能想到的变量，这些变量是从S3a读入时建议的，下面是我如何创建我的Spark会话的：

package util

import org.apache.spark.sql.SparkSession
import scala.io.Source

object SparkSessionFactory {

  def generateSession(sessionLocation: String): SparkSession = {
    val session = {
      sessionLocation match {
        case "local" =>
          SparkSession.builder().appName("LocalS3SparkProfiler").master("yarn").master("local[*]")
            .config("spark.driver.host", "localhost")
            .config("fs.s3a.enableServerSideEncryption", "true")
            .config("fs.s3a.serverSideEncryptionAlgorithm", "aws:kms")
            .getOrCreate()
      }
    }
    setHadoopConfigs(session, sessionLocation)
    session
  }

  private def setHadoopConfigs(session:SparkSession, sessionLocation:String) = {
    session.sparkContext.hadoopConfiguration.set("fs.s3a.impl", "org.apache.hadoop.fs.s3a.S3AFileSystem")
    session.sparkContext.hadoopConfiguration.set("fs.s3a.path.style.access", "true")
    sessionLocation match {
      case "local"=> {
        val userHome = System.getProperty("user.home")
        val aWSCredentialsLines = Source.fromFile(s"$userHome/.aws/credentials").getLines.toList

        val key = aWSCredentialsLines(1).substring(aWSCredentialsLines(1).lastIndexOf(" ")).trim
        val secret = aWSCredentialsLines(2).substring(aWSCredentialsLines(2).lastIndexOf(" ")).trim
        val s3Token = aWSCredentialsLines(3).substring(aWSCredentialsLines(3).lastIndexOf(" ")).trim

        session.sparkContext.hadoopConfiguration.set("fs.s3a.access.key", key)
        session.sparkContext.hadoopConfiguration.set("fs.s3a.secret.key", secret)
        session.sparkContext.hadoopConfiguration.set("fs.s3a.session.token", s3Token)
        session.sparkContext.hadoopConfiguration.set("fs.s3a.aws.credentials.provider", "org.apache.hadoop.fs.s3a.TemporaryAWSCredentialsProvider")
      }
    }
  }
}

然后当我试图读取数据帧时，我调用

val spark = SparkSessionFactory.generateSession("local")
val df = spark.read.parquet("s3a://my-bucket/thepath/myparquetfile")

抛出的错误如下：

线程“main”com.amazonaws.services.S3.model.amazons3异常：禁止（服务：Amazon S3；状态代码：403；错误代码：403禁止；请求ID:366CFE11F21144F3；S3扩展请求ID:EW4C6PQZ4USJOPMYKOZ8QCWMK4PWL6EFPWEF9E1KLA3KL2LSICMCTZ+ZLYVPLZH927Inisro7KO=)、S3扩展请求TPClient$RequestExecutor.Access$500（AmazonHttpClient$RequestExecutionBuilderImpl.Execute（AmazonHttpClient.java:649)（Com.AmazonAws.http.AmazonHttpClient.513)（Com.AmazonAws.services.s3.AmazonS3Client.Invoke（AmazonS3Client.Invoke）（Com.AmazonAws.services.s3.AmazonS3Client.Invoke）（AmazonS3Client.java:4277)（

我所读到的一切都表明我需要的证明是我提供的。我检查了key、secret和s3token值，它们看起来是正确的，因为我在另一个使用普通AWS SDK的项目中使用了这些凭据，没有任何问题。

你知道这是什么问题吗？

Answer 1

调试AWS身份验证失败是很困难的，因为AWS和任何实现客户端都不希望将机密记录到控制台。“403”一般和“400”一样无用调试

1. 查看S3A故障排除
2. 除了直接的身份验证问题外，如果使用AWS KMS密钥对文件进行SSE-KMS加密，而您的帐户没有访问权限，则会出现身份验证失败。错误消息没有特别指出这一点。
3. 尝试使用相同CRED的AWS cli以查看它们是否工作。如果他们让您看到数据，那么这不可避免地是一些spark/s3a配置问题。
4. 下载Hadoop的最新版本（理想情况下是3.2)，安装它并配置它的core-site.xml和选项。然后使用Cloudstore StoriDiag让它对登录过程进行结构化调试。如果这不起作用，spark也不起作用。