从胶水运行时在两个AWS帐户之间写入时设置S3存储桶权限

Question

我有一个scala jar，我正在从AWS胶水工作调用它。我的jar写入将数据帧写入另一个AWS帐户中的S3桶，该帐户已打开KMS加密。我可以写入桶，但我不能添加目标桶所有者访问文件的权限。我可以做到这一点，如果简单地使用胶水作家，但与直火花，它只是不工作。我已经阅读了所有文档，并且正在hadoop配置中设置以下bucket策略。

def writeDataFrameInTargetLocation（sparkcontext：sparkcontext=null,DataFrame：DataFrame,location：String,fileformat：String,savemode：String,encryptionkey：option[String]=option.empty,kms_region:option[String]=option（“us-west-2”））：Unit={

if(encryptionkey.isdefined){val region=if(kms_region.isdefined)kms_region.getorelse（“us-west-2”）else“us-west-2”

    sparkContext.hadoopConfiguration.set("fs.s3.enableServerSideEncryption", "false")
    sparkContext.hadoopConfiguration.set("fs.s3.cse.enabled", "true")
    sparkContext.hadoopConfiguration.set("fs.s3.cse.encryptionMaterialsProvider", "com.amazon.ws.emr.hadoop.fs.cse.KMSEncryptionMaterialsProvider")
    sparkContext.hadoopConfiguration.set("fs.s3.cse.kms.keyId", encryptionKey.get) // KMS key to encrypt the data with
      sparkContext.hadoopConfiguration.set("fs.s3.cse.kms.region", region) // the region for the KMS key
    sparkContext.hadoopConfiguration.set("fs.s3.canned.acl", "BucketOwnerFullControl")
    sparkContext.hadoopConfiguration.set("fs.s3.acl.default", "BucketOwnerFullControl")
    sparkContext.hadoopConfiguration.set("fs.s3.acl", "bucket-owner-full-control")
    sparkContext.hadoopConfiguration.set("fs.s3.acl", "BucketOwnerFullControl")
  }
  else {
    sparkContext.hadoopConfiguration.set("fs.s3.canned.acl", "BucketOwnerFullControl")
    sparkContext.hadoopConfiguration.set("fs.s3.acl.default", "BucketOwnerFullControl")
    sparkContext.hadoopConfiguration.set("fs.s3.acl", "bucket-owner-full-control")
    sparkContext.hadoopConfiguration.set("fs.s3.acl", "BucketOwnerFullControl")
  }

    val writeDF = dataFrame
      .repartition(5)
      .write

    
      writeDF
        .mode(saveMode)
        .option(Header, true)
        .format(fileFormat)
        .save(location)
    }

Answer 1

您可能正在为“s3”方案（即“s3:/...”形式的URL）使用S3AFileSystem实现。您可以通过查看sparkcontext.hadoopconfiguration.get（“fs.s3.impl”）进行检查。如果是这种情况，那么您实际上需要为“fs.s3a.*”而不是“fs.s3.*”设置hadoop属性。

则正确的设置为：

sparkContext.hadoopConfiguration.set("fs.s3a.canned.acl", "BucketOwnerFullControl")
sparkContext.hadoopConfiguration.set("fs.s3a.acl.default", "BucketOwnerFullControl")

s3afilesystem实现没有使用“fs.s3”下的任何属性。您可以通过调查与以下hadoop源代码链接相关的代码看到:https://github.com/apache/hadoop/blob/43e8ac60971323054753bb0b21e52581f7996ece/hadoop-tools/hadoop-aws/src/main/java.org/apache/hadoop/fs/s3a/constants.java#l268