火花SASL不使用纱线在emr上工作

Question

首先，我想说的是我看到的解决这个问题的唯一方法是：Spark 1.6.1 SASL。但是，在为spark和yarn认证添加配置时，仍然不起作用。下面是我在Amazon's EMR的一个yarn集群上使用spark-submit对spark的配置：

    SparkConf sparkConf = new SparkConf().setAppName("secure-test");
    sparkConf.set("spark.authenticate.enableSaslEncryption", "true");
    sparkConf.set("spark.network.sasl.serverAlwaysEncrypt", "true");
    sparkConf.set("spark.authenticate", "true");
    sparkConf.set("spark.serializer", "org.apache.spark.serializer.KryoSerializer");
    sparkConf.set("spark.kryo.registrator", "org.nd4j.Nd4jRegistrator");
    try {
        sparkConf.registerKryoClasses(new Class<?>[]{
                Class.forName("org.apache.hadoop.io.LongWritable"),
                Class.forName("org.apache.hadoop.io.Text")
        });
    } catch (Exception e) {}

    sparkContext = new JavaSparkContext(sparkConf);
    sparkContext.hadoopConfigurathtml" target="_blank">ion().set("fs.s3a.impl", "org.apache.hadoop.fs.s3a.S3AFileSystem");
    sparkContext.hadoopConfiguration().set("fs.s3a.enableServerSideEncryption", "true");
    sparkContext.hadoopConfiguration().set("spark.authenticate", "true");

注意，我用代码将spark.authenticate添加到了sparkContext的hadoop配置中，而不是core-site.xml（我假设我可以这样做，因为其他东西也起作用）。

查看此处:https://github.com/apache/spark/blob/master/common/network-yarn/src/main/java/org/apache/spark/network/yarnshuffleservice.java，似乎两个spark.authenticate都是必需的。当我运行这个应用程序时，我得到下面的堆栈跟踪。

Spark的文件上说

For Spark on YARN deployments, configuring spark.authenticate to true will automatically handle generating and distributing the shared secret. Each application will use a unique shared secret.

根据上面的yarn文件中的注释，这似乎是错误的，但是通过故障排除，我仍然不知道应该去哪里让sasl工作？我是不是漏掉了一些有文件记载的明显的东西？

Answer 1

所以我终于想通了。以前的StackOverflow线程在技术上是正确的。我需要将spark.authenticate添加到纱线配置中。也许这样做是有可能的，但是我想不出如何在代码中添加这个配置，这在高级别上是有意义的为什么会是这样。我将在下面发布我的配置，以防将来有人遇到这个问题。

首先，我使用了aws emr配置文件（使用aws cliaws emr create-cluster--configurations file:/youpathhere.json)

然后，我在文件中添加了以下json：

[{
    "Classification": "spark-defaults",
    "Properties": {
        "spark.authenticate": "true",
        "spark.authenticate.enableSaslEncryption": "true",
        "spark.network.sasl.serverAlwaysEncrypt": "true"
    }
},
{
    "Classification": "core-site",
    "Properties": {
        "spark.authenticate": "true"
    }
}]