如何在spark yarn集群模式下使用--properties-file选项加载额外的spark属性？

Question

我正在用spark-submit在纱线集群模式下运行一个spark作业。为了在运行时提交输入和输出文件路径，我尝试加载一个包含输入和输出路径的属性文件。

属性文件：input.properties

    spark.myapp.input /input/path
    spark.myapp.output /output/path

  `spark-submit --class Property --master yarn-cluster prop.jar --properties-file input.properties`

    import org.apache.spark.SparkConf
    import org.apache.spark.SparkContext
    import java.io.FileInputStream
    import collection.JavaConversions._
    import java.util.Properties;
    object Property {
      def main(args: Array[String]) {
        val conf = new SparkConf().setAppName("myApp");
        val sparkContext = new SparkContext(conf);
        val input=sparkContext.getConf.get("spark.myapp.input")
        println(input)
        sparkContext.stop;
      }
    }

    ERROR yarn.ApplicationMaster: User class threw exception: java.util.NoSuchElementException: spark.myapp.input

Answer 1

如果您使用的是纱线，请使用--files input.properties。我也有同样的问题，它解决了我的问题。