在Scala中创建SparkSession对象以在unittest和spark-submit中同时使用的最佳实践

Question

import org.apache.spark.sql.SparkSession

val spark = SparkSession.bulider
     .config("spark.master", "local[2]")
     .getOrCreate()

spark-submit --master yarn --deploy-mode client --num-executors 10 ...

不创建任何执行程序。

我发现在删除上面代码的config（“master”,“local[2]”）部分时应用了spark-submit参数。但是，如果没有master设置，单元测试代码就无法工作。

我尝试将spark（SparkSession）对象生成部分拆分为test和main。但是有很多代码块需要spark，例如importspark.implicit、_和spark.createDataFrame(rdd,schema)。

是否有任何最佳实践来编写代码来创建spark对象来测试和运行Spark-Submit？

Answer 1

一种方法是创建一个提供sparkContext/sparkSession的特征，并在测试用例中使用它，如下所示：

trait SparkTestContext {
  private val master = "local[*]"
  private val appName = "testing"
  System.setProperty("hadoop.home.dir", "c:\\winutils\\")
  private val conf: SparkConf = new SparkConf()
    .setMaster(master)
    .setAppName(appName)
    .set("spark.driver.allowMultipleContexts", "false")
    .set("spark.ui.enabled", "false")

  val ss: SparkSession = SparkSession.builder().config(conf).enableHiveSupport().getOrCreate()
  val sc: SparkContext = ss.sparkContext
  val sqlContext: SQLContext = ss.sqlContext
}

然后您的测试类头看起来如下所示：

类TestWithSparkTest扩展带有匹配器的SparkTestContext的BaseSpec{