SparkShell（scala）暂存的SparkSession变量是val还是var？

Question

我正在尝试将Spark Scala脚本（用Spark shell编写）转换为Scala类、对象、方法（def）等。因此我为Spark submit创建JAR。我使用Spark SQL进行了很多调用，它执行了很多关于时区的时间戳计算。我必须显式地设置以下配置（因为每个分布式节点可能配置了不同的默认时区），以确保我的时区对于该方法中任何Spark SQL函数调用（代码块）进行的任何后续Spark SQL时间戳操作始终为UTC。

spark。conf.set（“spark.sql.session.timeZone”，“UTC”）

该方法签名是否应该包括（spark:org.apache.spark.sql.SparkSession）作为参数，这样我就可以始终从显式代码语句开始，将时区设置为UTC，设置为SparkSession，而不必冒任何风险（所有分布式spark节点可能具有也可能不具有完全相同的时区配置）？

我的下一个问题是，如何确定spark shell设置的“spark”变量是val还是var？为了寻找这个问题的答案，我找到了这个代码片段，希望找出这个Scala变量是不可变的还是可变的。但它没有告诉我Scala变量spark是var还是val。设置spark后是否需要将spark返回给方法调用方。sql。一场时区到UTC，因为我用我的方法修改了它？目前，我的方法签名需要两个输入参数（org.apache.spark.sql.SparkSession，org.apache.spark.sql.DataFrame），输出是一个元组（org.apache.spark.sql.SparkSession，org.apache.spark.sql.DataFrame）。

scala> def manOf[T: Manifest](t: T): Manifest[T] = manifest[T]
manOf: [T](t: T)(implicit evidence$1: Manifest[T])Manifest[T]

scala> manOf(List(1))
res3: Manifest[List[Int]] = scala.collection.immutable.List[Int]

scala> manOf(spark)
res2: Manifest[org.apache.spark.sql.SparkSession] = org.apache.spark.sql.SparkSession

额外的上下文：作为启动Spark-shell的一部分，变量Spark-shell的初始化如下：

Spark context available as 'sc' (master = yarn, app id = application_1234567890_111111).
Spark session available as 'spark'.
Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /___/ .__/\_,_/_/ /_/\_\   version 2.4.4
      /_/

Using Scala version 2.11.12 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_REDACTED)
Type in expressions to have them evaluated.
Type :help for more information.

Answer 1

感谢@Luis Miguel Mejía Suárez为我提供了答案

def x(spark: SparkSession, inputDF: DataFrame) = {
  import spark.implicits._
  spark.conf.set("spark.sql.session.timeZone", "UTC") // mutation of the object inside method

  //...spark.sql.functions...
  finalDF
}

启动火花壳并执行以下操作：

Spark context available as 'sc' (master = yarn, app id = application_1234567890_222222).
Spark session available as 'spark'.
Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /___/ .__/\_,_/_/ /_/\_\   version 2.4.4
      /_/

Using Scala version 2.11.12 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_REDACTED)
Type in expressions to have them evaluated.
Type :help for more information.

scala> spark.conf.get("spark.sql.session.timeZone")
res1: String = America/New_York

scala> :load x.scala
x: (spark: org.apache.spark.sql.SparkSession, inputDF: org.apache.spark.sql.DataFrame)org.apache.spark.sql.DataFrame

scala> val timeConvertedDF = x(spark, inputDF)
timeConvertedDF: org.apache.spark.sql.DataFrame = [att1: timestamp, att2: string ... 25 more fields]

scala> spark.conf.get("spark.sql.session.timeZone")
res4: String = UTC