如何在火花外壳中注册kryo类

Question

SparkConf具有方法寄存器KryoClass：

def registerKryoClasses(classes: Array[Class[_]]): SparkConf = { .. }

但是，它在SparkSession.conf（）属性提供的RuntimeConfigurationfacade中不可用/公开

@transient lazy val conf: RuntimeConfig = new RuntimeConfig(sessionState.conf)

下面是有关RuntimeConfiguration的更多信息：

/**
 * Runtime configuration interface for Spark. To access this, use `SparkSession.conf`.
 *
 * Options set here are automatically propagated to the Hadoop configuration during I/O.
 *
 * @since 2.0.0
 */
@InterfaceStability.Stable
class RuntimeConfig private[sql](sqlConf: SQLConf = new SQLConf) {

在创建自己的SparkSession时，有一个明确的解决方法：我们可以调用提供给

val mysparkConf = SparkConf.set(someKey,someVal)
mysparkConf.registerKryoClasses(Array(classOf[Array[InternalRow]]))
SparkSession.builder.conf(mySparkConf)

然后是一个不太清楚的...

conf.registerKryoClasses(Array(classOf[scala.reflect.ClassTag$$anon$1]))

但在运行Spark shell时，已经创建了sparkSession（sparkContext）。那么，如何使非运行时设置生效呢？

这里特别需要：

sparkConf.registerKryoClasses(Array(classOf[org.apache.spark.sql.Row]))

当尝试在可用于spark会话对象的SqlConf上设置时，会出现以下异常：

scala>   spark.conf.registerKryoClasses(Array(classOf[Row]))

错误：值registerKryoClasses不是组织的成员。阿帕奇。火花sql。RuntimeConfig spark。conf.registerKryoClasses（数组（classOf[行]））

那么，如何在spark shell中注册kryo序列化程序呢？

Answer 1

以下不是对[我自己的问题的确切回答——但它似乎是当前具体困境的解决办法：

implicit val generalRowEncoder: Encoder[Row] = org.apache.spark.sql.Encoders.kryo[Row]

在作用域中包含这个隐式似乎是直接在SparkConf上向kryo注册类。