spark kryo寄存器泛型类

Question

import com.github.plokhotnyuk.rtree2d.core._
import EuclideanPlane._

val box1 = entry(1.0f, 1.0f, 2.0f, 2.0f, "Box 1")
val box2 = entry(2.0f, 2.0f, 3.0f, 3.0f, "Box 2")
val entries = Seq(box1, box2)

val rtree = RTree(entries)
val broadcastedIndex = spark.sparkContext.broadcast(rtree)

强制kryo序列化时失败，即使用以下配置启动火花时失败：

.set("spark.serializer", classOf[KryoSerializer].getCanonicalName)
.set("spark.kryo.registrationRequired", "true")

由于未注册RTreeNode类。到目前为止，一切顺利。

问题出现时尝试：-使用KryoSerializer但不强制kryo：火花卡住/不继续操作-尝试注册类：

Class is not registered: com.github.plokhotnyuk.rtree2d.core.RTree

可通过以下方式固定：

kryo.register(Class.forName("com.github.plokhotnyuk.rtree2d.core.RTreeNode"))

但是，类未注册：com.github.plokhotnyuk.rtree2d.core.RTree[]

kryo.register(classOf[scala.Array[com.github.plokhotnyuk.rtree2d.core.RTreeNode[A]]])

编译失败，因为当尝试在com.github.plokhotnyuk.rtree2d.core命名空间中创建自定义kryo注册器以访问私有类时，我无法注册要触发的通用RTreeNode。

如何在不指定具体实现的情况下注册泛型类，或者在返回java序列化时防止spark陷入困境？

注意，如果根本不使用kryo，它就可以正常工作。

数组类的Spark Kryo寄存器

kryo.register(Array.newInstance(Class.forName("com.github.plokhotnyuk.rtree2d.core.RTreeNode"), 0).getClass())

不幸的是，在java中，我无法在scala中编译它。

Answer 1

请尝试懒惰和暂时的组合。

Scala lazy val denotes a field that will only be calculated once it is accessed for the first time and is then stored for future reference.

With @transient on the other hand one can denote a field that shall not be serialized.

reference: https://stackoverflow.com/questions/34769220/difference-when-serializing-a-lazy-val-with-or-without-transient