将Scala映射转换为Databricks笔记本上的对象时出现问题

Question

问题

我有一个场景，需要将scala映射转换为case类对象，在以下引用的帮助下，我能够在本地实现它（scala版本2.12.13）：

1. Scala：将地图转换为案例类
2. 将贴图转换为Scala对象

但当我尝试在Databricks笔记本中运行相同的代码块时，它抛出了一个错误：

IllegalArgumentException：无法构造'$line23851bc084ae4df7a16bf9c475868d9265的实例。$read$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$iw$iw$$iw$Test'（尽管至少存在一个Creator）：只能通过在[Source： UNKNOWN； line：-1，列：-1]中使用默认的无参数构造函数来实例化非静态内部类

集群配置：Databricks runtime 8.2（包括Spark 3.1.1、Scala 2.12）。请参考屏幕截图了解完整代码。

解决方法（不可取）：

def workaround(map: Map[String, Any]): Test = {
  Test(
    map("k1").asInstanceOf[Int],
    map("k2").asInstanceOf[String],
    map("k3").asInstanceOf[String],
  )
}

val result = workaround(myMap)

对如何解决这个问题有何想法？

Answer 1

在我看来，这是两种可能性之一。

首先，我们应该仔细检查本地运行时环境和databricks运行时环境中的内容之间是否存在版本不匹配。您可以查看此页面，查看DBR 8.2中包含的所有库版本的列表。特别是，我会检查您的本地环境，以确保您运行的是相同版本的jackson（2.10.0）。

其次，这可能是数据库如何实现他们的笔记本和杰克逊的限制之间的交互。数据库笔记本的每个命令都包装在一个包对象中，该包对象被赋予了一个随机名称。例如，我可以从异常中看出保存您的Test类定义的包对象被称为$line23851bc084ae4df7a16bf9c475868d9265。$read$$iw$$iw$$iw$$iw$iw$iw$iw$iw$$iw$iw$$iw$iw$iw$iw$iw$iw。（我说它是这样命名的，因为每次您重新运行命令时它都会生成一个新的包对象）。这意味着当放在笔记本中时，所有类（和其他类型定义）实际上都是路径相关类型。更具体地说，对于这种情况，您的Test类是包对象的内部类。根据错误消息和对文档的一些简要阅读，我怀疑Jackson无法序列化路径相关类型。