Spark SQL-将csv读入数据集[T]，其中T是选项[BigDecimal]字段的case类

Question

我之前已将Dataset[T]写入csv文件。

在本例中，T是一个case类，它包含字段x:Option[BigDecimal]

当我尝试将文件加载回Dataset[T]时，我看到以下错误：

Exception in thread "main" org.apache.spark.sql.AnalysisException: Cannot up cast `x` from double to decimal(38,18) as it may truncate.

我想原因是推断的模式包含一个double而不是BigDecimal列。有办法解决这个问题吗？我希望避免基于列名进行强制转换，因为读取代码是泛型函数的一部分。我的阅读代码如下：

   val a = spark
    .read
    .format("com.databricks.spark.csv")
    .option("header", "true")
    .option("inferSchema", "true")
    .load(file)
    .as[T]

我的case类反映了从JDBC读取的表，其中Option[T]用于表示可空字段。Option[BigDecimal]用于从JDBC接收Decimal字段。

在本地机器上读写csv文件时，我已经编写了一些代码来读写csv文件，这样我就可以轻松地检查内容。

所以我的下一次尝试是：

   var df = spark
    .read
    .format("com.databricks.spark.csv")
    .option("header", "true")
    .schema(implicitly[Encoder[T]].schema)
    .load(file)

  val schema = df.schema

  import org.apache.spark.sql.functions._
  import org.apache.spark.sql.types._

  schema.foreach{ field =>
    field.dataType match {
      case t: DoubleType =>
        df = df.withColumn(field.name, 
          col(field.name).cast(DecimalType(38,18)))
      case _ => // do nothing
    }
  }

  df.as[T]

不幸的是，我的case类现在包含所有无，而不是预期的值。如果我只是将csv加载为具有推断类型的DF，则所有列值都被正确填充。

看起来我实际上有两个问题。

1. 从双精度转换-

如有任何帮助/建议，将不胜感激。如果很容易从csv文件中写入/读取选项/大小数有问题，我很乐意调整我的方法。

Answer 1

首先，我将用dfB填充空值。不适用。填充（0.0），然后我将尝试下一个解决方案：

case class MyCaseClass(id: String, cost: Option[BigDecimal])
var dfB = spark.createDataset(Seq(
  ("a", Option(12.45)),
  ("b", Option(null.asInstanceOf[Double])),
  ("c", Option(123.33)),
  ("d", Option(1.3444))
)).toDF("id", "cost")

dfB
  .na.fill(0.0)
  .withColumn("cost", col("cost").cast(DecimalType(38,18)))
  .as[MyCaseClass]
  .show()

首先将列cost显式转换为DecimalType（38,18），然后检索数据集[MyCaseClass]。我认为这里的问题是spark无法在没有明确指定缩放精度的情况下将double转换为BigDecimal，因此需要首先将其转换为特定的十进制类型，然后将其用作BigDecimal。

更新：我稍微修改了之前的代码，以便也可以处理Option[BigDecimal]类型的成员

祝你好运