从具有正确可空性的case类中激发模式

Question

对于自定义估计器的transformSchema方法，我需要能够将输入数据帧的模式与案例类中定义的模式进行比较。通常，这可以像从案例类生成Spark结构类型/模式一样执行，如下所述。但是，使用了错误的可空性：

由spark推断出的df的真实模式。阅读csv（）。正如[MyClass]所示：

root
 |-- CUSTOMER_ID: integer (nullable = false)

和案例类：

case class MySchema(CUSTOMER_ID: Int)

要进行比较，我使用：

val rawSchema = ScalaReflection.schemaFor[MySchema].dataType.asInstanceOf[StructType]
  if (!rawSchema.equals(rawDf.schema))

不幸的是，这总是会产生false，因为从case类手动推断的新模式正在将nullable设置为true（因为ja java。整数实际上可能为空）

root
 |-- CUSTOMER_ID: integer (nullable = true)

创建架构时如何指定nullable=false？

Answer 1

可以说，你是在混合不属于同一个空间的东西。ML管道本质上是动态的，引入静态类型的对象并不能真正改变这一点。

此外，类的架构定义为：

case class MySchema(CUSTOMER_ID: Int)

将具有不可为空的CUSTOMER_ID。scala。Int与java.lang.intger不同：

scala> import org.apache.spark.sql.catalyst.ScalaReflection.schemaFor
import org.apache.spark.sql.catalyst.ScalaReflection.schemaFor

scala> case class MySchema(CUSTOMER_ID: Int)
defined class MySchema

scala> schemaFor[MySchema].dataType
res0: org.apache.spark.sql.types.DataType = StructType(StructField(CUSTOMER_ID,IntegerType,false))

也就是说，如果您希望字段可以为null，那么：

case class MySchema(CUSTOMER_ID: Option[Int])

如果您不想为空，请使用Int如上。

这里的另一个问题是，对于csv，根据定义，每个字段都可以为空，并且该状态由编码的数据集“继承”。因此，在实践中：

spark.read.csv(...)

将始终导致：

root
 |-- CUSTOMER_ID: integer (nullable = true)

这就是模式不匹配的原因。不幸的是，对于不强制可空性约束的源，如csv或json，无法重写可空字段。

如果具有不可为空的模式是硬性要求，您可以尝试：

spark.createDataFrame(
  spark.read.csv(...).rdd,
  schemaFor[MySchema].dataType.asInstanceOf[StructType]
).as[MySchema]

只有当您知道数据实际上null免费时，这种方法才有效。任何null值都会导致运行时异常。