任何可以消除asIntinanceOf和我的Spark架构取消无效器中的任何一个的斯卡拉技巧？

Question

这不是一个真正的Spark问题，而是一个与Scala类型相关的问题，但我正在做的事情可能会引起Spark粉丝的兴趣，所以我在我的问题框架中保留了“Spark ”,即:

我想以递归方式转换结构类型的 spark sql 架构，其中包含一个列表，其元素可以是结构类型或结构字段。转换的结果应该是原始架构的一个版本，该版本不允许在任何字段中使用 null。不幸的是，结构类型和结构字段不是从共同的标记特征延伸而来的。这导致了我的初始实现，其中方法接受“Any”并将结果显式转换回结构类型。

初始实施

object SchemaTools extends App  {
  import org.apache.spark.sql.types._

  def noNullSchema(schema: StructType): StructType = {
    def go(element: Any): Product = element match {
      case x: StructField => x.copy(nullable = false)
      case x: StructType => StructType(x.fields.map(_.copy(nullable = false)))
      case bad => sys.error(s"element of unexpected type: $bad")
    }

    go(schema).asInstanceOf[StructType]
  }

  type Rec = (String, Seq[(Int, Int, String)])
  val schema: StructType = Encoders.product[Rec].schema

  System.out.println("pr:" + schema.prettyJson)
  System.out.println("pr:" + noNullSchema(schema).prettyJson)
}

更新

我接受Tim的回答，因为他友好地指出了我的愚蠢错误，即我没有递归到嵌套结构中。我已经在下面包含了一个去无效器的上述“概念证明”的修改版本。这适用于我的示例输入，并说明了我将采用的一般方法。有了这个实现，我就没有与类型相关的问题了。我的错！:我误解了StructType内部的内容(它始终是StructField的数组，而不是StructField或StructType的数组)。数组中的字段本身可能是数据类型“StructType ”,这就需要递归。无论如何...下面是一个修改过的“玩具”实现，它说明了如果我需要一个完整的解决方案(而不是为了学习而实现)，我将如何处理这个问题。这段代码肯定还没有准备好投入生产，在更复杂的输入中会失败。不过，它展示了一种可能的方法。

注意:我学到的关于空值和模式的另一件事非常重要，要记住....即使正确实现了模式“去空器”, Spark也不会在解析过程中强制执行可空性检查。这里将详细讨论这一点:Spark sql模式中的可空性在默认情况下是建议性的。严格执行的最佳方法是什么？

*概念证明...不再有类型问题*

object SchemaTools extends App  {
  import org.apache.spark.sql.types._

  def noNullSchema(field: StructField): StructField = {
    field.dataType match {
      case  ArrayType(StructType(fields), containsNull) =>
       StructField(
         field.name,
         ArrayType(noNullSchema(StructType(fields)), containsNull),
         nullable = false,
         field.metadata)
      case _ => field.copy(nullable = false)
    }
  }

  def noNullSchema(schema: StructType): StructType =
    StructType (
      schema.fields.map { f =>
        System.out.println("f:" + f);
        noNullSchema(f)
      }
    )

  type Rec = (String, Seq[(Int, String, String)])
  val schema: StructType = Encoders.product[Rec].schema

  System.out.println("pr:" + schema.prettyJson)
  System.out.println("pr:" + noNullSchema(schema).prettyJson)
}

Answer 1

除非我误解了这个问题，否则我认为你只需要调整你原来的解决方案来改变。

go(schema).asInstanceOf[StructType]

到…里面

StructType(schema.fields.map(go))

此外，参数和 go 结果的类型应与 StructType.字段的元素类型相同。

由于框架对字段的元素使用泛型类型，因此必须有一些代码来处理该泛型类型。因此，如果该类型为“任何”，则必须处理“任何”，而类型类将无济于事。