spark数据集中的类型安全是什么意思？

Question

我试图理解Dataset和data frame之间的区别，并找到了以下有用的链接，但我无法理解类型安全是什么意思？

DataFrame（在Spark 2.0中，即DataSet[Row])与Spark中RDD之间的差异

Answer 1

RDD和数据集是类型安全的意思是编译器知道列和它的数据类型是长的,字符串等...

但是，在Dataframe中，每次调用一个操作（例如collection())时，它将返回一个数组的结果，这些数组的长度不是字符串数据类型。在dataframe中，列有它们自己的类型，如integer、String，但它们不向您公开。对你来说，它是任何类型的。要将数据行转换为合适的类型，必须使用.AsInstanceOf方法。

在Scala中：

scala > :type df.collect()
Array[org.apache.spark.sql.Row]


df.collect().map{ row => 
    val str = row(0).asInstanceOf[String]
    val num = row(1).asInstanceOf[Long]
}