Spark数据集相对于DataFrame的缺点

Question

我知道Dataset（类型安全等）的优点，但我找不到任何留档相关的Spark Datasets限制。

是否有任何不建议使用Spark数据集的特定场景，最好使用数据帧。

目前，我们所有的数据工程流都在使用Spark（Scala）数据帧。我们希望在所有新流程中使用数据集。因此，了解数据集的所有限制/缺点将对我们有所帮助。

编辑：这与Spark 2.0 Dataset vs DataFrame不同，后者解释了对Dataframe/Dataset的一些操作。或其他问题，其中大部分解释了rdd、dataframe和数据集之间的差异以及它们是如何演变的。这是为了知道何时不使用数据集




Answer 1

Spark数据集的局限性：

1. 数据集过去性能较差（不确定是否已修复）
2. 每当更改Dataset架构时，都需要定义一个新的case类，这很麻烦
3. 数据集没有提供您预期的类型安全性。我们可以将反向函数传递给日期对象，它会返回垃圾响应而不是错误。

import java.sql.Date

case class Birth(hospitalName: String, birthDate: Date)

val birthsDS = Seq(
  Birth("westchester", Date.valueOf("2014-01-15"))
).toDS()
birthsDS.withColumn("meaningless", reverse($"birthDate")).show()

+------------+----------+-----------+
|hospitalName| birthDate|meaningless|
+------------+----------+-----------+
| westchester|2014-01-15| 51-10-4102|
+------------+----------+-----------+

Answer 2

在某些情况下，我发现Dataframe（或Dataset[Row]）比类型化数据集更有用。

例如，当我在使用没有固定模式的数据时，比如JSON文件，其中包含具有不同字段的不同类型的记录。使用数据帧，我可以轻松地“选择”出所需的字段，而无需知道整个模式，甚至可以使用运行时配置来指定要访问的字段。

另一个需要考虑的问题是，与UDAFs和自定义lambda相比，Spark可以更好地优化内置的Spark SQL操作和聚合。因此，如果要获取列中某个值的平方根，这是Spark SQL中的一个内置函数（df.withColumn（“rootX”，sqrt（“X”））），但它是在lambda（ds.map（X））中进行的=

还有许多未类型化的数据框函数（如统计函数）是为数据框实现的，但不是类型化的数据集，您经常会发现，即使您从数据集开始，当您完成聚合时，您只剩下数据框，因为这些函数通过创建新列、修改数据集的模式来工作。

一般来说，我认为您不应该从工作Dataframe代码迁移到类型化数据集，除非您有充分的理由。从Spark 2.4.0开始，许多数据集功能仍被标记为“实验性”，如上所述，并非所有Dataframe功能都具有数据集等价物。