在spark dataframe中使用case类的好处[重复]

Question

在spark dataframe中使用case类的优势是什么？我可以使用“inferschema”选项或定义Structtype字段来定义模式。我引用了“https://docs.scala-lang.org/tour/case-classes.html“但无法理解除了使用反射生成模式之外，使用case类还有什么好处。

Answer 1

inferschema可能是一个代价高昂的操作，并且会不必要地延迟错误行为。考虑以下伪代码

val df = loadDFWithSchemaInference
//doing things that takes time
df.map(row => row.getAs[String]("fieldName")).//more stuff

现在在你的这段代码中，你已经有了一个假设，即字段名称是String类型的，但它只是在你处理的后期表达并确保导致不幸的错误，以防它实际上不是String

现在如果你改做这个

val df = load.as[CaseClass]

或

val df = load.option("schema", predefinedSchema)

field dName是String这一事实将是一个先决条件，因此您的代码将更加健壮且不容易出错。

如果您在REPL或Zeppelin中进行探索性操作，则模式推理非常方便，但不应在操作代码中使用。

编辑附录：我个人更喜欢使用案例类而不是模式，因为出于类似的健壮性原因，我更喜欢数据集API而不是数据框架API（即数据集行）。