为什么Spark中的RDD、Dataframe和Dataset被称为Api？

Question

我开始阅读《Spark权威指南大数据处理变得简单》一书，学习Spark。当我阅读时，我看到一句话：“DataFrame是最常见的结构化API，它只是用行和列表示一个数据表。”我无法理解为什么RDD和数据帧被称为API？

Answer 1

它们之所以被称为API，是因为它们本质上只是完全相同数据的不同接口。数据帧可以构建在RDD之上，RDD可以从数据帧中提取出来。它们只是在数据上定义了不同的函数集，主要区别在于语义和处理数据的方式，RDD是低级API，DataFrame是高级API。例如，您可以将Spark SQL接口与DataFrame一起使用，DataFrame提供所有常见的SQL函数，但如果您决定使用RDD，则需要使用RDD转换自己编写SQL函数。

当然，它们都存在，因为这实际上取决于您的用例。