火花2。x数据帧或数据集？[副本]
我的理解是Spark 1之间的一个重大变化。x和2。x是从数据帧迁移到采用更新/改进的数据集对象。
但是，在所有Spark 2. x文档中，我看到正在使用DataFrames，而不是Datasets。
所以我问：在Spark 2. x中，我们是否仍在使用DataFrames，或者Spark人员只是没有更新那里的2. x文档以使用较新的推荐的Datasets？
共有2个答案
很明显，你可以同时使用这两种方法，但Spark没有人愿意更新文档来展示如何使用数据集，所以我猜他们真的希望我们像在1中那样使用数据帧。十、
数据帧是数据集，只是数据集的一种特殊类型，即数据集[行]，意思是非类型的数据集。
但确实，即使使用Spark 2. x，许多Spark用户仍然使用DataFrames，尤其是对于快速原型设计（我是其中之一），因为它是一个非常方便的API，并且许多操作（在我看来）使用DataFrames比使用Datasets更容易
-
我想过滤掉具有“c2”列前3个字符的记录，无论是“MSL”还是“HCP”。 所以输出应该如下所示。 有谁能帮忙吗？ 我知道df。过滤器（$c2.rlike（“MSL”））--用于选择记录，但如何排除记录？ 版本：Spark 1.6.2 Scala:2.10
-
我正在尝试使用Apache Spark，以便将具有多个连接和子选择的（大型）SQL查询的结果加载到来自Spark的DataFrame中，如从SQL查询创建Spark Dataframe中所述。 不幸的是，我这样做的尝试导致了拼花错误： 线程“main”组织中出现异常。阿帕奇。火花sql。AnalysisException：无法推断拼花地板的架构。必须手动指定。 我从谷歌看到的信息表明，当数据帧为空
-
在PySpark中或者至少在Scala中，Apache Spark中是否有与Pandas Melt函数等价的函数？ 到目前为止，我一直在用Python运行一个示例数据集，现在我想对整个数据集使用Spark。
-
[新加入Spark]语言-Scala 根据文档，RangePartitioner对元素进行排序并将其划分为块，然后将块分发到不同的机器。下面的例子说明了它是如何工作的。 假设我们有一个数据框，有两列，一列（比如“a”）的连续值从1到1000。还有另一个数据帧具有相同的模式，但对应的列只有4个值30、250、500、900。（可以是任意值，从1到1000中随机选择） 如果我使用RangePartit
-
如何使用Spark-Scala连接日期和时间列（两个字符串）
-
并将其应用于数据表的一列--这是我希望这样做的： 我还没有找到任何简单的方法，正在努力找出如何做到这一点。一定有一个更简单的方法，比将数据rame转换为和RDD，然后从RDD中选择行来获得正确的字段，并将函数映射到所有的值，是吗？创建一个SQL表，然后用一个sparkSQL UDF来完成这个任务，这更简洁吗？