了解Spark SQL的一些基础知识

Question

我在跟踪http://spark.apache.org/docs/latest/sql-programming-guide.html

打字后：

val df = spark.read.json("examples/src/main/resources/people.json")

// Displays the content of the DataFrame to stdout
df.show()
// +----+-------+
// | age|   name|
// +----+-------+
// |null|Michael|
// |  30|   Andy|
// |  19| Justin|
// +----+-------+

我有一些我没有看到答案的问题。

首先，什么是$符号？如

 df.select($"name", $"age" + 1).show()

第二，我能从第二行得到数据吗（我不知道第二行的数据是什么）。

第三，你将如何阅读彩色图像与火花sql？

第四，我仍然不确定数据集和火花中的数据帧有什么区别。变量df是一个数据帧，所以我可以将“Michael”更改为整数5吗？我可以在数据集中这样做吗？

Answer 1

1） 对于问题1，$符号用作选择列并在其上应用函数的快捷方式。例如：

df.select($"id".isNull).show

这也可以写成

df.select(col("id").isNull)

2） Spark没有索引，但对于原型，可以使用df。以（10）（i）为例，其中i可以是您想要的元素。注意：随着底层数据的分区，每次行为都可能不同。

Answer 2

1. $不是注释。它是一个方法调用（new ClonName（"name"）的快捷方式）。
2. 你不会的。SparkSQL没有行索引的概念。
3. 你不会的。您可以使用具有特定输入格式（如HIPI项目中的格式）的低级RDD API，然后进行转换。
4. DataSet API和DataFrame之间的区别