为什么RDD计算计数需要花费这么多时间

Question

（英语不是我的第一语言，所以请原谅任何错误）

我使用SparkSQL从hive表中读取4.7TB的数据，并执行计数操作。做那件事大约需要1.6小时。而直接从HDFS txt文件读取和执行计数，只需要10分钟。这两个作业使用相同的资源和并行性。为什么RDD计数需要这么多时间？

配置单元表大约有30万列，序列化可能代价高昂。我检查了spark UI，每个任务读取大约240MB的数据，执行大约需要3.6分钟。我不敢相信序列化开销如此昂贵。

从蜂巢读取（需要1.6小时）：

val sql = s"SELECT * FROM xxxtable"
val hiveData = sqlContext.sql(sql).rdd
val count = hiveData.count()

从hdfs中读取(需要10分钟):

val inputPath = s"/path/to/above/hivetable"
val hdfsData = sc.textFile(inputPath)
val count = hdfsData.count()

使用SQL计数时，仍然需要5分钟：

val sql = s"SELECT COUNT(*) FROM xxxtable"
val hiveData = sqlContext.sql(sql).rdd
hiveData.foreach(println(_))

Answer 1

你的第一个方法是加载所有数据来触发，网络、序列化和转换操作会花费很多时间。

第二种方式，我觉得是因为他省略了蜂巢层。

如果你只是count，第三种方法更好，它是在执行count后只加载count结果

Answer 2

您的第一种方法是查询数据而不是获取数据。差别很大。

val sql = s"SELECT * FROM xxxtable"
val hiveData = sqlContext.sql(sql).rdd

我们可以作为程序员查看上面的代码，并认为“是的，这就是我们获取所有数据的方式”。但是，获取数据的方式是通过查询而不是从文件中读取数据。基本上，将执行以下步骤：

• 从文件读取到临时存储
• 查询引擎处理对临时存储的查询并创建结果
• 结果被读入 RDD

有很多步骤！比下面发生的更重要：

val inputPath = s"/path/to/above/hivetable"
val hdfsData = sc.textFile(inputPath)

这里，我们只有一步：

< li >从文件读入RDD

看，这是步骤的1/3。即使它是一个简单的查询，为了将其放入RDD，仍然涉及大量的开销和处理。但是，一旦它进入RDD，处理将更容易。如您的代码所示：

val count = hdfsData.count()