Spark SQL：“order by”提高了缓存内存占用率

Question

我有两个场景，其中我有23 GB分区par

设置：

• 集群：12 节点 EMR
• 火花版本：1.6
• Spark 配置：默认
• 运行配置：两种情况相同

案例1：

val paths = Array("s3://my/parquet/path", ...)
val parqFile = sqlContext.read.parquet(paths:_*)
parqFile.registerTempTable("productViewBase")
val dfMain = sqlContext.sql("select guid,email,eventKey,timestamp,pogId from productViewBase")
dfMain.cache.count

从< code>SparkUI中，读取的输入数据为6.2 GB，缓存的对象为15.1 GB。

案例1：

val paths = Array("s3://my/parquet/path", ...)
val parqFile = sqlContext.read.parquet(paths:_*)
parqFile.registerTempTable("productViewBase")
val dfMain = sqlContext.sql("select guid,email,eventKey,timestamp,pogId from productViewBase order by pogId")
dfMain.cache.count

从 SparkUI 读取的输入数据为 6.2 GB，缓存的对象为 5.5 GB。

对此行为有任何解释或代码参考吗？

Answer 1

其实比较简单。正如您在SQL指南中看到的:

SparkSQL可以使用内存中的列格式缓存表… SparkSQL将仅扫描所需的列，并自动调整压缩

排序列式存储的好处是它非常容易压缩典型数据。当您进行排序时，您会得到这些类似记录的块，这些块可以使用甚至非常简单的技术（如RLE）挤压在一起。

这是一个实际上在具有列式存储的数据库中经常使用的属性，因为它不仅在存储方面非常有效，而且在聚合方面也非常有效。

sql.execution.columnar介绍了Spark列压缩的不同方面。压缩包，正如您所看到的，RunLengthEncoding

所以这里有两个部分：

>

Spark可以根据统计数据动态调整压缩方法：

Spark SQL将根据数据的统计信息自动为每列选择一个压缩编解码器。

排序可以将相似的记录聚集在一起，从而使压缩效率更高。

如果列之间存在一些相关性（当情况并非如此时？），即使是基于单个列的简单排序也会产生相对较大的影响并提高不同压缩方案的性能。