我是否必须显式使用Dataframe的方法来利用Dataset的优化？[复制]

Question

为了利用Dataset的优化，我是否必须显式使用Dataframe的方法（例如df.select（coll（"name"）、coll（"age"）等）或调用任何Dataset的方法-甚至类似RDD的方法（例如filter、map等）也允许优化？

Answer 1

数据帧优化通常有三种风格：

1. 钨存储器管理
2. Catalyst查询优化
3. 批发代码

钨存储器管理

在定义RDD[myclass]时，spark对myclass没有真正的理解。这意味着通常每一行将包含该类的一个实例。

这有两个问题。

第一个是对象的大小。java对象有开销。例如，包含两个简单整数的case类。执行1000000个实例的序列并将其转换为RDD需要约26MB，而对dataset/dataframe执行相同操作需要约2MB。

此外，在数据集/数据帧中执行此操作时，该内存不是由垃圾收集管理的（它是由spark内部作为不安全内存管理的），因此GC性能的开销较小。

数据集具有与数据帧相同的内存管理优势。也就是说，在进行数据集操作时，将数据从内部（Row）数据结构转换为case类会产生性能开销。

Catalyst查询优化

使用dataframes函数时，spark知道您要做什么，有时可以将查询修改为更有效的等效查询。

例如，假设您正在执行以下操作：df.with列（"a"，light（1））。过滤器（$"b"

基本上你是在检查如果（x

使用dataset操作时无法执行此类操作，因为spark对您正在执行的函数的内部结构一无所知。

批发代码

当spark知道您在做什么时，它实际上可以生成更高效的代码。在某些情况下，这可以将性能提高10倍。

这也不能在dataset函数上完成，因为spark不知道函数的内部结构。