Spark SQL中Where子句与join子句

Question

Name           Profession        City 
John           Engineer          Palo Alto
Jack           Doctor            SF

Profession     City      NewJobOffer
Engineer       SF           Yes

Name   Profession  City NewJobOffer
Jack   Engineer    SF      Yes 

我可以通过两种方式来实现这一点，使用where子句或join查询，在spark SQL中哪个更快？为什么？Where子句比较列添加、选择那些记录还是在列本身上联接，哪个更好？

Answer 1

最好在WHERE子句中提供过滤器。这两个表达式不等价。

在JOIN子句中提供筛选时，将检索两个数据源，然后在指定的条件下进行联接。由于联接首先是通过洗牌（在执行器之间重新分配）数据来完成的，因此您将洗牌大量数据。

当您在WHERE子句中提供filter时，Spark可以识别它，并且您将过滤两个数据源，然后将其联接。这样，您将洗牌更少的数据量。更重要的是，通过这种方式，Spark还可以进行过滤器下推，在数据源级别过滤数据，这意味着更小的网络压力。