广播加入火花不工作为左外

Question

我有一张小桌子（2k）的记录和一张大桌子（5 mil）的记录。我需要从小表中获取所有数据，只从大表中获取匹配数据，因此我在下面执行了查询select/*broadcast（small）*/small。*虽然查询返回正确的结果，但当我检查查询计划时，它显示排序合并的广播哈希连接。如果小桌子是我们不能广播的桌子，有什么限制吗。




Answer 1

匿名用户

在通过广播左表进行左连接时，更改表的顺序，以便广播右表（或）将连接类型更改为right。

select /*+ broadcast(small)*/ small.* From small right outer join large
select /*+ broadcast(small)*/ small.* From large left outer join small

示例：

df=spark.createDataFrame([(1,'a')],['id','name'])
df1=spark.createDataFrame([(1,'a')],['id','name'])

#broadcasting on right df1 and performing left join
df.join(broadcast(df1),['id'],'left').explain()
#== Physical Plan ==
#*(2) Project [id#0L, name#1, name#5]
#+- *(2) BroadcastHashJoin [id#0L], [id#4L], LeftOuter, BuildRight
#   :- Scan ExistingRDD[id#0L,name#1]
#   +- BroadcastExchange HashedRelationBroadcastMode(List(input[0, bigint, false]))
#      +- *(1) Filter isnotnull(id#4L)
#         +- Scan ExistingRDD[id#4L,name#5]


#broadcasting df1 and right join defaults to Sortmerge join
df.join(broadcast(df1),['id'],'right').explain()
#== Physical Plan ==
#*(4) Project [id#4L, name#1, name#5]
#+- SortMergeJoin [id#0L], [id#4L], RightOuter
#   :- *(2) Sort [id#0L ASC NULLS FIRST], false, 0
#   :  +- Exchange hashpartitioning(id#0L, 200)
#   :     +- *(1) Filter isnotnull(id#0L)
#   :        +- Scan ExistingRDD[id#0L,name#1]
#   +- *(3) Sort [id#4L ASC NULLS FIRST], false, 0
#      +- Exchange hashpartitioning(id#4L, 200)
#         +- Scan ExistingRDD[id#4L,name#5]

Answer 2

由于要从小表而不是大表中选择完整的数据集，因此 Spark 不会强制实施广播联接。当您更改加入顺序或转换为等联接时，Spark 会很乐意强制执行广播联接。

例如:

< li >启用大表左外连接小表广播 < li >小表格左外部联接大表格广播被禁用

原因：*Spark将向存在大表数据的所有数据节点共享小表，也称为广播表。在您的情况下，我们需要小表中的所有数据，但只需要大表中的匹配数据。所以spark不知道这个记录是否在另一个数据节点匹配，甚至根本不匹配。由于这种模糊性，它无法从小表中选择所有记录（如果是分布式的）。所以spark在本例中没有使用广播连接*