Sparksql针对3个表选择某些记录

Question

我有3个表，需要按以下方式提取记录

Table_A,
Table_B,
Table_C

只选择Table_A中常见的记录，忽略Table_B和Table_C中不常见的记录，最终结果将不会重复。

尝试了方法1：将Table_A与Table_B内部连接，然后将Table_A与Table_C分离，最后进行了联合。

Ab = Table_A.join(Table_B,Table_A["id"] == Table_B["id"], "inner").select(common columns)

Ac = Table_A.join(Table_C,Table_A["id"] == Table_C["id"], "inner").select(common columns)

result = Ab.union(Ac) <<Got more duplicates>>
result = result,dropDuplicates(["id"]) 

但我还是拿到了复制品。

Table_A 
left outer 
Table_B
on A.id = B.id 
left outer Table_C 
on A.id = c.id

Answer 1

在Spark SQL中，我建议使用exists:

select a.*
from table_a a
where exists (select 1 from table_b b on b.id = a.id)
  and exists (select 1 from table_c c on c.id = a.id)

这将完成所需的筛选，并且不会重复resuletset中table_a的记录，即使table_b或table_c中有多个匹配项。