Spark SQL：对出现在另一个表（两列）中的记录进行筛选？

Question

我有几个表，我希望根据另一个表中是否存在两列来筛选其中一个表中的行。每个表上的数据如下

表2：每个用户哈希与用户ID唯一相关联

表3：每个商品名称与商品编号唯一相关联

表4

在我的示例中，ID2和Number2都在表1中，但不在同一行上，所以我想从表4中筛选此行。

我希望问题足够清楚。提前感谢！

Answer 1

您可以执行semi join：

select * 
from table4 
left semi join (
    select * from table1 
    join table2 using (`User Hash`) 
    join table3 using (`Article Name`)
) using (`User ID`, `Article Number`)

+-------+--------------+----------+
|User ID|Article Number|OtherField|
+-------+--------------+----------+
|    ID1|       Number1|     Misc1|
|    ID3|       Number3|     Misc3|
+-------+--------------+----------+

或者等效地，存在时:

select * 
from table4 
where exists (
    select * from table1 
    join table2 using (`User Hash`) 
    join table3 using (`Article Name`) 
    where `User ID` = table4.`User ID` 
    and `Article Number` = table4.`Article Number`
)