Java中的Spark记录链接

Question

我需要做两个数据集的记录链接基于等价或相似性的某些字段。例如，假设数据集如下所示（使用一些随机数据）：

A：

null

我怎么用Spark做呢？一个小示例将非常受欢迎，因为internet上没有太多的信息，而且这些信息要么是用Scala编写的，要么是用Python编写的。

UPD：如果有人能用Scala显示--好吧，我也能理解Scala，可能会翻译成Java。

Answer 1

我没有用你的数据测试这段代码，但希望它能工作。关于科特林：

val datasetA: Dataset<Row> = ...
val datasetB: Dataset<Row> = ...

val condition = datasetA.col("BirthDate").equalTo(datasetB.col("BirthDate"))
        .and(datasetB.col("FullName").contains(datasetA.col("FirstName")))
        .and(datasetB.col("FullName").contains(datasetA.col("LastName")))
        .and(datasetB.col("Address").contains(datasetA.col("Street")))
val result = datasetA.join(featuresDF, condition)