基于max Date的Spark java DataFrame Date过滤器另一个DataFrame

Question

我有两个数据框

> < li>

一个数据帧中的最大日期列::一列，一行- df1，列:最大日期

具有日期列:: df2列的多条记录：col1， col2， col3… colDate

我想要过滤器 df2 基于 df1.maxdate， df2.colDate

如果我指定如下，那么它的工作。

df2.filter(col("colDate").gt(lit(2020-01-01)))

然而，我不能使用df1.maxdate。我正在尝试用java来实现这个解决方案。

DataType是两个数据帧列中的日期

我试图通过火花转换来实现这一点

select * from a 
where a.col > (select max(b.col) from b)

在我的例子中

Table a = df2
Table b = df1




Answer 1

createTempView上的两个数据框然后使用sql查询我们可以过滤唯一需要的日期。

示例：

选项 1：使用 createTempView：

df1.show()
//+----------+
//|   Maxdate|
//+----------+
//|2020-01-01|
//+----------+

df2.show()
//+----------+----+----+
//|   colDate|col1|col2|
//+----------+----+----+
//|2020-01-01|   A|   B|
//|2020-01-03|   C|   D|
//+----------+----+----+


df1.createOrReplaceTempView("tmp")

df2.createOrReplaceTempView("tmp1")

sql("select * from tmp1 where coldate > (select maxdate from tmp)").show()
//+----------+----+----+
//|   colDate|col1|col2|
//+----------+----+----+
//|2020-01-03|   C|   D|
//+----------+----+----+

选项2：使用数据框变量：

另一种方法是存储到变量中，然后使用该变量，然后在数据帧筛选器中使用变量。

val max_val=df1.collect()(0)(0).toString

df2.filter(col("colDate") > max_val).show()
//+----------+----+----+
//|   colDate|col1|col2|
//+----------+----+----+
//|2020-01-03|   C|   D|
//+----------+----+----+

选项 3：使用数据帧交叉联接和 expr：

在这种情况下，我们没有创建变量，而是使用数据帧列来仅过滤所需的行。

df2.crossJoin(df1).
filter(expr("colDate > Maxdate")).
drop("Maxdate").
show()
//+----------+----+----+
//|   colDate|col1|col2|
//+----------+----+----+
//|2020-01-03|   C|   D|
//+----------+----+----+

Answer 2

下面的代码可能对您有帮助，

val df1 = Seq(('2020-01-02')).toDF("Maxate")

df1.show()

/*
+----------+
|    Maxate|
+----------+
|2020-01-02|
+----------+
*/

val df2 = Seq(("2020-01-01","A","B"),("2020-01-03","C","D")).toDF("colDate","col1","col2")

/*
+----------+----+----+
|   colDate|col1|col2|
+----------+----+----+
|2020-01-01|   A|   B|
|2020-01-03|   C|   D|
+----------+----+----+
*/
val maxDate=df1.collect.map(row=>row.getString(0)).mkString

df2.filter($"colDate">maxDate).show()

/*
+----------+----+----+
|   colDate|col1|col2|
+----------+----+----+
|2020-01-03|   C|   D|
+----------+----+----+
*/