数据框上的多条件过滤器

Question

谁能向我解释为什么我对这两个表达式会得到不同的结果？我正在尝试在2个日期之间进行过滤：

df.filter("act_date <='2017-04-01'" and "act_date >='2016-10-01'")\
  .select("col1","col2").distinct().count()

结果：37M

与

df.filter("act_date <='2017-04-01'").filter("act_date >='2016-10-01'")\
  .select("col1","col2").distinct().count()

结果：25M

它们有何不同？在我看来，他们应该产生相同的结果

Answer 1

TL; DR
要传递多个条件filter或where使用Column对象和逻辑运算符（&，|，~）。请参见Pyspark：when子句中的多个条件。

df.filter((col("act_date") >= "2016-10-01") & (col("act_date") <= "2017-04-01"))

您还可以使用 单个 SQL字符串：

df.filter("act_date >='2016-10-01' AND act_date <='2017-04-01'")

实际上，在以下两者之间使用更有意义：

df.filter(col("act_date").between("2016-10-01", "2017-04-01"))
df.filter("act_date BETWEEN '2016-10-01' AND '2017-04-01'")

第一种方法甚至不是远程有效的。在Python中，and返回：

• 如果所有表达式都是“真话”，则为最后一个元素。
• 否则，第一个“ falsey”元素。

结果是

"act_date <='2017-04-01'" and "act_date >='2016-10-01'"

评估为（任何非空字符串为真）：

"act_date >='2016-10-01'"