使用None值过滤Pyspark数据框列

Question

我正在尝试过滤具有None作为行值的PySpark数据框：

df.select('dt_mvmt').distinct().collect()

[Row(dt_mvmt=u'2016-03-27'),
 Row(dt_mvmt=u'2016-03-28'),
 Row(dt_mvmt=u'2016-03-29'),
 Row(dt_mvmt=None),
 Row(dt_mvmt=u'2016-03-30'),
 Row(dt_mvmt=u'2016-03-31')]

我可以使用字符串值正确过滤：

df[df.dt_mvmt == '2016-03-31']
# some results here

但这失败了：

df[df.dt_mvmt == None].count()
0
df[df.dt_mvmt != None].count()
0

但是每个类别上肯定都有价值。这是怎么回事？

Answer 1

您可以使用Column.isNull/ Column.isNotNull：

df.where(col("dt_mvmt").isNull())

df.where(col("dt_mvmt").isNotNull())

如果你想简单地丢弃NULL值，您可以使用na.drop与subset参数：

df.na.drop(subset=["dt_mvmt"])

基于等式的比较NULL将无法正常工作，因为在SQLNULL中未定义，因此任何将其与另一个值进行比较的尝试都将返回NULL：

sqlContext.sql("SELECT NULL = NULL").show()
## +-------------+
## |(NULL = NULL)|
## +-------------+
## |         null|
## +-------------+


sqlContext.sql("SELECT NULL != NULL").show()
## +-------------------+
## |(NOT (NULL = NULL))|
## +-------------------+
## |               null|
## +-------------------+

与值进行比较的唯一有效方法NULL是IS/ IS NOT，它等效于isNull/isNotNull方法调用。