列名为空时如何使用pyspark筛选器

Question

我的pyspark数据框中有几列为空，例如入站交付（注意中间的空格）。当我尝试比较使用时。过滤器我收到一个错误。我不想重新定义模式，因为我有一个很大的表，几乎所有表的名称都有相同的空格。有没有一种快速方法可以使用名称为空的筛选器

dfjoin.where（'入站交付=0090043373'）. show（）

错误

Py4JJavaError回溯（最近一次调用上次）~\桌面\火花\火花-2.4.3-bin-hadoop2.7\python\pyspark\sql\utils。装饰中的py（*a，**kw）62尝试：---

~\Desktop\park\spack-2.4.3-bin-hadoop2.7\python\lib\py4j-0.10.7-src.zip\py4j\protocol.pyget_return_value（答案，gateway_client，target_id，名称）327"调用{0}{1}{2}时出错。\n"。--

Py4JJavaError：调用o1424时出错。过滤器：组织。阿帕奇。火花sql。催化剂解析器。ParseException：应输入不匹配的“=”（第1行，位置16）

Answer 1

例如，这种方式：

>>> df = spark.createDataFrame([("a",), ("b",)], ["column name"])
>>> df.show(False)
+-----------+
|column name|
+-----------+
|          a|
|          b|
+-----------+
>>> from pyspark.sql.functions import col
>>> df.filter(col("column name") == 'b').show()
+-----------+
|column name|
+-----------+
|          b|
+-----------+