Pyspark 2.7在值为“”时，将数据帧中的StringType列设置为“null”

Question

我有一个名为good_df的DataFrame，它具有混合类型的列。我正在尝试将StringType的列的任何空值设置为'null'。我认为下面的代码可以工作，但事实并非如此。

self.good_df = self.good_df.select([when((col(c)=='') & (isinstance(self.good_df.schema[c].dataType, StringType)),'null').otherwise(col(c)).alias(c) for c in self.good_df.columns])

我正在查看错误消息，它并没有给我多少线索：

Traceback（最近的最后一次调用）：File"，第1行，在File"/usr/lib/python2.7/site-pack/pyspark/sql/column.py"，第116行，在_njc=getattr（自身_jc，名称）（jc）File"/usr/lib/python2.7/site-pack/py4j/java_gateway.py"，第1257行，在调用应答中，self.gateway_client，self.target_id，self.name）File"/usr/lib/python2.7/site-pack/pyspark/sql/utils.py"，第63行，在deco中返回f（*a，**kw）File"/usr/lib/python2.7/site-pack/py4j/protocol.py"，第332行，get_return_value格式（, ".", 名称，值））Py4JError：调用o792.and.Trace： py4j时出错。Py4JException： method and（[类java.lang.Boolean]）不存在于py4j.reflection.反射ngine.get方法（反射ngine.java:318）在py4j.reflection.反射ngine.get方法（反射ngine.java:326）在py4j。Gateway.invoke（Gateway.java:274）在py4j.commands.AbstractCommand.invoke方法（AbstractCommand.java:132）在py4j.commands.CallCommand.execute（CallCommand.java:79）在py4j。GatewayConnection.run（GatewayConnection.java:238）在java.lang.Thread.run（Thread.java:748）

有人有什么想法吗？谢谢！

Answer 1

您收到的错误消息：

py4j. py4JException：方法和（[类java.lang.布尔]）不存在

这意味着您试图在列表达式和文字布尔值之间应用AND运算符。

您需要更改此部分：

(isinstance(self.good_df.schema[c].dataType, StringType))

到

from pyspark.sql.functions import lit

lit(isinstance(self.good_df.schema[c].dataType, StringType))

也就是说，实际上可以将检查列类型的条件直接移动到python列表理解中：

self.good_df = self.good_df.select(*[
    when((col(c) == ''), 'null').otherwise(col(c)).alias(c) if t == "string" else col(c)
    for c, t in self.good_df.dtypes
])