当值与pyspark中的字符串的一部分匹配时过滤df

Question

我的帐户很大pyspark.sql.dataframe.DataFrame，因此我想保留（so
filter）列中保存的URLlocation包含预定字符串（例如'google.com‘ ）的所有行。

我试过了：

import pyspark.sql.functions as sf
df.filter(sf.col('location').contains('google.com')).show(5)

但这会抛出一个

TypeError: _TypeError: 'Column' object is not callable'

如何解决并正确过滤我的df？提前谢谢了！

Answer 1

Spark 2.2以上

df.filter(df.location.contains('google.com'))

Spark
2.2文档链接

Spark 2.1及更低版本

您可以使用 普通的SQL 中filter

df.filter("location like '%google.com%'")

或 使用DataFrame列方法

df.filter(df.location.like('%google.com%'))

Spark
2.1文档链接