从RDD中的单词筛选Spark dataframe中的行

Question

我在spark中有以下命令，

data = sqlContext.sql("select column1, column2, column3 from table_name")

words = sc.textFile("words.txt")

words.txt有一组单词，data有三个字符串列，取自table_name。

现在，只要words.txt中每个单词的单词模式出现在三列数据中的任何一列中，我就希望过滤掉数据中的行（spark dataframe）。

例如，如果words.txt有诸如gon之类的单词，并且如果三列数据中的任何一列包含诸如bygone、gone等值，我希望过滤掉该行。

我尝试了以下方法：

data.filter(~data['column1'].like('%gon%') | data['column2'].like('%gon%') | data['column3'].like('%gon%')).toPandas()

这只适用于一个词。但是我想检查words.txt中的所有单词并删除它。有办法做到这一点吗？

我对Pyspark是新手。任何建议都是有帮助的。

Answer 1

您可以从words.txt中读取单词，并构建如下所示的regex模式：

(?s)^(?=.*word1)(?=.*word2)(?=.*word3)

等，其中(?s)允许.匹配任何符号，^匹配字符串开始位置，然后每个(?=...)lookahead要求字符串中存在每个单词。

因此，如果将regex放入rxvar中，它将如下所示：

data.filter(~data['column1'].rlike(rx) | data['column2'].rlike(rx) | data['column3'].rlike(rx)).toPandas()