加速循环过滤字符串[重复]

Question

我想通过删除那些不包含关键字/s的tweets来过滤pandas dataframe中包含tweets的列(3+100万行）。为此，我运行以下循环（对不起，我是python新手）：

filter_word_indicators = []
for i in range(1, len(df)):
    if 'filter_word' in str(df.tweets[0:i]):
        indicator = 1 
    else:
        indicator = 0
    filter_word_indicators.append(indicator)

这个想法是，如果指示器等于0，就会删除推文。问题是这个循环要花很长时间才能运行。我肯定有一个更好的方法来删除不包含我的“filer_word”的推文，但我不知道如何编码。任何帮助都会很好。

Answer 1

签出pandas.series.str.contains，您可以如下所示使用它。

df[~df.tweets.str.contains('filter_word')]

In [0]: df = pd.DataFrame(
            [[1, "abc"],
             [2, "bce"]],
            columns=["number", "string"]
        )    
In [1]: df
Out[1]: 
   number string
0       1    abc
1       2    bce

In [2]: df[~df.string.str.contains("ab")]
Out[2]: 
   number string
1       2    bce

对下面的合成数据进行了一个小的计时测试，其中包含300万个tweet大小的随机字符串

df = pd.DataFrame(
    [
        "".join(random.choices(string.ascii_lowercase, k=280))
        for _ in range(3000000)
    ],
    columns=["strings"],
)

和关键字abc，比较原始解决方案、map+regex和本文提出的解决方案(str.contains)。结果如下。

original       99s
map + regex    21s
str.contains  2.8s