加速Python3中数百万regex替换

Question

我有两个清单：

• 约750k个“句子”（长字符串）的列表
• 要从750k个句子中删除的大约20k个“单词”的列表

所以，我必须遍历750k个句子，执行大约20k个替换，但前提是我的单词实际上是“单词”，并且不是更大字符串的一部分。

我是通过预编译我的单词来做到这一点的，这样它们的两侧就有\b单词边界元字符：

compiled_words = [re.compile(r'\b' + word + r'\b') for word in my20000words]

然后我循环我的“句子”：

import re

for sentence in sentences:
  for word in compiled_words:
    sentence = re.sub(word, "", sentence)
  # put sentence into a growing list

这个嵌套循环每秒处理大约50个句子，这很好，但是处理我所有的句子仍然需要几个小时。

>

有没有办法使用str.replace方法（我认为它更快），但仍然要求替换只发生在单词边界？

或者，是否有一种方法可以加快re.sub方法的速度？我已经通过跳过re.sub（如果单词长度大于句子长度）稍微提高了速度，但这并没有多大的提高。

我使用的是Python 3.5.2

Answer 1

您可以尝试的一件事是编译一个模式，如“\b(word1word2word3)\b”。

因为re依赖于C代码来进行实际的匹配，所以节省的成本是巨大的。

正如@pvg在评论中指出的，也得益于单传匹配。

如果你的话不是regex的话，Eric的回答更快。