在Python中删除停用词的更快方法

Question

我正在尝试从文本字符串中删除停用词：

from nltk.corpus import stopwords
text = 'hello bye the the hi'
text = ' '.join([word for word in text.split() if word not in (stopwords.words('english'))])

我正在处理600万这种字符串，因此速度很重要。分析我的代码，最慢的部分是上面的几行，是否有更好的方法来做到这一点？我正在考虑使用正则表达式之类的东西，re.sub但我不知道如何为一组单词写模式。有人可以帮我忙吗，我也很高兴听到其他可能更快的方法。

注意：我尝试过有人建议用来包裹stopwords.words('english')，set()但这没什么区别。

谢谢。

Answer 1

尝试缓存停用词对象，如下所示。每次调用函数时都要构造它，这似乎是瓶颈。

    from nltk.corpus import stopwords

    cachedStopWords = stopwords.words("english")

    def testFuncOld():
        text = 'hello bye the the hi'
        text = ' '.join([word for word in text.split() if word not in stopwords.words("english")])

    def testFuncNew():
        text = 'hello bye the the hi'
        text = ' '.join([word for word in text.split() if word not in cachedStopWords])

    if __name__ == "__main__":
        for i in xrange(10000):
            testFuncOld()
            testFuncNew()

：我通过探查跑这 蟒蛇-m CPROFILE -s累计test.py 。相关行如下。

nCalls累积时间

10000 7.723个单词.py：7（testFuncOld）

10000 0.140个单词。py：11（testFuncNew）

因此，缓存停用词实例可以使速度提高约70倍。