使用空格添加/删除自定义停用词

Question

用spacy添加/删除停用词的最佳方法是什么？我正在使用token.is_stop函数，并希望对集合进行一些自定义更改。我正在查看文档，但找不到有关停用词的任何内容。谢谢！

Answer 1

您可以在像这样处理文本之前编辑它们（请参阅此文章）：

>>> import spacy
>>> nlp = spacy.load("en")
>>> nlp.vocab["the"].is_stop = False
>>> nlp.vocab["definitelynotastopword"].is_stop = True
>>> sentence = nlp("the word is definitelynotastopword")
>>> sentence[0].is_stop
False
>>> sentence[3].is_stop
True

注意：这似乎在<= v1.8时有效。对于较新的版本，请参阅其他答案。