使用spaCy删除含有停止词的名词短语

Question

我一直在用spaCy查找最常用的名词和noun_phrases

在寻找单个名词时，我可以成功地去掉标点符号并停止单词

docx = nlp('The bird is flying high in the sky blue of color')

# Just looking at nouns
nouns = []
for token in docx:
    if token.is_stop != True and token.is_punct != True and token.pos_ == 'NOUN':
        nouns.append(token)

# Count and look at the most frequent nouns #
word_freq = Counter(nouns)
common_nouns = word_freq.most_common(10)

然而，使用noun_chunks来确定短语会导致属性错误

noun_phrases = []
for noun in docx.noun_chunks: 
    if len(noun) > 1 and '-PRON-' not in noun.lemma_ and noun.is_stop:
        noun_phrases.append(noun)

spacy.tokens.span.Span对象没有属性

我理解的性质的消息但我不能为我的生活得到语法正确的地方存在的停止字在一个emmatiated字符串将排除从被附加到noun_phrases列表

不删除停止字的输出

[{'word'：'the bird'，'emma'：'the bird'，'len'： 2}，{'word'：'the sky Blue'，'emma'：'the sky Blue'，'len'： 3}]

预期输出（删除包含停止字的引理，包括“the”

[{}]

Answer 1

您也可以尝试Berkeley自然解析器。https://spacy.io/universe/project/self-attentive-parser我听说，它给了你一个宾州树库解析树。我还被告知，这是缓慢的：-(

此外，如果我没有弄错的话，名词块由代词组成，代词与is_stop_、pos_和tag_一起出现；i、 例如，您可以相应地进行过滤。

我发现名词组块有两个令人沮丧的问题，那就是它在右边的边界上追逐名词，两个名词组块之间有间歇性的“和”！关于第一个问题，它不会把“加州大学”作为一个大块，而是把“大学”和“加州”作为两个独立的名词大块。此外，它不一致，这让我很难过。吉姆·史密斯和贾恩·琼斯可以作为“吉姆·史密斯”加上“贾恩·琼斯”作为两个名词块；这是正确的答案。或者“吉姆·史密斯和贾恩·琼斯”都是一个名词块！？！

Answer 2

你使用的是什么版本的spacy和python？

我使用Python3.6.5和spacy2.0.12在mac高塞拉。您的代码似乎显示了预期的输出。

import spacy
from collections import Counter

nlp = spacy.load('en_core_web_sm')

docx = nlp('The bird is flying high in the sky blue of color')

# Just looking at nouns
nouns = []
for token in docx:
    if token.is_stop != True and token.is_punct != True and token.pos_ == 'NOUN':
        nouns.append(token)

# Count and look at the most frequent nouns #
word_freq = Counter(nouns)
common_nouns = word_freq.most_common(10)

print( word_freq)
print(common_nouns)


$python3  /tmp/nlp.py
Counter({bird: 1, sky: 1, blue: 1, color: 1})
[(bird, 1), (sky, 1), (blue, 1), (color, 1)]

另外，“is_stop”是docx的一个属性。你可以通过

>>> dir(docx)

您可能需要升级spacy及其依赖项，看看这是否有帮助。

此外，飞行代码是一个VERB，所以即使在再梅化之后，它也不会根据您的条件被追加。

token.text, token.lemma_, token.pos_, token.tag_, token.dep_,
          token.shape_, token.is_alpha, token.is_stop
flying fly VERB VBG ROOT xxxx True False

编辑-1

你可以试试这样的。因为我们不能直接在单词块上使用is_stop，所以我们可以逐词遍历每个块，并根据您的要求检查条件。（例如，没有停止词且有长度

noun_phrases = []
for chunk in docx.noun_chunks:
    print(chunk)
    if all(token.is_stop != True and token.is_punct != True and '-PRON-' not in token.lemma_ for token in chunk) == True:
        if len(chunk) > 1:
            noun_phrases.append(chunk)
print(noun_phrases)

结果:

python3 /tmp/so.py
Counter({bird: 1, sky: 1, blue: 1, color: 1})
[(bird, 1), (sky, 1), (blue, 1), (color, 1)]
The bird
the sky blue
color
[]   # contents of noun_phrases is empty here.

希望这能有所帮助。如果所有条件都符合您的要求，您可以调整中的条件。