将spacy查找与柠檬化句子一起使用？

Question

我输入的句子包含需要匹配的自定义多单词实体，因此为此我使用了优秀的空间查找库。然而，它有一个缺陷；它不能识别句子中作为实体的复数词。例如，如果我将香蕉声明为一个实体，并将蓝色短香蕉作为一个句子，它将不会识别香蕉是一个实体。我目前的“修复”方法是这样做：

# Start by lowering inputLine (just in case) and removing any whitespace trailing/leading.
doc = nlp(inputLine.lower().strip())
# Lemmatize the words so things like bananas => banana.
words = list(map(lambda token: token.lemma_, doc))
lemmatized = ' '.join(words)

基本上是在原来的句子上运行nlp，并将引理串在一起创建一个新句子。然而，这将需要我运行nlp对这个柠檬化的句子，以提取实体与空间查找，这只是感觉。。。错误的我是否在管道中遗漏了一些东西，使spacy查找能够检查引理而不是原始单词，因此只能调用nlp一次？

Answer 1

您可以使用NLTK模块中的WordNet lemmatizer，如下所示：

>>> import nltk
>>> from nltk.stem import WordNetLemmatizer
>>>
>>> wordnet_lemmatizer = WordNetLemmatizer()
>>> wordnet_lemmatizer.lemmatize("bananas")
banana

根据你的例子，你可以这样做：

sentence = "short blue bananas"
for word in sentence.split(" "):
    word = word.lower()
    print(wordnet_lemmatizer.lemmatize(word))

它会打印短蓝香蕉

如果您不知道如何使用nltd k...请遵循以下步骤：

1. 通过运行pip Install NLTK
2. 打开终端并键入以下内容以下载NLTK中流行的软件包

$ python
Python 3.6.5 |Anaconda, Inc.| (default, Apr 29 2018, 16:14:56) 
[GCC 7.2.0] on linux
Type "help", "copyright", "credits" or "license" for more information.

>>> import nltk
>>> nltk.download('popular')
>>> nltk.download('wordnet')

Answer 2

spacy-lookup直接在README（接近用法部分的末尾）中说：“spacy-lookup只关心令牌文本”

您必须更改spacy查找以使其执行您想要的操作，在这里：

matches = self.keyword_processor.extract_keywords(doc.text, span_info=True)

您可能会更改doc。文本到此处的其他内容（例如，'.join（[token.lemma u; for token in doc]）），但是您会遇到问题，因为空间查找依赖于文档文本中的字符偏移来处理实体跨距，因此您必须重新进行实体跨距检测/合并，使其使用标记偏移，而不是字符偏移来将实体与原始文档文本对齐。（这是可行的，但有点麻烦。）

如果只需要实体查找，可以使用spacy（或NLTK或其他方法）生成引理，然后使用flashtext自己查找实体，完全跳过spacy查找。如果你不需要任何进一步的空间分析，那么这将是最简单的选择。

其他注意事项：

>

spacy lookup似乎有一个不区分大小写的搜索选项（通过传递给flashtext的选项）

如果你想使用spacy，如果spacy的柠檬化技术足以满足你的需要（仔细检查！），没有必要改用NLTK；您可以创建一个更快的管道来禁用不需要的组件：

nlp = spacy.load('en', disable=['tagger', 'parser', 'ner'])