功能vs实词

Question

我已经在使用StanfordCoreNLP，所以如果可能的话，我想利用它。

更具体地说，我应该使用哪一个注释器，它将如何标记内容/词汇词？

我试过pos，但它没有区分功能词和内容词。

PPS.我使用pyconlp。

Answer 1

虚词（停用词）通常是手工整理的，因为它们因域而异。您可以在NLTK中找到一个通用列表。CoreNLP这里也有一个

from nltk.corpus import stopwords
stops = stopwords.words('english')

但是，您仍然应该查看它们，看看它们对您的用例是否有意义。我最近一直在使用技术语言，所以我从我的列表中删除了“it”，因为“it”是这个领域的首字母缩略词，因此是一个内容词。

对于您的注释器，您可以使用通用的TokenizerAnnotator，它将您的文本拆分为“单词”。然后，您可以检查每个单词，看看它是否存在于停止词列表中。如果您正在使用字符串，只需尝试在空格上拆分它们，并移除或标记停顿字，作为一种内脏检查。