分阶段运行斯坦福NLP管道

Question

我试图分多个步骤运行核心管道，以减少昂贵的解析和注释步骤。

我有一个文档集，目前我正在用管道标记和破译它们。这很有效，在一定程度上，我可以利用这些信息做我需要做的事情。

根据我对标记化句子的处理，有些需要解析依赖关系，有些需要解析依赖关系，有些可能被认为不重要而丢弃。

我可以看到依赖关系解析器可以接收一个句子的核心图，然后返回依赖关系图。但在网上阅读时，我发现使用词性标注可以改善句法分析，这当然是有道理的。NER很可能也需要POS？

对我来说，需要NER的句子不需要进行依赖性分析。

然而，POS-tagger似乎无法接受表示标记化句子的CoreMap。

有没有一种方法可以运行词性标记，然后对核心管道中只运行tokenize和ssplit的标记化句子进行NER或依赖项解析？

Answer 1

对于你的问题，我可以给出两个答案。在通常的CoreNLP接口中，您可以只使用某些步骤设置注释管道，然后使用后续步骤设置另一个注释管道，并在代码中的不同点通过每个管道传递文本。例如，第一个可以有注释器“tokenize，ssplit，pos”，第二个可以有注释器“ner”。一旦通过第一条管道传递了注释，就可以通过第二条管道运行它：

Annotation ann = new Annotation("this is a sentence");
StanfordCoreNLP stage1 = new StanfordCoreNLP(new Properties(){{
  setProperty("annotators", "tokenize,ssplit,pos");
}});
stage1.annotate(ann);
// <DO OTHER THINGS>
StanfordCoreNLP stage1 = new StanfordCoreNLP(new Properties(){{
  setProperty("annotators", "ner");
  setProperty("enforceRequirements", "true");
}});
stage2.annotate(ann);

我还可以无耻地插上我在业余时间一直在做的CoreNLP包装：https://github.com/stanfordnlp/CoreNLP/tree/master/src/edu/stanford/nlp/simple.其中一个好处是它对注释的惰性计算。所以，你可以这样做：

import edu.stanford.nlp.simple.*
Sentence s = new Sentence("this is a sentence");
// Loads the POS tagger, but nothing else
String[] tags = s.posTags();
// <DO OTHER THINGS>
// Now, load the NER tagger
String[] nerTags = s.ners();