动态添加属性到StanfordCoreNLP注释器或管道

Question

低于我的情况。

我有一个处理文本的类文本处理器。我需要在这样的文本中找到相关的引用，然后用斯坦福大学的OpenIE工具提取信息。我使用这两条管道：

“标记化、ssplit、pos、引理、ner、解析、提及、coref”表示共指。

和

用于信息提取的“标记化、ssplit、pos、引理、depparse、natlog、openie”。

单独使用它们来分析单个文本需要很多时间，但目前我必须这样做，因为同时使用它们需要大量内存，管道将超出我的内存限制。

public class TextProcessor(){
    Properties props;
    StanfordCoreNLP pipeline;

    public TextProcessor() {
        props = new Properties();
        props.setProperty("annotators", "tokenize,ssplit,pos,lemma,ner,parse,mention,coref");
        pipeline = new StanfordCoreNLP(props);
    }


    // Performs NER and COREF 
     public void process(String text) {
         Annotation document = new Annotation(malware.getDescription());
         pipeline.annotate(document);

         // Process text (tokenization, pos, lemma, ner, coref)....
     }

     public void extractInformation(String document) {
         props = new Properties();
         props.setProperty("annotators", "tokenize,ssplit,pos,lemma,depparse,natlog,openie");
         pipeline = new StanfordCoreNLP(props);

         Annotation doc = new Annotation(document);
         pipeline.annotate(doc);

         // Extract informations from doc ...
    }

有没有办法把这两条管道动态地连接起来？我是说，像这样的：

1） “标记化、ssplit、pos、引理、ner、depparse、提纲、coref”

2） “标记化、ssplit、pos、引理、ner、depparse、提纲、coref、natlog、openie”。

我试图从第一个方法process（String text）返回一个注释对象，然后在方法extractInformation（String text）中向其添加其他三个属性，如下所示：

     public Annotation process(String text) {
         Annotation document = new Annotation(malware.getDescription());
         pipeline.annotate(document);

         // Process text (tokenization, pos, lemma, ner, coref)....
         return document;
     }

     public void extractInformation(Annotation document) {
         props.setProperty("annotators","depparse,natlog,openie");
         pipeline = new StanfordCoreNLP(props);
         pipeline.annotate(document);

         // Extract informations from doc ...
    }

但是我得到了这个错误：

注释器“depparse”需要注释“TextAnnotation”。此注释器的通常要求是：标记化、ssplit、pos。

我原以为将新的三个属性（depparse、natlog、openie）添加到一个已经注释过的文档（带有tokenize、ssplit、pos）会起作用，但事实并非如此。

那么，有没有办法将这些属性添加到最旧的管道中，避免再次执行所有管道（加上新属性）并避免内存超出其边界？

更新

我所需要做的就是

     public Annotation process(String text) {
         Annotation document = new Annotation(malware.getDescription());
         pipeline.annotate(document);

         // Process text (tokenization, pos, lemma, ner, coref)....
         StanfordCoreNLP.clearAnnotatorPool(); // <-- Added: to get rid of the models and solve the memory issue
         return document;
     }

     public void extractInformation(Annotation document) {
         props.setProperty("annotators","natlog,openie");

         props.setProperty("enforceRequirements", "false") //<-- Added

         pipeline = new StanfordCoreNLP(props);
         pipeline.annotate(document);

         // Extract informations from doc ...
    }

或者，您可以使用：

pipeline = new StanfordCoreNLP(props, false);

在提取信息（注释文档）中。

Answer 1

听起来像是要构建第一个管道，在一组文档上运行它，清除内存，然后构建第二个管道，在一组文档上运行它。

如果在同一组注释上运行第二个管道，它只会选择第一个管道完成的位置。但是您需要将enforceRequirements设置为false，这样第二条管道就不会崩溃。同样，在使用完第一个管道之后，应该运行StanfordCoreNLP。clearAnnotatorPool（）删除模型，否则无法解决内存问题。