如何制作快速斯坦福核心NLP API？

Question

public class StanfordCoreNLPTool {


   public static StanfordCoreNLPTool instance;
   private Annotation annotation = new Annotation();
   private Properties props = new Properties();
   private PrintWriter out = new PrintWriter(System.out);;

   private StanfordCoreNLPTool(){}

   public void startPipeLine(String question){
      props = new Properties();
      props.put("annotators", "tokenize, ssplit, pos, lemma, ner, parse,mention,
      dcoref, sentiment");
      annotation = new Annotation(question);
      StanfordCoreNLP pipeline = new StanfordCoreNLP(props);
       // run all the selected Annotators on this text
      pipeline.annotate(annotation);
      pipeline.prettyPrint(annotation, out);
   }

   public static StanfordCoreNLPTool getInstance() {
      if(instance == null){
        synchronized (StanfordCoreNLPTool.class){
            if(instance == null){
                instance = new StanfordCoreNLPTool();
            }
        }
      }
      return instance;
   }
}

它工作得很好，但需要很多时间；假设我们在一个问答系统中使用它，那么对于每一个新的输入，都必须运行pipeAnnotation。正如你所知道的，每次都要提取一些规则，训练一些数据等，以生成一个带有NLP标记的句子，如POS，NER和......

首先，我想用RMI和EJB解决这个问题，但是失败了，因为不管是什么JAVA架构，对于每一个新的句子，pipeAnnotation都应该从头开始学习。查看intellij控制台中打印的日志：

从edu/stanford/nlp/models/pos-tagger/english-left3words/english-left3words-distsim.tagger阅读词性标记器模型...完成[6.1秒]。

从edu/stanford/nlp/models/ner/english.muc.7class.distsim.crf.ser.gz加载分类器...完成[8.7秒]。

从edu/stanford/nlp/models/ner/english.conll.4class.distsim.crf.ser.gz加载分类器...完成[5.0秒]。

信息：阅读25条规则[主]信息edu.stanford.nlp.pipeline.stanfordCorenlp-添加注释器解析[主]信息edu.stanford.nlp.parser.common.parsergrammar--从序列化文件edu/stanford/nlp/models/lexparser/englishpcfg.ser.gz加载解析器...完成[4.1秒]。

请帮助我找到一个解决方案，使程序快速。

Answer 1

这里最大的问题是，startanNotation()方法将两个应该分开的东西组合在一起：

1. 构造注释管道，包括加载大型注释器模型
2. 注释特定文本（一个问题）并打印结果

为了使事情变得更快，这两件事必须分开，因为加载注释管道很慢，但应该只做一次，而注释每一段文本相当快。

null