Stanford解析器-多线程问题-词汇化解析器

Question

首先，根据句子的大小，解析在小的句子集上平稳运行--从200ms到1s的顺序。

我想实现什么？

我想在1-2小时内解析50L个句子。

不知怎么的，我需要把这个转换成->

            for(String sentence: sentences){
               Tree parsed = AnalysisUtilities.getInstance().parseSentence(job).parse;
            }

转换为多线程调用。我编写了一个多线程执行器来做这件事，它看起来像这样->

                MultiThreadExecutor<String> mte = new MultiThreadExecutor<String>(2, new JobExecutor<String>() {
                @Override
                public void executeJob(String job) {
                    Tree parsed = AnalysisUtilities.getInstance().parseSentence(job).parse;
                    inputTrees.add(parsed);
                }
            }, "");


            for(String sentence: sentences){
                mte.addJob(sentence);
            }

有什么办法可以做到吗？我能回答先前提出的问题，但没有什么好处。

Answer 1

下面是一个将在多线程模式下运行解析器的示例命令：

java -Xmx4g edu.stanford.nlp.pipeline.StanfordCoreNLP -annotators tokenize,ssplit,pos,lemma,ner,parse -parse.nthreads 4 -ssplit.eolonly -file some-sentences.txt -outputFormat text