为Opennlp提供一个名称列表

Question

我正在尝试为我们的公司创建一个聊天机器人，我们可以向这个机器人发送html" target="_blank">消息，然后它使用opennlp解析字符串并运行一些脚本。

例如，一个查询是

"I'm going to work on ProjectY, can you close ProjectX?" 

这应该会触发closeRepo的脚本。用ProjectX参数sh。

我的问题是，它正确地将上述句子分为两部分：

"I'm going to work on ProjectY"

还有“你能关闭ProjectX吗”

然而，并非所有可能的项目都被正确解析。我有一个projectname，opennlp不把它看作NP，而是作为ADVB或其他东西，我想它把它看作一句话：你能快速关闭吗。

这是我的解析代码，我让出模型加载（我使用这里提供的标准模型：http://opennlp.sourceforge.net/models-1.5/）

    String sentences[] = sentenceDetector.sentDetect(input);
    for(int i = 0; i < sentences.length; i++){
        String[] tokens = tokenizer.tokenize(sentences[i]);
        StringBuffer sb = new StringBuffer();
        for(String t : tokens){
            sb.append(t);
            sb.append(' ');
        }
        sb.deleteCharAt(sb.length()-1);//remove last space

        sentences[i] = sb.toString();
    }
    ArrayList<Parse> parses = new ArrayList<Parse>();
    for(String s : sentences){
        Parse topParses[] = ParserTool.parseLine(s, parser, 1);
        if(topParses.length > 0){
            parses.add(topParses[0]);
        }
    }
    return parses;

如果这能让事情变得更简单的话，我愿意改用斯坦福大学的nlp。但我的问题是：

有没有办法给opennlp一个我的项目列表，并让它们被检测为NP或NN？

Answer 1

您可能最好使用OpenNLP句子切块器，它工作得很好，并检查是否有任何名词短语包含您的项目名称之一。像这样的。

import java.io.File;
import java.io.FileInputStream;
import java.io.IOException;
import java.io.InputStream;
import opennlp.tools.chunker.ChunkerME;
import opennlp.tools.chunker.ChunkerModel;
import opennlp.tools.postag.POSModel;
import opennlp.tools.postag.POSTaggerME;
import opennlp.tools.tokenize.TokenizerME;
import opennlp.tools.tokenize.TokenizerModel;
import opennlp.tools.util.Span;

/**
 *
 * Extracts noun phrases from a sentence. To create sentences using OpenNLP use
 * the SentenceDetector classes.
 */
public class OpenNLPNounPhraseExtractor {



  public static void main(String[] args) {

    try {

      String modelPath = "c:\\temp\\opennlpmodels\\";
      TokenizerModel tm = new TokenizerModel(new FileInputStream(new File(modelPath + "en-token.zip")));
      TokenizerME wordBreaker = new TokenizerME(tm);
      POSModel pm = new POSModel(new FileInputStream(new File(modelPath + "en-pos-maxent.zip")));
      POSTaggerME posme = new POSTaggerME(pm);
      InputStream modelIn = new FileInputStream(modelPath + "en-chunker.zip");
      ChunkerModel chunkerModel = new ChunkerModel(modelIn);
      ChunkerME chunkerME = new ChunkerME(chunkerModel);
      //this is your sentence
      String sentence = "Barack Hussein Obama II  is the 44th President of the United States, and the first African American to hold the office.";
      //words is the tokenized sentence
      String[] words = wordBreaker.tokenize(sentence);
      //posTags are the parts of speech of every word in the sentence (The chunker needs this info of course)
      String[] posTags = posme.tag(words);
      //chunks are the start end "spans" indices to the chunks in the words array
      Span[] chunks = chunkerME.chunkAsSpans(words, posTags);
      //chunkStrings are the actual chunks
      String[] chunkStrings = Span.spansToStrings(chunks, words);
      for (int i = 0; i < chunks.length; i++) {
        String np = chunkStrings[i];
        if (np.contains("some project name")) {
          System.out.println(np);
        //do something here
        }
      }


    } catch (IOException e) {
    }
  }

}

顺便说一句，您正在尝试做的事情意味着对统计NLP方法的期望极高。句子分块是基于模型的，如果您的聊天不符合创建模型的数据的一般形状，无论您使用opennlp还是stanford或其他任何东西，您的结果都将是有问题的。听起来您还试图提取与项目名称NP相关的“要采取的行动”，您可以修补动词短语提取。我不建议根据对潜在嘈杂句子的概率解析自动触发sh脚本！