如何在OpenNLP中初始化令牌模型？

Question

我正在用Java编程一个名词短语提取器，并试图使用OpenNLP库来标记名词。不幸的是，OpenNLP的文档非常混乱。目前，我只是在标记一串英文文本。文档中让我使用类似的方法初始化令牌模型：

InputStream modelIn = new FileInputStream("en-token.bin");

try {
TokenizerModel model = new TokenizerModel(modelIn);
}
catch (IOException e) {
   e.printStackTrace();
}
finally {
  if (modelIn != null) {
    try {
      modelIn.close();
    }
    catch (IOException e) {
    }
 }
}

Tokenizer tokenizer = new TokenizerME(model);

String tokens[] = tokenizer.tokenize("An input sample sentence.");

我在这里困惑的是“en token.bin”是什么，以及在哪里可以找到它。它应该包含在压缩文件的原始下载中吗？还是我必须从OpenNLP的网站下载？

以下是文档的链接：https://opennlp.apache.org/documentation/1.5.3/manual/opennlp.html#tools.tokenizer

如果你能给我任何帮助，我将不胜感激。提前谢谢你！

Answer 1

你可以在http://opennlp.sourceforge.net/models-1.5/.由于许可原因，它们不是Apache原始下载的一部分。