在opennlp中训练词性标记器

Question

我正在尝试训练opennlp词性标记器，它会根据我的特定词汇在句子中标记单词。例如：

正常词性标注后：

句子：NodeManager/NNP失败/VBD to/TO start/VB the/DT server/NN

使用我的词性标注模型后：

句子：NodeManager/AGENT失败/其他到/其他启动/其他/其他服务器/对象

其中AGENT，OTHER，OBJECT是我定义的标签。

所以基本上我是在定义自己的标签字典。想让POS标签机使用我的模型。

我在apache留档里查过了

我找到了下面的代码

POSModel model = null;

InputStream dataIn = null;
try {
  dataIn = new FileInputStream("en-pos.train");
  ObjectStream<String> lineStream = new PlainTextByLineStream(dataIn, "UTF-8");
  ObjectStream<POSSample> sampleStream = new WordTagSampleStream(lineStream);

  model = POSTaggerME.train("en", sampleStream, TrainingParameters.defaultParams(), null, null);
}
catch(IOException e)
{
   e.printStackTrace();
}
finally {
  if (dataIn != null) {
    try {
      dataIn.close();
    }
    catch (IOException e) {
      // Not an issue, training already finished.
      // The exception should be logged and investigated
      // if part of a production system.
      e.printStackTrace();
    }
  }
}

在这里，当他们打开FileInputStreamen-pos.train，我猜这en-pos.train是一个. bin文件，就像他们以前使用过的所有文件一样，只是它是自定义的。有人能告诉我如何获取. bin文件吗？

或者en-pos.train在哪里？它到底是什么？如何创建它？

我提取了他们通常使用的bin文件

en-pos-maxent.bin.它有我们定义标签字典的xml文件，一个模型文件和一个属性文件。我已经根据我的需要更改了它们，但我的问题是从内容生成. bin文件。

Answer 1

这很简单：

训练自己的模型后，将其转储到一个文件（可以随意调用）：

public void writeToFile(POSModel model, String modelOutpath) {
    try (OutputStream modelOut = new BufferedOutputStream(new FileOutputStream(modelOutpath))) {
        model.serialize(modelOut);
    }
    catch (Exception e) {
        e.printStackTrace();
    }
}

然后加载文件，如下所示：

public POSModel getModel(String modelPath) {
try {
    try (InputStream modelIn = new FileInputStream(modelPath)) {
        POSModel model = new POSModel(modelIn);
        return model;
    }
}
catch (Exception e) {
    e.printStackTrace();
}
return model;

}

现在，您可以使用加载的模型并进行标记。

    public void doTagging(POSModel model, String input) {
    input = input.trim();
    POSTaggerME tagger = new POSTaggerME(model);
    Sequence[] sequences = tagger.topKSequences(input.split(" "));
    for (Sequence s : sequences) {
        List<String> tags = s.getOutcomes();
        System.out.println(Arrays.asList(input.split(" ")) +" =>" + tags);
    }
}

这是一个详细的教程，其中包含有关如何训练和使用您自己的基于Open NLP的POS标记器的完整代码：

https://dataturks.com/blog/opennlp-pos-tagger-training-java-example.php

Answer 2

http://opennlp.apache.org/documentation/1.5.3/manual/opennlp.html#tools.postagger.training.tool

看看这里，你可以通过opennlp应用程序直接创建你的bin文件，命令在网站上给出。