如何为opennlp解析器创建自己的训练数据

Question

我是opennlp新手，需要帮助来定制解析器

我已经使用了带有预训练模型的opennlp解析器en-pos-maxtent.bin用相应的语音部分标记新的原始英语句子，现在我想自定义标签。

例句：狗跳过墙。

使用en-pos-maxtent.bin进行POS标记后，结果将是

狗-NNP

跳跃-VBD

超过-在

The-DT

wall-NN

但是我想训练我自己的模型并用我的自定义标签标记单词，例如

狗-罪犯

跳-ACT

在OTH

其他的

墙-OBJ

其中PERP、ACT、OTH、OBJ是适合我需要的标签。这可能吗？

我检查了他们留档的部分，他们给出了训练模型并在以后使用它的代码，代码是这样的

try {
  dataIn = new FileInputStream("en-pos.train");
  ObjectStream<String> lineStream = new PlainTextByLineStream(dataIn, "UTF-8");
  ObjectStream<POSSample> sampleStream = new WordTagSampleStream(lineStream);

  model = POSTaggerME.train("en", sampleStream, TrainingParameters.defaultParams(), null, null);
}
catch (IOException e) {
  // Failed to read or parse training data, training failed
  e.printStackTrace();
}

我不明白这个“en-pos.train”是什么？

这个文件的格式是什么？我们可以在这里指定自定义标签吗？或者这个文件到底是什么？

任何帮助都将不胜感激

谢谢

Answer 1

下面是一个详细的教程，包含完整的代码：

https://dataturks.com/blog/opennlp-pos-tagger-training-java-example.php

根据您的域，您可以自动或手动构建数据集。手动构建这样的数据集可能非常痛苦，POS tagger等工具可以帮助简化这个过程。

训练数据格式

培训数据作为文本文件传递，其中每行是一个数据项。每行中的每个单词都应该以“word_LABEL”这样的格式进行标记，单词和标签名称之间用下划线“_”分隔。

anki_Brand overdrive_Brand
just_ModelName dance_ModelName 2018_ModelName
aoc_Brand 27"_ScreenSize monitor_Category
horizon_ModelName zero_ModelName dawn_ModelName
cm_Unknown 700_Unknown modem_Category
computer_Category
Train model

这里的重要类是POSModel，它保存了实际的模型。我们使用类POSTaggerME来进行模型构建。下面是从训练数据文件构建模型的代码

public POSModel train(String filepath) {
  POSModel model = null;
  TrainingParameters parameters = TrainingParameters.defaultParams();
  parameters.put(TrainingParameters.ITERATIONS_PARAM, "100");

  try {
    try (InputStream dataIn = new FileInputStream(filepath)) {
        ObjectStream<String> lineStream = new PlainTextByLineStream(new InputStreamFactory() {
            @Override
            public InputStream createInputStream() throws IOException {
                return dataIn;
            }
        }, StandardCharsets.UTF_8);
        ObjectStream<POSSample> sampleStream = new WordTagSampleStream(lineStream);

        model = POSTaggerME.train("en", sampleStream, parameters, new POSTaggerFactory());
        return model;
    }
  }
  catch (Exception e) {
    e.printStackTrace();
  }
  return null;

}

使用模型进行标记。

最后，我们可以看到该模型如何用于标记不可见的查询：

public void doTagging(POSModel model, String input) {
    input = input.trim();
    POSTaggerME tagger = new POSTaggerME(model);
    Sequence[] sequences = tagger.topKSequences(input.split(" "));
    for (Sequence s : sequences) {
        List<String> tags = s.getOutcomes();
        System.out.println(Arrays.asList(input.split(" ")) +" =>" + tags);
    }
}

Answer 2

记录在http://opennlp.apache.org/documentation/manual/opennlp.html#tools.postagger.training-每行一句话，单词与标签之间用下划线隔开：

About_IN 10_CD Euro_NNP ,_, I_PRP reckon_VBP ._.
That_DT sounds_VBZ good_JJ ._.