OpenNLP：为多个实体训练自定义NER模型

Question

我正在尝试为多个实体训练自定义NER模型。以下是示例训练数据：

count all <START:item_type> operating tables <END> on the <START:location_id> third <END> <START:location_type> floor <END>
count all <START:item_type> items <END> on the <START:location_id> third <END> <START:location_type> floor <END>
how many <START:item_type> beds <END> are in <START:location_type> room <END> <START:location_id> 2 <END>

NameFinderME。火车方法采用字符串参数类型。这个参数有什么用途？还有，我如何为多个实体（例如，在我的例子中，项目类型，位置类型，位置id）训练一个模型

public static void main(String[] args) {
    String trainingDataFile = "/home/OpenNLPTest/lib/training_data.txt";
    String outputModelFile = "/tmp/model.bin";
    String sentence = "how many beds are in the hospital";

    train(trainingDataFile, outputModelFile, "location_type");
    predict(sentence, outputModelFile);
}

private static void train(String trainingDataFile, String outputModelFile, String tagToFind) {
    File inFile = new File(trainingDataFile);
    NameSampleDataStream nss = null;
    try {
        nss = new NameSampleDataStream(new PlainTextByLineStream(new java.io.FileReader(inFile)));
    } catch (Exception e) {}

    TokenNameFinderModel model = null;
    int iterations = 100;
    int cutoff = 5;
    try {
        // Does the 'type' parameter mean the entity type that I am trying to train the model for?
        // What if I need to train for multiple entities?
        model = NameFinderME.train("en", tagToFind, nss, (AdaptiveFeatureGenerator) null, Collections.<String,Object>emptyMap(), iterations, cutoff); 
    } catch(Exception e) {}

    try {
        File outFile = new File(outputModelFile);           
        FileOutputStream outFileStream = new FileOutputStream(outFile);
        model.serialize(outFileStream);
    }
    catch (Exception ex) {}
}

private static void predict(String sentence, String modelFile) throws Exception {
    FileInputStream modelInToken = new FileInputStream("/tmp/en-token.bin");
    TokenizerModel modelToken = new TokenizerModel(modelInToken);
    Tokenizer tokenizer = new TokenizerME(modelToken); 
    String tokens[] = tokenizer.tokenize(sentence);

    FileInputStream modelIn = new FileInputStream(modelFile);

    TokenNameFinderModel model = new TokenNameFinderModel(modelIn);
    NameFinderME nameFinder = new NameFinderME(model);
    Span nameSpans[] = nameFinder.find(tokens);

    double[] spanProbs = nameFinder.probs(nameSpans);

    for( int i = 0; i<nameSpans.length; i++) {
        System.out.println(nameSpans[i]);
    }

}

Answer 1

对于不包含类型参数的训练数据，type参数用作默认类型。这仅在您有如下示例时才相关：

<START> operating tables <END>

而不是像这样：

<START:item_type> operating tables <END>

开发人员文档中说，要训练多种类型的实体

培训文件可以包含多种类型。如果培训文件包含多种类型，则创建的模型也将能够检测到这些多种类型。目前，建议只培训单一类型的车型，因为多类型支持仍处于试验阶段。

因此，您可以尝试对问题中的样本进行培训，其中包括多种类型，并查看其效果如何。在此邮件列表消息中，有人询问多种类型的培训状态，并得到以下答案：

代码路径本身是稳定的，我们之所以把它放在那里，是因为它在英文数据上没有很好的性能。

无论如何，性能可能在很大程度上取决于您的数据集和语言。

如果处理多个类型的模型性能不佳，另一种方法是创建多个训练数据副本，其中每个副本都被修改为只包含一种类型。然后，您将在每组训练数据上训练一个单独的模型。此时，您应该有一个（例如）项目类型模型、位置类型模型和位置id模型。然后，您可以在每个模型中运行输入，以检测不同的类型。