如何在OpenNLP中训练命名实体识别器标识符？

Question

好的，我有以下代码来训练来自OpenNLP的NER标识符

FileReader fileReader = new FileReader("train.txt");
ObjectStream fileStream = new PlainTextByLineStream(fileReader);
ObjectStream sampleStream = new NameSampleDataStream(fileStream);
TokenNameFinderModel model = NameFinderME.train("pt-br", "train", sampleStream, Collections.<String, Object>emptyMap());
nfm = new NameFinderME(model);

我不知道我是否做错了什么，如果缺少什么，但是分类不起作用。我认为train.txt错误。

*发生 *的错误 是所有令牌仅被分类为一种类型。

我的train.txt数据类似于以下示例，但是条目的变化和数量更多。另一件事是，我每次都从文本中逐字逐句地查找，而不是所有标记。

<START:distance> 8000m <END>
<START:temperature> 100ºC <END>
<START:weight> 50kg <END>
<START:name> Renato <END>

有人可以证明我做错了吗？

Answer 1

您的训练数据不正确。

您应该将所有实体放在句子中的上下文中：

At an altitude of <START:distance> 8000m <END> the temperature of boiling water is less than <START:temperature> 100ºC <END> .
The climber <START:name> Renato <END> is carrying <START:weight> 50kg <END> of equipment.

如果您的训练数据来自真实世界的句子，并且具有与您要分类的句子相同的样式，那么您将获得更好的结果。例如，如果您要处理新闻，则应该使用报纸语料库进行培训。

此外，您将需要成千上万的句子来建立模型！也许您可以从一百开始，然后使用较差的模型来改进语料库并再次训练模型。

当然，您应该对句子的所有标记进行分类，否则将没有上下文来确定实体的类型。