如何在OpenNLP中创建良好的NER训练模型？

Question

我刚开始使用OpenNLP。我需要创建一个简单的训练模型来识别名称实体。

<START:person> Pierre Vinken <END> , 61 years old , will join the board as a nonexecutive director Nov. 29 .
Mr . <START:person> Vinken <END> is chairman of Elsevier N.V. , the Dutch publishing group .
<START:person> Rudolph Agnew <END> , 55 years old and former chairman of Consolidated Gold Fields PLC ,
    was named a director of this British industrial conglomerate .

<START:person> Robert <END>

<START:person> Maria <END>

<START:person> John <END>

Answer 1

你的第一个问题的答案是，算法工作于句子中的周围上下文（标记）；它不仅仅是一个简单的查找机制。OpenNLP使用最大熵这一多项式logistic回归的一种形式来建立模型。这样做的原因是为了减少“词义歧义”，并在上下文中找到实体。例如，如果我的名字是April,我很容易与四月的月份混淆，如果我的名字是May,那么我会与五月的月份以及动词May混淆。在第一个问题的第二部分，你可以列出一个已知的名称列表，并在一个程序中使用这些名称，该程序查看你的句子并自动注释它们，以帮助你创建一个训练集，然而，单独列出一个名称列表，而不考虑上下文，将无法充分训练模型，或者根本无法训练模型。事实上，有一个名为“ModelBuilder addon”的OpenNLP addon就是为此设计的：您给它一个名称文件，它使用这些名称和一些数据（句子）来训练模型。如果您正在寻找通常不模棱两可的实体的特定名称，那么最好使用列表和类似regex的东西来发现名称，而不是ner。

至于你的第二个问题，有几个选择，但总的来说，我不认为NER是一个很好的工具来描述像性别这样的东西，但如果有足够的训练句子，你可能会得到不错的结果。由于NER使用一个基于句子训练集中的周围标记的模型来建立命名实体的存在，所以它在识别性别方面做不到很多。你最好找到所有的人名，然后引用一个你知道是男性还是女性的名字索引来获得匹配。此外，一些名字，如帕特，既有男性也有女性，在大多数文本数据中，不会表明它是人类还是机器。也就是说，您可以分别创建男模型和女模型，或者可以在同一个模型中创建不同的实体类型。您可以使用如下注释（使用不同的实体类型名male.person和female.person）。我从来没有尝试过这个，但它可能会做得很好，你必须在你的数据上测试它。

<START:male.person> Pierre Vinken <END> , 61 years old , will join the board as a nonexecutive director Nov. 29 .
Mrs . <START:female.person> Maria <END> is chairman of Elsevier N.V. , the Dutch publishing group

ner=命名实体识别

HTH