使用openNLP（默认模型）进行命名实体识别

Question

有人能指出openNLP NameFinder模块使用的算法吗？代码很复杂，只有很少的文档记录，并且将其作为黑匣子（提供默认模型）使用给我的印象是它主要是启发式的。以下是一些输入和输出示例：

输入：

约翰·史密斯很沮丧。

约翰·史密斯很沮丧。

巴拉克·奥巴马感到沮丧。

乌戈·查韦斯很沮丧。（不再）

杰夫·阿特伍德很沮丧。

刘冰对openNLP NER模块感到失望。

诺姆·乔姆斯基对这个世界感到沮丧。

杰登·史密斯很沮丧。

史密斯·杰登很沮丧。

Lady Gaga很沮丧。

加加感到沮丧。

嘎嘎夫人很沮丧。

杰登很沮丧。

刘先生很沮丧。

输出（我将菱形改为方括号）：

约翰·史密斯感到沮丧。

约翰·史密斯很沮丧。

巴拉克·奥巴马（Barak Obama）感到沮丧。

乌戈·查韦斯很沮丧。（不再）

杰夫·阿特伍德（Jeff Atwood）感到沮丧。

刘冰对openNLP NER模块感到失望。

诺姆·乔姆斯基对这个世界感到沮丧。

杰登[开始：人]史密斯[结束]感到沮丧。

[START:person]史密斯[END][START:person]杰登[END]感到沮丧。

Lady Gaga很沮丧。

加加感到沮丧。

嘎嘎夫人很沮丧。

杰登很沮丧。

刘先生很沮丧。

该模型似乎只是简单地学习在训练数据中注释的固定名称列表，并允许一些平铺和组合。两个值得注意的例子是：

1. 先生和夫人等强名称指标被忽略
2. Jayden（#2011年美国最流行的4个名字）没有被识别，而下面的“Smith”（在“Jayden Smith…”中）已确认。我怀疑这个模型“认为”句子开头大写的Jayden应该是句子开头，而不是应该是一个NE。颠倒顺序，“Smith Jayden”作为提示（假设为1），openNLP将其标识为两个不同的NEs，不同于“John Smith”等其他全名，可能暗示“Smith”在姓氏列表中

-

另外，斯坦福大学和UIUC NER系统都表现得更好，有一些有趣但离题的细微差异（这个问题太长了）

Answer 1

顾名思义，NameFinderME使用最大熵模型。这是关于ME的开创性论文。

如果OpenNLP的性能不符合您的要求，并且您不能使用斯坦福大学或UIUC NERs，我建议您使用CRF尝试Mallet。这个示例代码应该可以帮助您开始。