印度地名识别模型

Question

我计划使用命名实体识别（NER）技术从给定文本中识别人名（大部分是印度名字）。我已经从斯坦福NLP探索了基于CRF的NER模型，但是它在识别印度名字方面并不十分准确。因此，我决定通过监督培训创建自己的自定义NER模型。我对如何使用斯坦福大学的NER CRF创建自己的NER模型有一个大致的想法，但创建一个带有手动注释的大型训练语料库是我想避免的事情，因为这对个人来说是一项巨大的工作，其次，从印度不同的州获得不同的人名也是一个挑战。有人能提出任何自动化/程序化的方法来准备一个至少有10万个印度名字的带标签的训练语料库吗
我已经研究了Facebook和LinkedIn API，但没有找到从给定位置（例如印度）提取10万个用户全名的方法。

Answer 1

建议：你可以尝试利用印度版的维基百科进行培训或自动创建地名录。

我不知道这是否是有效/快速的解决方案，但许多研究利用了维基百科和他的半结构化内容（例如，每个页面都有几个类别的注释）。

你可以看看这些文章，找到一个有趣的想法：https://scholar.google.fr/scholar?q=named基于维基百科的实体识别

Answer 2

这个网站为我们做到了这一点！它为这些问题提供了解决方案：印度语言的挑战。印度语言属于几个语系，主要是印欧语系、印度雅利安语系和德拉维语系。NER面临的挑战来自几个因素。下面列出了一些主要因素——词根识别困难，需要使用形态分析器——没有大写特征——在英语中，大写是主要特征之一，而在印度语言中则没有这种特征——常见名词和专有名词之间的歧义。例如：“Roja”等常用词的意思是“玫瑰花”是一个人的名字拼写变化——在网络数据中，我们发现不同的人对同一实体的拼写不同——例如：在泰米尔人名中，Roja的拼写为“rosa”，“Roja”。提供了整个语料库。

印度语言和英语的命名实体识别

祝你好运，获取zip文件的密码！

干杯！

Answer 3

我最后做了以下工作来创建一个识别印度名字的NER模型。这对于任何想要创建自定义NER模型来识别非英语人名的人来说都是有用的，因为大多数公开可用的NER模型，比如斯坦福NLP的模型，都是用英语名字训练的，因此在识别英语（英国/美国）名字时更准确。

1. 找到一位拥有Twitter账号、在Twitter上拥有大量粉丝的印度名人（就我而言，我选择了Sachin Tendulkar）
2. 用你选择的语言创建一个程序，调用Twitter REST API（GET followers/list），获取名人所有粉丝的名字，并保存到一个文件中。我们可以放心地认为，大多数追随者都是印度人。请注意，有一个API速率限制（每15分钟窗口30个请求），所以应该内置程序来处理这个问题。在我们的例子中，我们开发了一个Windows服务程序，每15分钟运行一次
3. 由于一些Twitter用户的名字可能不是有效的人名，因此建议添加一些基于规则的逻辑（如RegEx）来过滤看似真实的名字，并仅将其添加到文件中
4. 生成实名文件后，创建另一个程序来创建培训数据文件，其中包含标记/注释为PERSON的名称以及注释为OTHER的非实体名称。如果您使用的是Stanford NER CRF分类器，程序应该生成一个包含两列的训练（TSV）文件——一列包含单词（token），第二列提到标签
5. 以编程方式生成训练语料库后，您可以按照以下链接创建自定义的NER模型，以识别印度人的名字：http://nlp.stanford.edu/software/crf-faq.shtml#a