如何在OpenNLP中进行嵌套命名实体识别？

Question

我目前正在从事一个java web服务器项目，该项目需要使用自然语言处理，特别是实体识别（Entity Recognition，NER）。

我在java中使用OpenNLP，因为添加自定义训练数据很容易。它工作得很好。

然而，我还需要能够提取实体内部的实体（嵌套命名实体识别）。我试着在OpenNLP中这样做，但我遇到了解析错误。所以我猜OpenNLP很遗憾不支持嵌套实体。

下面是一个我需要解析的示例：

提醒我[开始：提醒]给[开始：联系]约翰[结束]和[开始：联系]查理[结束][结束]一些礼物。

如果OpenNLP无法实现这一点，是否有任何其他JavaNLP库可以做到这一点。如果根本没有Java库，是否有任何其他语言的NLP库可以做到这一点？

请帮忙。谢谢

Answer 1

使用以下python源代码（python 3）https://gist.github.com/ttpro1995/cd8c60cfc72416a02713bb93dff9ae6f

可以为您创建多个非嵌套版本的嵌套数据。

对于下面的输入句子（输入数据必须首先标记化，所以和周围的东西之间有空格）

Remind me to <START:reminder> give some presents to <START:contact> John <END> and <START:contact> Charlie <END> <END> .

它输出多个不同嵌套级别的句子。

Remind me to give some presents to John and Charlie .
Remind me to <START:reminder> give some presents to John and Charlie <END> .
Remind me to give some presents to <START:contact> John <END> and <START:contact> Charlie <END> .

完整的源代码在这里快速复制粘贴

import sys

END_TAG = 0
START_TAG = 1
NOT_TAG = -1

def detect_tag(in_token):
    """
    detect tag in token
    :param in_token:
    :return:
    """
    if "<START:" in in_token:
        return START_TAG
    elif "<END>" == in_token:
        return END_TAG

    return NOT_TAG

def remove_nest_tag(in_str):
    """
    với <START:ORGANIZATION> Sở Cảnh sát Phòng cháy , chữa cháy ( PCCC ) và cứu nạn , cứu hộ <START:LOCATION> Hà Nội <END> <END>
    :param in_str:
    :return:
    """
    state = 0
    taglist = []
    tag_dict = dict()
    sentence_token = in_str.split()
    ## detect token tag
    max_nest = 0

    for index, token in enumerate(sentence_token):
        # print(token + str(detect_tag(token)))
        tag = detect_tag(token)
        if tag > 0:
            state += 1
            if max_nest < state:
                max_nest = state
            token_info = (index, state, token)
            taglist.append(token_info)
            tag_dict[index] = token_info
        elif tag == 0:
            token_info = (index, state, token)
            taglist.append(token_info)
            tag_dict[index] = token_info
            state -= 1


    generate_sentences = []
    for state in range(max_nest+1):
        generate_sentence_token = []
        for index, token in enumerate(sentence_token):
            if detect_tag(token) >= 0: # is a tag
                token_info = tag_dict[index]
                if token_info[1] == state:
                    generate_sentence_token.append(token)
            elif detect_tag(token) == -1 : # not a tag
                generate_sentence_token.append(token)
        sentence = ' '.join(generate_sentence_token)
        generate_sentences.append(sentence)
    return generate_sentences


    # generate sentence
    print(taglist)

def test():
    tstr2 = "Remind me to <START:reminder> give some presents to <START:contact> John <END> and <START:contact> Charlie <END> <END> ."
    result = remove_nest_tag(tstr2)
    print("-----")
    for sentence in result:
        print(sentence)

if __name__ == "__main__":
    """
    un-nest dataset for opennlp name
    """
    # test()
    # test()
    if len(sys.argv) > 1:
        inpath = sys.argv[1]
        infile = open(inpath, 'r')
        outfile = open(inpath+".out", 'w')
        for line in infile:
            sentences = remove_nest_tag(line)
            for sentence in sentences:
                outfile.write(sentence+"\n")
        outfile.close()
    else:
        print("usage: python unnest_data.py input.txt")

Answer 2

为了实现名称实体识别（基于Java），我使用以下方法：

1. Apache UIMA
2. ClearTK

https://github.com/merishav/cleartk-tutorials

您可以为您的用例培训模型，我已经为NER培训了人员、地点、出生日期和职业。ClearTK为您提供了malletcrf分类器的包装。

Answer 3

简单的回答是：

1. 这无法使用openNLP NER来实现，因为它使用BIO标记方案，因此仅适用于连续实体。
2. 我不知道任何语言的图书馆能够做到这一点。

我认为你对实体的概念延伸得太多了，它通常与人、地方、组织、基因名称等联系在一起。但与文本中复杂结构的识别无关。

为此，您需要考虑更详细的解决方案，考虑句子的语法结构，这可以使用OpenNLP中的解析器获得，并且可能将其与NER进程的输出结合起来。