修复自定义OpenNLP NER模型

Question

我们有一个报告编写工具，我们正在尝试添加搜索功能。基本上，用户可以输入一个问题，并根据句子中的标准返回一份报告。我们正在尽可能地保持开放性，不需要特定的句子结构，这就是为什么我们想尝试OpenNLP-NER。

例如：

“上季度的艺术出勤率是多少？”

标记为：

what was <START:dept> Arts <END> <START:filter> attendance <END> last <START:calc> quarter <END>

我们试着用不同的部门，不同的过滤器等提出不同的问题。。我们还没有达到15k，只有14.6k，所以我们还在努力。

就分析问题而言，这是问题的开始：

InputStream tokenStream = getClass().getResourceAsStream("/en-token.bin"); //$NON-NLS
            TokenizerModel tokenModel = new TokenizerModel(tokenStream);
            Tokenizer tokenizer = new TokenizerME(tokenModel);
            for (String name : modelNames) {
                tokenizedQuestion = tokenizer.tokenize(question);

                String alteredQuestion = question;

                TokenNameFinderModel entityModel = new TokenNameFinderModel(getClass().getResourceAsStream(name));
                NameFinderME nameFinder = new NameFinderME(entityModel);
                Span[] nameSpans = nameFinder.find(tokenizedQuestion);
                for (Span span : nameSpans) {
                    if (span.getType().equals("dept")) { 
                        deptList.add(span);
                    } else if (span.getType().equals("filter")) { 
                        filterList.add(span);
                    } else if (span.getType().equals("calculation"){ 
                        calculationList.add(span);
                    }
                }

现在的问题是，如果你输入“Bugs Bunny last Cartono是什么”，你会得到“Bugs”作为一个部门，“Bunny”作为一个过滤器，“Cartony”作为一个计算。

我猜我们的培训问题彼此相似，现在假设“过去”后面的都是一个部门
1。这是正确的假设吗？有没有更好的方法来训练这些模型
2。将每个实体分解为自己的模型的最佳选择是什么？我确实尝试过这个，有105个单元测试后来失败了，所以希望先尝试一些更简单的东西，哈哈。

我也读了很多关于自定义NER模型的文章，但我发现的大部分是如何启动一个。还有一个关于多实体模型如何不起作用的线索。我忘了帖子在哪里了，我发现在类型中输入null可以在同一个模型中标记多个类型，而且它似乎工作得相当好。

 tokenNameFinderModel = NameFinderME.train("en", null, sampleStream, TrainingParameters.defaultParams(), new TokenNameFinderFactory()); 
 tokenNameFinderModel.serialize(modelOut);

提前感谢任何和所有的帮助！

Answer 1

我们的最终目标是能够针对我们分类的特定单词训练一个模型，并且无论句子结构如何，都必须正确地对每个单词进行分类。在OpenNLP中，我们无法实现这一点。

我猜我们的培训问题彼此相似，现在假设“过去”后面的都是一个部门
1。这是正确的假设吗？有没有更好的方法来训练这些模型？

根据我的测试和结果，我的结论是肯定的，单词的顺序和模式起到了一定的作用。但我没有任何文件支持这一点。我也找不到任何东西可以绕过OpenNLP。

根据经验和测试，我认为尽可能多地使用单独的模型是最好的培训方式。不幸的是，即使采用这种方法，我们仍然无法实现我们的目标。

最终，我们做了些什么来切换到斯坦福德NLP NER模型。您仍然可以围绕特定于域的语言进行自定义实现，并可以选择在属性文件中关闭排序：

usePrev=false
useNext=false
useDisjunctive=false
useSequences=false
usePrevSequences=false

斯坦福大学CoreNLP：培训你自己的定制标签