使用OpenNLP训练大数据集

Question

我有的数据集。火车文件及其非常大的文件说100MB文件。我想执行NER以提取组织名称。我使用OpenNLP进行了培训。

示例代码：

TokenNameFinderModel model=NameFinderME.train("en","organization",
              sampleStream,Collections.<String, Object>emptyMap()); 

但是我得到了一个错误：ArrayIndexOutofBoundException。

有没有办法使用openNLP for NER来训练大型数据集？你能发布示例代码吗？

当我谷歌时，我发现Class GIS和DataIndexer界面可用于训练大型数据集，但我知道如何训练？你能发布示例代码吗？

Answer 1

我可以用更大的数据创建模型，而不会产生任何问题。您可能对应用程序中的标记有问题。火车文件。另外，如果你能发布完整的例外情况，会有帮助吗？

对于训练更大的模型，我只是校准截止值并增加Java内存。