自定义OpenNLP名称查找器识别训练集中的数据，但不识别测试集中的数据

Question

所以我最终将OpenNLP纳入了我的项目，我已经成功地在15k行训练数据上训练了我的模型，存储了它，并且可以在我想用它来识别程序中的实体时加载它！

我用它来识别标签，所以我的训练数据是这样的：

    ...
    Jim , I know you to be a fighter <START:HASHTAG> #usmarine <END> @ USMC Kira has your strength & amp ; ours @ t1r1u1t1h R love 2 U , Kira & amp ; 
    What has changed that people from your JAMAT are insulting Hindu GODS and GODDESSES . Calling our Religion names ... . 
    Ibtihaj represented the United States of America at the Olympics and brought home a medal , elevating the status of 
    A story point is a metric used in agile project management and development to determine ( or estimate ) the difficul 
    I 'm not shy or quiet , I just do n't find your mind appealing in any way shape or form and I 'm not gon na force a conv 
    <START:HASHTAG> #paradisepapers <END> , Canadian Taxpayers Federation ( CTF ) & amp ; tax reform `` CTF has not uttered even a single shocked-and-a 
    ...

我发现，如果传递的句子不直接在我的训练集中，则模型无法识别任何标签，例如：

String paragraph = "Take a shot for #harambe he took one for you!";

它将无法识别本例中的标签，即使我进行了检查，并且在我的培训数据中使用了一个#harambe实例。

但是，如果我直接从训练数据中传递一句话：

String nameParagraph = "Idk whats funnier the #harambe or the fact that Im the only one who will see my page https : t.co/2eWjm6mOon ";

它将能够通过正确地将#harambe识别为HASHTAG来识别它。

我希望我的模型能够识别所有的标签，因此我不想给它提供更多的#harambe标签实例，以便它能够识别单个标签。

关于如何让我的模型正确识别不在训练集中的新实体，有什么建议吗？提前谢谢！

Answer 1

我不知道你为什么要对确定性问题进行统计建模。jbird7提到使用正则表达式，你也可以：

使用WhitespaceTokenizer标记您的文本

遍历字符串数组，查看字符串的第一个字符（是#）。

\\ create a Tokenizer
Tokenizer tokenizer=WhitespaceTokenizer.INSTANCE
String[] tokens = tokenizer.tokenize(text)

\\ use old-style loop for span creation
List<Span> spans = new ArrayList<Span>()
for (int i=0;i<tokens.length;i++){
   if (token.charAt(0) == '#') spans.add(new Span(i,i+1,"HashTag"))
}
Span[] foundTags = spans.toArray(new Span[spans.size])

此时，您应该具有与HashTagNameFinder完全相同的输出。如果有语法错误，请原谅。代码应该让您知道您想做什么。