OpenNLP标记器中的圆括号

Question

我正在使用OpenNLP java将字符串转换为标记。但是，我发现圆括号无法正确识别。

我正在使用的代码：'

InputStream is = new FileInputStream("en-token.bin");
TokenizerModel model = new TokenizerModel(is);
Tokenizer tokenizer = new TokenizerME(model);
String tokens[] = tokenizer.tokenize("the string");`

例如，字符串是“像我这样的人正在关闭新闻”。结果是：像我这样的人正在关闭新闻

未识别“are”的左侧圆括号。此外，例如，“401（k）”转换为“401（k”和“）”。

我还尝试了“SimpleTokenizer”课程。它可以把括号分开，但也可以把“头版”和“头版”分开，这不是我想要的。

我想知道是否有解决办法？

谢谢。

Answer 1

看看这篇文章

它解决了这个问题：非标准的句子结尾（括号）

这意味着这里需要某种预处理！

这里给出了解决方案

他基本上是通过在括号和圆括号的两边加一个空格来标记括号和圆括号，如下所示：

sent = untokenizedParenPattern1.matcher(sent).replaceAll("$1 $2");
sent = untokenizedParenPattern2.matcher(sent).replaceAll("$1 $2");

这不是将空格放在括号两侧的唯一方法，但是这样做预处理可以帮助您获得所需的输出！

如果你的问题解决了，请分享，希望这对你有所帮助！