OpenNLP标记器不检测属于一起的单词？

Question

我是NLP新手，我遇到了OpenNLP。根据我的理解，标记化意味着将文本分割成单词和句子。单词通常用空格隔开，但并非所有空格都相等。例如，洛杉矶在一个人的思想中不考虑空白。但每当我运行OpenNLP标记器时，它都会为洛杉矶创建两个不同的标记：Los

InputStream inputStream = new FileInputStream("C:\\apache-opennlp-1.9.0\\Models\\en-token.bin"); 
TokenizerModel tokenModel = new TokenizerModel(inputStream);
//Instantiating the TokenizerME class 
TokenizerME tokenizer = new TokenizerME(tokenModel);

String tokens[] = tokenizer.tokenize(sentence2);

for(String token : tokens) {
     System.out.println(token);
}

以下是输出：

The
city
of
Los
Angeles
is
one
of
the
most
beautiful
places
in
California

我在线测试了其他一些标记化器，它们产生相同的输出。如果不是标记化，识别这两个词属于一起的过程是什么？

Answer 1

正如你所注意到的，英语标记化者基本上总是将空格视为分隔词。您可以使用一个智能标记器来检查是否应该拆分splace，但通常在NLP管道中（对于使用空格的语言），标记器尽可能简单。在标记化之后，将已分离的单词连接在一起将是一个单独的步骤。

找到应该连接的单词，如“洛杉矶”，通常被称为短语检测或搭配检测。短语本身在学术写作中通常被称为多词表达。OpenNLP似乎没有任何与MWE相关的功能，但Gensim有一个易于使用的短语功能，它们链接到它们实现所基于的论文。斯坦福大学的CoreNLP也有一个用于该任务的库。

Answer 2

opennlp提供了“TokenizerTrainer”工具来训练数据。OpenNLP格式每行包含一句话。还可以指定由空格或特殊标记分隔的标记。

在opennlp中，您可以出于各种目的关注这个博客，以获得领先。这篇文章将向你展示如何创建培训文件和构建新模型。

您可以使用modelbuilder插件轻松创建自己的训练数据集，并遵循此处提到的一些规则来训练并创建一个好的NER模型。

你可以在这里找到一些使用modelbuilder插件的帮助。

基本上，你把所有的信息放在一个文本文件中，把实体放在另一个文本文件中。该插件搜索特定的实体，并将其替换为所需的标记。因此产生标记数据。使用这个工具一定很容易！

此外，按照markg先生的答案来理解如何自己创建新模型。这将帮助你建立自己的模型，可以为你的应用定制。

希望这有帮助！

Answer 3

在线呈现的基本单词标记器通常通过看到空格将句子拆分为单词。为了解决具有物理意义的单词（如洛杉矶或新德里等）不应被拆分的情况，我们可以自己编写一个函数，在拆分单词后，查找包含具有物理意义的单词的某种词典，并尝试将这些单词组合成一组。