在nlp的文本中找到令牌

Question

我在opennlp文档页面中遇到了这个类TokenizerME(http://opennlp.apache.org/documentation/manual/opennlp.html).我不明白怎么计算概率。我用不同的输入测试了它，但仍然不理解。有人能帮我理解它背后的算法吗？我编写了这个示例代码

public void tokenizerDemo(){
    try {
        InputStream modelIn = new FileInputStream("en-token.bin");
        TokenizerModel model = new TokenizerModel(modelIn);
        Tokenizer tokenizer = new TokenizerME(model);
        String tokens[] = tokenizer.tokenize("This is is book");
        for(String t:tokens){
            System.out.println("Token : "+t);
        }
        double tokenProbs[] = ((TokenizerME) tokenizer).getTokenProbabilities();
        for(double tP : tokenProbs){
            System.out.println("Token Prob : "+tP);
        }
    }
    catch (IOException e) {
      e.printStackTrace();
    }
}

我得到了这个输出

令牌：这个

代币：是吗

代币：是吗

代币：书

代币Prob：1.0

代币Prob：1.0

代币Prob：1.0

代币Prob：1.0

我希望令牌“是”被计算两次，其概率应该略高于其他令牌。困惑。

Answer 1

标记器概率与标记器识别标记跨越自身的信心有关：根据标记器模型，该上下文中的字符串是否为标记。字符串开头带有空格的“This”很可能是英语的代词，而后面带有“s”的“Thi”则不是。

概率与特定标记内容被看到的频率无关，只是这个字符序列是否是一个可能的标记。字符串“is is is is is is”很容易对英语进行标记，因为“is”是一个常见的单词，空格是很好的标记边界。就是这样。

如果你对计算n-gram概率感兴趣，你应该看看语言模型。（显然，你仍然需要先标记你的文本。）