了解任意短语匹配的Stanford CoreNLP TokensRegex语法

Question

因此，我最近一直在使用NLP，但除了/test/这样非常简单的匹配之外，我在使用它们的regex语法时遇到了麻烦。我正在寻找的最终游戏是匹配在其内容的某个地方包含特定单词的短语。我试图建模的语音模式是非常结构化的，但因为人类的语音是可变的，短语可以以无数种方式开始，但只要短语包含特定的关键词，我就想计算它。作为一个例子，我试图用TokensRegex建模的regex是：

.*(show).*(cars).*(\d{0,9})(km|mi).*

对我来说，从他们的文档中看不出一个复杂的短语可以被构造出来。如果可以的话，我很难看到如何将它转换成他们的语法。我最接近的似乎是这样的：

"[]*/(show)/[]*/(cars)/[]*[word>=0]/(kilometer|miles)/[]"

下面是我用来检查匹配的代码片段：

//value is the regex, tokens is the List<CoreLabel>s of text to try and match
pattern = TokenSequencePattern.compile(value);
TokenSequenceMatcher matcher = pattern.getMatcher(tokens);
while (matcher.find()) {
    String matchedString = matcher.group();
    System.out.println(matchedString);
    return true;
}

当我调试它时，我看到匹配器中的元素是一个CoreLabels列表

(show,me,all,cars,within,a,hundred,kilometers,of,me) 

 (*,TextAnnotation:/show/,*,TextAnnotation:/cars/,*,TextAnnotation GE 0.0, TextAnnotation:/(kilometer[s]?|mile[s]?)/,*)

show me all cars

[]/show/[]/cars/[]

Answer 1

事实证明，我并不直接需要TokensRegex来解决我的问题。我试图解决的关键问题是在短语中挑选数字并转换它们，但我意识到我可以使用CorenLP的NERClassifierCombiner来挑选它们，替换它们，并使用普通的正则表达式来匹配更新的输入短语。下面是我所做的例子，对于像“向我展示15公里内的所有汽车”这样的短语，这将它转换为“向我展示15公里内的所有汽车”：

        Sentence sentence = new Sentence(eventName);
        String serializedClassifier = "english.muc.7class.distsim.crf.ser.gz";
        NERClassifierCombiner combiner = null;
        try {
            combiner = new NERClassifierCombiner(serializedClassifier);
        } catch (IOException e) {
            e.printStackTrace();
        }
        List<String> reconstructedEventTokens = new ArrayList<>();
        for (CoreLabel cl : combiner.classify(sentence.asCoreLabels())) {
            if(cl.ner() == KBPRelationExtractor.NERTag.NUMBER.name){
                reconstructedEventTokens.add(cl.get(CoreAnnotations.NumericCompositeValueAnnotation.class).toString());
            }else{
                reconstructedEventTokens.add(cl.originalText());
            }
        }
        String newEvent = String.join(" ",reconstructedEventTokens);
        System.out.println("matching phrase to check: "+newEvent);
        Pattern pattern = Pattern.compile(value);
        Matcher matcher = pattern.matcher(newEvent);

为了找到NER工具包，我在库里做了更多的挖掘，但它现在像一个魅力一样工作！希望这能帮助其他试图在短语中找到数字或其他实体的人。