有没有一种方法可以使用TokensRegex将多个令牌重新标记组合成一个？

Question

我想将具有相同命名实体注释的连续令牌（例如，斯坦福大学，其中两个令牌“斯坦福”和“大学”都有NE“组织”）组合成一个单一的令牌，这样我就有了NE“组织”的“斯坦福大学”。有没有一种方法可以用令牌regex做到这一点？

谢了！

Answer 1

您希望使用EntityMentions注释器，它将为您完成这一工作，并从文本中提取完整的实体。

示例代码：

package edu.stanford.nlp.examples;

import edu.stanford.nlp.pipeline.*;
import edu.stanford.nlp.ling.*;
import edu.stanford.nlp.util.*;

import java.util.*;

public class EntityMentionsExample {

  public static void main(String[] args) {
    Annotation document =
        new Annotation("John Smith visted Los Angeles on Tuesday.");
    Properties props = new Properties();
    props.setProperty("annotators", "tokenize,ssplit,pos,lemma,ner,entitymentions");
    StanfordCoreNLP pipeline = new StanfordCoreNLP(props);
    pipeline.annotate(document);

    for (CoreMap entityMention : document.get(CoreAnnotations.MentionsAnnotation.class)) {
      System.out.println(entityMention);
    }
  }
}