我可以从Stanford CorenLP的TokensRegex匹配结果中获得一个实体提及吗？

Question

我想将地址（可能还有其他基于规则的实体）添加到NER管道中，令牌Regex似乎是非常有用的DSL。按照https://stackoverflow.com/a/42604225，我创建了以下规则文件：

ner = { type: "CLASS", value: "edu.stanford.nlp.ling.CoreAnnotations$NamedEntityTagAnnotation" }

{ pattern: ([{ner:"NUMBER"}] [{pos:"NN"}|{pos:"NNP"}] /ave(nue)?|st(reet)?|boulevard|blvd|r(oa)?d/), action: Annotate($0, ner, "address") }

下面是一个scala repl会话，展示了我如何尝试设置注释管道。

@ import edu.stanford.nlp.pipeline.{StanfordCoreNLP, CoreDocument}

@ import edu.stanford.nlp.util.PropertiesUtils.asProperties

@ val pipe = new StanfordCoreNLP(asProperties(
  "customAnnotatorClass.tokensregex", "edu.stanford.nlp.pipeline.TokensRegexAnnotator",
  "annotators", "tokenize,ssplit,pos,lemma,ner,tokensregex",
  "ner.combinationMode", "HIGH_RECALL",
  "tokensregex.rules", "addresses.tregx"))
pipe: StanfordCoreNLP = edu.stanford.nlp.pipeline.StanfordCoreNLP@2ce6a051

@ val doc = new CoreDocument("Adam Smith lived at 123 noun street in Glasgow, Scotland")
doc: CoreDocument = Adam Smith lived at 123 noun street in Glasgow, Scotland

@ pipe.annotate(doc)

@ doc.sentences.get(0).nerTags
res5: java.util.List[String] = [PERSON, PERSON, O, O, address, address, address, O, CITY, O, COUNTRY]

@ doc.entityMentions
res6: java.util.List[edu.stanford.nlp.pipeline.CoreEntityMention] = [Adam Smith, 123, Glasgow, Scotland]

我尝试使用regexner和下面描述的令牌regex来处理它https://stanfordnlp.github.io/corenlp/regexner.html，但似乎无法使其正常工作。

由于我使用的是scala，所以如果有必要，我很乐意深入研究Java API，而不是摆弄属性和资源文件。

Answer 1

是的，我最近添加了一些更改（在GitHub版本中），使这变得更容易！确保从GitHub下载最新版本。尽管我们的目标是很快发布Stanford CorenLP3.9.2，但它将会有这些变化。

如果您阅读本页，您可以了解NerCombinerAnnotator运行的完整的NER管道。

https://stanfordnlp.github.io/corenlp/ner.html

java -Xmx5g edu.stanford.nlp.pipeline.StanfordCoreNLP -annotators tokenize,ssplit,pos,lemma,ner -ner.additional.tokensregex.rules my_ner.rules -outputFormat text -file example.txt

这将在完整命名实体识别过程中运行tokensregex子注释器。然后，当实体提及的最后一步运行时，它将对提取的命名实体规则进行操作，并从中创建实体提及。