有没有可能训练Stanford NER系统识别更多命名实体类型？

Question

我现在正在使用一些NLP库（stanford和nltk）stanford我看到了演示部分，只是想问一下是否可以使用它来识别更多的实体类型。

因此，目前斯坦福大学的NER系统（如演示所示）可以将实体识别为个人（姓名）、组织或位置。但被认可的组织仅限于大学或一些大型组织。我想知道我是否可以使用它的API来编写更多实体类型的程序，比如如果我输入的是“Apple”或“Square”，它就可以识别出它是一家公司。

我必须制作自己的训练集吗？

此外，如果我想提取实体及其相互之间的关系，我觉得应该使用斯坦福依赖解析器。我的意思是，首先提取命名实体和其他标记为“名词”的部分，并找出它们之间的关系。

我说得对吗？

谢谢

Answer 1

似乎你想训练你的定制模型。

下面是一个详细的教程，包含完整的代码：

https://dataturks.com/blog/stanford-core-nlp-ner-training-java-example.php?s=so

训练数据格式

训练数据作为文本文件传递，其中每行是一个单词标签对。行中的每个单词都应该以“word\t标签”的格式进行标记，单词和标签名称之间用一个制表符“\t”分隔。对于文本句子，我们应该将其分解为单词，并在训练文件中为每个单词添加一行。为了标记下一行的开始，我们在培训文件中添加了一个空行。

这是输入训练文件的示例：

hp  Brand
spectre ModelName
x360    ModelName

home    Category
theater Category
system  0

horizon ModelName
zero    ModelName
dawn    ModelName
ps4 0

根据您的域，您可以自动或手动构建这样的数据集。手动构建这样的数据集可能非常痛苦，像NER注释工具这样的工具可以帮助简化这个过程。

列车模型

public void trainAndWrite(String modelOutPath, String prop, String trainingFilepath) {
   Properties props = StringUtils.propFileToProperties(prop);
   props.setProperty("serializeTo", modelOutPath);

   //if input use that, else use from properties file.
   if (trainingFilepath != null) {
       props.setProperty("trainFile", trainingFilepath);
   }

   SeqClassifierFlags flags = new SeqClassifierFlags(props);
   CRFClassifier<CoreLabel> crf = new CRFClassifier<>(flags);
   crf.train();

   crf.serializeClassifier(modelOutPath);
}

使用模型生成标记：

public void doTagging(CRFClassifier model, String input) {
    input = input.trim();
    System.out.println(input + "=>"  +  model.classifyToString(input));
}  

希望这有帮助。

Answer 2

你可以很容易地训练自己的数据集。

在斯坦福NER常见问题解答中，第一个问题是如何训练我们自己的NER模型

链接是http://nlp.stanford.edu/software/crf-faq.shtml

例如，你可以给出训练数据，比如

O
Microsoft ORG的产品OBJ

同样，你也可以建立自己的训练数据，建立一个模型，然后使用它来获得所需的输出

Answer 3

是的，你需要自己的训练器材。经过预培训的斯坦福模型只会将“斯坦福”一词识别为命名实体，因为他们已经在将该词（或根据他们使用的功能集非常相似的词，我不知道是什么）标记为命名实体的数据上进行了培训。

一旦你有了更多的数据，你需要把它放在这个问题和斯坦福大学教程中描述的正确格式中。