我如何培养自己的中国模式

Question

我正在尝试通过提到的https://nlp.stanford.edu/software/crf-faq.html来训练我自己的中文NER模型。我将数据转换为每行一个汉字，并在字符后标记实体，它喜欢：

红ORG

帽ORG

首O

席O

执 O

行 O

官 O

吉姆人

怀特赫斯特人

曾 O

表 O

示 O

哦

亚 组织

马 组织

逊 组织

公O

共O

云O

有O

许 O

多 O

在使用命令java-cpstanford-ner.jaredu.stanford.nlp.ie.crf.CRF分类器-proptech.prop之后，它最终生成了类器（chinese.misc.distsim.crf.ser.gz）。然后我检查了类器在带注释的测试数据上是如何工作的，我使用命令java-cpstanford-ner.jaredu.stanford.nlp.ie.crf.CRF分类器-load分类器chinese.misc.distsim.crf.ser.gz-testFiletest.tsv，它似乎可以工作。

但是当我用文本段落而不是使用命令java-cp检查分类器时。jar edu。斯坦福。nlp。我就是。CRFClassizer-loadClassifier中文版。杂项。迪斯特西姆。crf。爵士。gz-textfile测试。txt，似乎分类器没用，它无法识别分词的中文。

我培训新的中国NER模型时有什么问题吗？我认为一个可能的问题是，我将训练数据转换为每行一个汉字。事实上，在中文中，一个汉字不是一个汉字，我应该使用分词中文训练数据，并将数据转换为每行一个汉字，然后标记汉字而不是汉字。

Answer 1

对于处理不同类型的文本输入可能有用的标志是：

-plainTextDocumentReaderAndWriter CLASSNAME Specify a class to read text documents (which extends DocumentReaderAndWriter)
-tokenizerFactory CLASSNAME Specify a class to do tokenization (which extends TokenizerFactory)
-tokenizerOptions "tokenizeNLs=true,asciiQuotes=true" Give options to the tokenizer, such as the two example options here. 

这可能也很有用：https://stanfordnlp.github.io/CoreNLP/human-languages.html

除此之外，你还应该看看SeqClassifierFlags中的中文分词功能。