使用命名实体的列车模型

Question

我正在使用命名实体重新识别器查看斯坦福corenlp。我有不同类型的输入文本，我需要将其标记到我自己的实体中。所以我开始训练我自己的模型，但它似乎不起作用。

例如：我的输入文本字符串是“关于丰田陆地巡洋舰1956-1987黄金投资组合的49篇杂志文章之书”http://t.co/EqxmY1VmLg http://t.co/F0Vefuoj9Q"

我通过这些例子来训练自己的模型，只寻找一些我感兴趣的单词。

我jane-austen-emma-ch1.tsv长这样

Toyota  PERS
Land Cruiser    PERS

从上面的输入文本中，我只对这两个词感兴趣。一个是丰田，另一个是陆地巡洋舰。

austin.prop是这样的

trainFile = jane-austen-emma-ch1.tsv
serializeTo = ner-model.ser.gz
map = word=0,answer=1
useClassFeature=true
useWord=true
useNGrams=true
noMidNGrams=true
useDisjunctive=true
maxNGramLeng=6
usePrev=true
useNext=true
useSequences=true
usePrevSequences=true
maxLeft=1
useTypeSeqs=true
useTypeSeqs2=true
useTypeySequences=true
wordShape=chris2useLC

运行以下命令生成ner-model.ser.gz文件

Java-cpstanford-corenlp-3.4.1.jaredu.stanford.nlp.ie.crf.CRFhtml" target="_blank">分类器-propausten.prop

public static void main(String[] args) {
        String serializedClassifier = "edu/stanford/nlp/models/ner/english.muc.7class.distsim.crf.ser.gz";
        String serializedClassifier2 = "C:/standford-ner/ner-model.ser.gz";
        try {
            NERClassifierCombiner classifier = new NERClassifierCombiner(false, false, 
                    serializedClassifier2,serializedClassifier);
            String ss = "Book of 49 Magazine Articles on Toyota Land Cruiser 1956-1987 Gold Portfolio http://t.co/EqxmY1VmLg http://t.co/F0Vefuoj9Q";
            System.out.println("---");
            List<List<CoreLabel>> out = classifier.classify(ss);
            for (List<CoreLabel> sentence : out) {
              for (CoreLabel word : sentence) {
                System.out.print(word.word() + '/' + word.get(AnswerAnnotation.class) + ' ');
              }
              System.out.println();
            }

        } catch (ClassCastException e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        }  catch (Exception e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        }

    }

这是我得到的结果

Book/PERS of/PERS 49/O Magazine/PERS Articles/PERS on/O Toyota/PERS Land/PERS Cruiser/PERS 1956-1987/PERS Gold/O Portfolio/PERS http://t.co/EqxmY1VmLg/PERS http://t.co/F0Vefuoj9Q/PERS

我认为这是错误的。我正在寻找丰田/PERS和陆地巡洋舰/PERS（这是一款多值的汽车）。

谢谢你的帮助。任何帮助都是非常感激的。

Answer 1

NERClassifier*是单词级的，也就是说，它标记单词，而不是短语。鉴于此，分类器的性能似乎很好。如果需要，可以将构成短语的单词连字符。所以在你的标签示例和测试示例中，你会把“陆地巡洋舰”改为“陆地巡洋舰”。

Answer 2

我认为您还应该在trainFile中添加0实体的示例。正如您所给出的，trainFile对于学习来说太简单了，它需要0和PERSON两个示例，所以它不会将所有内容都注释为PERSON。你不是在教它关于你不感兴趣的实体。比如说：

Toyota  PERS
of    0
Portfolio    0
49    0

等等

此外，对于短语级识别，你应该查看regexner，在那里你可以有模式（模式对我们有好处）。我正在使用API进行这项工作，我有以下代码：

Properties props = new Properties();
props.put("annotators", "tokenize, ssplit, pos, lemma, ner, regexner");
props.put("regexner.mapping", customLocationFilename);

使用以下customLocationFileName：

Make Believe Town   figure of speech    ORGANIZATION
( /Hello/ [{ ner:PERSON }]+ )   salut   PERSON
Bachelor of (Arts|Laws|Science|Engineering) DEGREE
( /University/ /of/ [{ ner:LOCATION }] )    SCHOOL

文本：你好，玛丽·凯勒出生于7月4日，获得理学学士学位。部分发票（100000欧元，约40%）是我们于8月15日从假镇仓库运至伦敦大学的C27655货物。INV2345用于余额。。客户联系人（Sigourney Weaver）表示，他们将按照通常的信用条款（30天）支付这笔款项

我得到的输出

Hello Mary Keller is a salut
4th of July is a DATE
Bachelor of Science is a DEGREE
$ 100,000 is a MONEY
40 % is a PERCENT
15th August is a DATE
University of London is a ORGANIZATION
Make Believe Town is a figure of speech
Sigourney Weaver is a PERSON
30 days is a DURATION

有关如何做到这一点的更多信息，您可以查看让我前进的示例。