在CLI和Code中再现Stanford CoreNLP austen演示时的不同精度/召回/f1值

Question

我试图用斯坦福CRF常见问题解答中的Jane Austen文件验证我的基于Stanford CoreNLP的java代码。我正在使用以下命令进行CLI中常见问题解答中所述的培训：

# Training with corenlp 3.9.2
java -cp stanford-ner-2018-10-16/stanford-ner.jar edu.stanford.nlp.ie.crf.CRFClassifier -prop austen.prop
# testing with corenlp 3.9.2
java -cp stanford-ner-2018-10-16/stanford-ner.jar edu.stanford.nlp.ie.crf.CRFClassifier \
    -loadClassifier ner-model.ser.gz -testFile jane-austen-emma-ch2.tsv

这给了我以下结果：

CRFClassifier tagged 1999 words in 1 documents at 6227,41 words per second.
         Entity P   R   F1  TP  FP  FN
           PERS 0,8205  0,7273  0,7711  32  7   12
         Totals 0,8205  0,7273  0,7711  32  7   12

现在我有了java代码来训练和测试模型程序：

import java.io.File;
import java.io.FileInputStream;
import java.io.FileNotFoundException;
import java.io.IOException;
import java.util.Properties;
import edu.stanford.nlp.ie.crf.CRFClassifier;
import edu.stanford.nlp.ling.CoreLabel;
import edu.stanford.nlp.sequences.SeqClassifierFlags;
import edu.stanford.nlp.util.Triple;

public class train {
    
    public static void main(String[] args) throws FileNotFoundException, IOException {
    
    System.out.println("Start NER training");
    
    Properties properties = new Properties();
    properties.load(new FileInputStream(new File("data/eval/austen.prop")));
        SeqClassifierFlags flags = new SeqClassifierFlags(properties);
    CRFClassifier<CoreLabel> crf = new CRFClassifier<>(flags);
    
    crf.train();
    
    crf.serializeClassifier("data/eval/ner-model.ser.gz");
    Triple<Double,Double,Double> scores = crf.classifyAndWriteAnswers("data/eval/jane-austen-emma-ch2.tsv", true);
    
    System.out.println("Scores:");
    System.out.format("    Precision:\t%.2f%%\n", scores.first);
    System.out.format("    Recall:\t%.2f%%\n", scores.second);
    System.out.format("    F1:\t\t%.2f%%\n", scores.third);
    System.out.println();

    System.out.println("End NER training done");

    }
}

这为精度/召回率/f1提供了不同的值：

CRFClassifier tagged 1999 words in 1 documents at 12572,33 words per second.
         Entity P   R   F1  TP  FP  FN
           PERS 0,8250  0,7500  0,7857  33  7   11
         Totals 0,8250  0,7500  0,7857  33  7   11
Scores:
    Precision:  82,50%
    Recall: 75,00%
    F1:     78,57%

测试、培训和奥斯汀。道具文件，未经修改，取自斯坦福大学。只有测试文件jane-austen-emma-ch2。tsv按照问题所述进行了修改。

我阅读了斯坦福大学的资料，看看我是否遗漏了什么，但我的价值观没有改变。我错过了什么？

提前谢谢你的帮助。

更新：我做了一些进一步的测试。这绝对是一个训练问题。使用cli训练的模型有一个模式假阴性。我做了一个比较，看看哪个实体没有被检测到：

371,372c371,372
< Miss  PERS    PERS
< Churchill PERS    PERS
---
> Miss  PERS    O
> Churchill PERS    O

是“丘吉尔小姐”。

更新2：找到了。这是edu/stanford/nlp/ie/crf/CRFClassifier.java中的以下行：

crf.knownLCWords.setMaxSize(-1);

不幸的是，该字段不可见。以及crf返回的对象。getKnownLCWords（）没有方法setMaxSize（）。

Answer 1

进一步阅读CoreNLP源代码，可以找到解决方案。我铸造了crf返回的对象。getKnownLCWords（）到MaxSizeCurrentHashSet。现在可以使用setMaxSize（），精度/召回率/F1值与使用CoreNLP CLI进行的培训相同。

CRFClassifier<CoreLabel> crf = new CRFClassifier<>(flags);
MaxSizeConcurrentHashSet<String> knownLCWords = (MaxSizeConcurrentHashSet<String>) crf.getKnownLCWords();
knownLCWords.setMaxSize(-1);
crf.train();