自定义模型训练opennlp

Question

大家已经提到了这个，这个，这个和这个，但是仍然发现很难建立一个自定义的名字查找器模型。。以下是代码：

public class CustomClassifierTrainer {

    private static final TokenNameFinderFactory TokenNameFinderFactory = null;
    static String onlpModelPath = "/Users/user/eclipse-workspace/openNLP/OpenNLP_models/en-ner-asiannames.bin";
    // training data set
    static String trainingDataFilePath = "/Users/user/eclipse-workspace/openNLP/trainingData/asiannames.txt";

    public static void main(String[] args) throws IOException {

        Charset charset = Charset.forName("UTF-8");

        ObjectStream<String> lineStream =
                new PlainTextByLineStream(new FileInputStream(trainingDataFilePath), charset);

        ObjectStream<NameSample> sampleStream = new NameSampleDataStream(lineStream);

        TokenNameFinderModel model;

        try {
          model = NameFinderME.train("en", "asian.person", sampleStream, TrainingParameters.defaultParams(),
                  TokenNameFinderFactory nameFinderFactory);
        }
        finally {
          sampleStream.close();
        }

        BufferedOutputStream modelOut = null;
        try {
          modelOut = new BufferedOutputStream(new FileOutputStream(onlpModelPath));
          model.serialize(modelOut);
        } finally {
          if (modelOut != null) 
             modelOut.close();      
        }



    }

}

我在尝试执行命令行时不断出现错误：

ObjectStream<String> lineStream = new PlainTextByLineStream(new FileInputStream(trainingDataFilePath), charset);

让我把论点1改为

ObjectStream<String> lineStream = new PlainTextByLineStream((InputStreamFactory) new FileInputStream(trainingDataFilePath), charset);

然后我收到一个运行时错误，说你不能强制转换这个。这是我在线程“main”中强制转换异常时的错误java.lang.ClassCastException：类java.io.FileInputStream不能强制转换为类opennlp.tools.util.InputStreamFactory（java.io.FileInputStream在loader'bootstrap'的模块java.base中；opennlp.tools.util.InputStreamFactory在openNLP的loader'app'的未命名模块中）。Custom分类器rainer.main（Custom分类器rainer.java:35）

第二个问题是：

try {
  model = NameFinderME.train("en", "asian.person", sampleStream, TrainingParameters.defaultParams(),
              TokenNameFinderFactory nameFinderFactory);
}

给出一个语法错误。不确定这里出了什么问题。如果有任何帮助，我将不胜感激，因为我已经尝试了上述链接上的所有代码片段。

祝好

Answer 1

第一个错误：您的方法需要一个InputStreamFactory。您正在尝试传递输入流。InputStream不是InputStreamFactory。就像披萨不是汽车一样。

如果有人（编译器）向你要一辆车，而你给了他一个披萨，他就不能开车了。假装披萨是一辆车，告诉他“相信我，这披萨是一辆车”（casting就是这么做的）并不能解决问题。

所以你需要通过一个InputStreamFactory。看看这个接口的javadoc，你会发现它有一个方法createInputStream（），它不接受任何参数，应该创建并返回一个InputStream。

因此，有效值为

() -> new FileInputStream(trainingDataFilePath)

i、 e.不接受输入并创建新输入流的lambda，因此可以推断为InputStreamFactory。

第二个错误更简单：调用方法时不应该指定参数的类型。只有在定义方法时。所以

NameFinderME.train("en", 
                   "asian.person", 
                   sampleStream, 
                   TrainingParameters.defaultParams(),
                   TokenNameFinderFactory nameFinderFactory);

应该是

NameFinderME.train("en", 
                   "asian.person", 
                   sampleStream, 
                   TrainingParameters.defaultParams(),
                   nameFinderFactory);

用简单的东西练习，学习Java语法。学习阅读错误消息，而不是忽略它们，并阅读您正在使用的类的javadoc。这是至关重要的。