当前位置: 首页 > 知识库问答 >
问题:

如何培训定制模型OPENNLP?

萧凡
2023-03-14

我想训练自己的自定义模型。我可以从哪里开始?

我使用这个样本数据来训练一个模型:

<START:meaningless>Took connection and<END>  selected the Text in the Letter Template and cleared the Formatting of Text to Normal.

基本上,我想从给定的输入中找出一些无意义的文本。

我尝试了opennlp开发文档中给出的以下示例代码,但出现了错误:Model与name finder不兼容!

    Charset charset = Charset.forName("UTF-8");
ObjectStream<String> lineStream =
        new PlainTextByLineStream(new FileInputStream("mynewmodel.train"), charset);
ObjectStream<NameSample> sampleStream = new NameSampleDataStream(lineStream);

TokenNameFinderModel model;

try {
  model = NameFinderME.train("en", "meaningless", sampleStream,
      Collections.<String, Object>emptyMap(), 100, 5);
}
finally {
  sampleStream.close();
}

try {
  modelOut = new BufferedOutputStream(new FileOutputStream(modelFile));
  model.serialize(modelOut);
} finally {
  if (modelOut != null) 
     modelOut.close();      
}

共有1个答案

姚昊焱
2023-03-14

可能的问题:你没有向培训师展示清晰的标记文本。如果我正确理解了文档,那么PlainTextByLineStream需要以空格分隔的标记。所以

<START:meaningless> Took connection and <END>

而不是

<START:meaningless>Took connection and<END>
 类似资料:
  • 这是我的培训代码 滚轮编号。火车 结果训练 当我使用这段代码测试它时。 给出了如下结果。有些时候是错的。

  • 我想使用Apache OpenNLP为我的母语乌尔都语训练NER模型。我已经准备好了中的训练数据。制作训练模型(. bin)的下一步是什么,就像我们在模型下载部分的OpenNLP站点上找到的那样。

  • 我想在SageMaker找一份当地的培训工作。 根据这个AWS笔记本(https://github.com/awslabs/amazon-sagemaker-examples/blob/master/sagemaker-python-sdk/mxnet_gluon_mnist/mxnet_mnist_with_gluon_local_mode.ipynb),我能够在本地进行训练和预测。 有没有办法

  • 我是pytorch的新手,我正在尝试运行我找到的github模型并对其进行测试。因此,作者提供了模型和损失函数。 像这样: 数据加载 假设我想训练这个模型15个时代。这就是我到目前为止所做的:我正在尝试设置优化器和训练,但我不确定如何将自定义丢失和数据加载绑定到模型,并正确设置15个历元训练。 有什么建议吗?

  • 我有一个模型。预训练的pkl文件以及与ml模型相关的所有其他文件。我想把它部署到aws sagemaker上。但是在没有培训的情况下,如何将其部署到aws sagmekaer,就像aws sagemaker中的fit()方法一样,运行train命令并推送模型。焦油gz到s3位置,当使用deploy方法时,它使用相同的s3位置来部署模型,我们不会在s3中手动创建与aws模型创建的位置相同的位置,并使

  • 例如,没有找到一些名称,我想向现有数据模型添加新数据。我找到了这个点击这里的答案,但我不明白 什么是?是的克隆吗? 我们应该加载现有模型并从文件中添加新数据?什么类型的信息应该包含?