当前位置: 首页 > 知识库问答 >
问题:

如何保存在Amazon SageMaker本地培训的模型?

姚俊材
2023-03-14

我想在SageMaker找一份当地的培训工作。

根据这个AWS笔记本(https://github.com/awslabs/amazon-sagemaker-examples/blob/master/sagemaker-python-sdk/mxnet_gluon_mnist/mxnet_mnist_with_gluon_local_mode.ipynb),我能够在本地进行训练和预测。

有没有办法在亚马逊SageMaker培训工作区进行本地培训并保存经过培训的模型?否则,如何正确保存使用本地模式训练的训练模型?

共有2个答案

傅新
2023-03-14

正如@Lauren所说,只需压缩它并创建您的模型。一旦你在本地训练了它,你就不必把它保存为训练任务,因为你已经有了模型的工件。

培训作业是输入位置、输出位置、选定算法和超参数的组合。这是保存在培训工作上的东西,而不是经过培训的模型。当培训工作完成时,它实际上会压缩工件并将您的模型保存在AmazonS3中,以便您可以从中创建模型

所以,由于您在本地进行了培训(而不是解耦培训步骤),所以请使用压缩工件创建一个模型,然后创建一个endpoint,并进行一些推断。

安经纶
2023-03-14

无法将您的本地模式训练作业显示在AWS控制台中。本地模式的目的是在使用SageMaker训练模型之前允许更快的迭代/调试。

您可以从本地模型工件创建SageMaker模型。tar.gz文件,将该文件上传到S3,然后创建模型(使用SDK或在控制台中)。

文档:

  • https://sagemaker.readthedocs.io/en/stable/overview.html#using-在亚马逊sagemaker以外培训的模型
  • https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateModel.html
 类似资料:
  • 我想训练自己的自定义模型。我可以从哪里开始? 我使用这个样本数据来训练一个模型: 基本上,我想从给定的输入中找出一些无意义的文本。 我尝试了opennlp开发文档中给出的以下示例代码,但出现了错误:Model与name finder不兼容!

  • 如何保存已训练的模型? 以后如何还原此保存的模型?

  • 我正在研究为一名日本人创建训练数据。 想知道我是否需要预先标记训练数据,或者是否有办法在模型创建期间指定标记器? 在下面的示例中,日语没有任何空格: 这对培训模型有用吗?还是我需要提供标记化的培训句子?

  • 我想使用Apache OpenNLP为我的母语乌尔都语训练NER模型。我已经准备好了中的训练数据。制作训练模型(. bin)的下一步是什么,就像我们在模型下载部分的OpenNLP站点上找到的那样。

  • 我有一个模型。预训练的pkl文件以及与ml模型相关的所有其他文件。我想把它部署到aws sagemaker上。但是在没有培训的情况下,如何将其部署到aws sagmekaer,就像aws sagemaker中的fit()方法一样,运行train命令并推送模型。焦油gz到s3位置,当使用deploy方法时,它使用相同的s3位置来部署模型,我们不会在s3中手动创建与aws模型创建的位置相同的位置,并使

  • 问题内容: 我有一个训练了40个时代的模型。我为每个纪元保留了检查点,并且还用保存了模型。培训代码为: 但是,当我加载模型并尝试再次对其进行训练时,它会像以前从未进行过训练一样从头开始。损失不是从上一次训练开始的。 使我感到困惑的是,当我加载模型并重新定义模型结构并使用时,效果很好。因此,我相信模型权重已加载: 但是,当我继续进行此训练时,损失与初始阶段一样高: 我在这里和这里搜索并找到了一些保存