当前位置: 首页 > 知识库问答 >
问题:

AWS-Sagemaker中的多模型训练

柯骏
2023-03-14

我可以在AWS Sagemaker中通过评估模型来训练多个模型train.py脚本,以及如何从多个模型中获取多个指标?

任何链接、文档或视频都很有用。

共有1个答案

马清野
2023-03-14

是的,您在sagemaker培训脚本中编写的内容(假设您使用的是允许您传递自定义代码的内容,如您自己的容器或框架容器)是灵活的,不需要仅是一个模型,甚至是ML。您完全可以在一个容器中编写多个模型培训,并通过正则表达式使用SageMaker度量捕获来获取所有相关度量,请参见此处带有Sklearn随机林的正则表达式示例。话虽如此,将事物分开并为每个SageMaker工作设置一个模型通常是一个更好的主意,原因如下:

  1. 它允许您分离模型元数据和指标,并与SageMaker元数据服务轻松比较
  2. 它允许您将硬件专门化到每个模型,并获得更好的经济性。当涉及到CPU、GPU、RAM时,每个模型都有自己的最佳位置
  3. 它允许您在单个训练中使用完全相同的容器,但也可以用于贝叶斯超参数搜索,这种方法比常规网格搜索更快、更便宜。
 类似资料:
  • 我希望使用AWS Sagemaker工作流部署一个预训练的模型,用于实时行人和/或车辆检测,我特别想使用Sagemaker Neo编译模型并将其部署在边缘。我想从他们的模型动物园中使用OpenVino的预构建模型之一,但是当我下载模型时,它已经是他们自己的优化器的中间表示(IR)格式。 > 如果没有,是否有任何免费的预训练模型(使用任何流行的框架,如pytorch,tenorflow,ONXX等)

  • 我有一个模型。预训练的pkl文件以及与ml模型相关的所有其他文件。我想把它部署到aws sagemaker上。但是在没有培训的情况下,如何将其部署到aws sagmekaer,就像aws sagemaker中的fit()方法一样,运行train命令并推送模型。焦油gz到s3位置,当使用deploy方法时,它使用相同的s3位置来部署模型,我们不会在s3中手动创建与aws模型创建的位置相同的位置,并使

  • 我试图避免将现有的模型训练过程迁移到SageMaker,并避免创建一个定制Docker容器来承载我们训练过的模型。 我的希望是将我们现有的、经过培训的模型注入AWS通过sagemaker python sdk提供的预构建scikit学习容器中。我发现的所有示例都需要先培训模型,然后在SageMaker中创建模型/模型配置。然后使用方法进行部署。 是否可以为方法提供经过培训的模型,并将其托管在AWS

  • 我正在尝试将一个使用sklearn训练的模型部署到endpoint,并将其作为预测的API。我想使用sagemaker的目的就是部署和服务器模型,我已经使用序列化了这个模型,仅此而已。我读过的每个博客和sagemaker python文档都表明,为了在sagemaker中部署,sklearn模型必须在sagemaker上进行培训。 在阅读SageMaker文档时,我了解到SageMaker允许用户

  • 我了解到有一种方法可以在AWS Sagemaker中使用单个endpoint为单个数据集训练和托管多个模型。但我在S3中有两个不同的数据集,必须为每个数据集训练一个模型。这两个不同的模型是否可以使用单个endpoint承载?

  • 我已经在AWS SageMaker上使用内置算法语义分割训练了一个模型。这个名为model.tar.gz的训练模型存储在S3上。所以我想从S3下载这个文件,然后使用它在我的本地电脑上进行推断,而不使用AWS SageMaker。 以下是三个文件: > :包括网络架构、数据输入和训练的参数。请参阅语义分割超参数。 我的代码: 错误: