当前位置: 首页 > 知识库问答 >
问题:

定制sagemaker容器用于培训,每天向AWS RDS写入预测

万俟浩
2023-03-14

我使用Amazon SageMaker要执行3个主要过程。

  1. 使用自己的培训python脚本(不使用sagemaker容器、内置算法)[Train.py]

-

-

-

--

--

有什么建议吗?有什么可以遵循的最佳实践吗?先谢谢你。

共有1个答案

金霄
2023-03-14

按计划触发Step函数的方法是使用CloudWatch事件(类似于cron)。查看本教程:https://docs.aws.amazon.com/step-functions/latest/dg/tutorial-cloudwatch-events-target.html

不要从你的Python代码写入RDS!最好将输出写入S3,然后将S3中的文件“复制”到RDS中。解耦这些批次将使过程更加可靠和可扩展。当文件被写入到S3或数据库不太忙时,您可以触发批量复制到RDS中。

 类似资料:
  • 我正在尝试创建自己的定制Sagemaker框架,该框架运行定制python脚本,以使用entry_point参数训练ML模型。 遵循pythonsdk文档(https://sagemaker.readthedocs.io/en/stable/estimators.html),我编写了运行培训作业的最简单代码,只是为了了解它的行为以及Sagemaker框架的工作方式。 我的问题是,我不知道如何正确构

  • 我试图避免将现有的模型训练过程迁移到SageMaker,并避免创建一个定制Docker容器来承载我们训练过的模型。 我的希望是将我们现有的、经过培训的模型注入AWS通过sagemaker python sdk提供的预构建scikit学习容器中。我发现的所有示例都需要先培训模型,然后在SageMaker中创建模型/模型配置。然后使用方法进行部署。 是否可以为方法提供经过培训的模型,并将其托管在AWS

  • 我有一个模型。预训练的pkl文件以及与ml模型相关的所有其他文件。我想把它部署到aws sagemaker上。但是在没有培训的情况下,如何将其部署到aws sagmekaer,就像aws sagemaker中的fit()方法一样,运行train命令并推送模型。焦油gz到s3位置,当使用deploy方法时,它使用相同的s3位置来部署模型,我们不会在s3中手动创建与aws模型创建的位置相同的位置,并使

  • 我正在尝试为Amazon Sagemaker创建自定义模型/图像/容器。我已经阅读了所有的基础教程,如何根据您的要求创建图像。实际上,我有一个正确设置的映像,它运行tensorflow,在本地训练、部署和服务模型。 当我尝试使用sagemaker python SDK运行容器时,问题就出现了。更准确地说,尝试使用框架模块和类创建我自己的自定义估计器来运行自定义图像/容器。 在这里,我张贴的最低代码

  • 我有一些python代码,它使用tensorflow训练神经网络。 我基于运行python脚本的tensorflow/tensorflow:latest-gpu-py3映像创建了一个docker映像。当我启动EC2P2时。xlarge实例我可以使用以下命令运行docker容器 包含我的代码的容器运行时没有错误,并且使用主机GPU。 问题是,当我尝试使用实例ml.p2.xlarge在AWS Sage

  • 我对SageMaker有以下挑战: > 我已经下载了一个教程笔记本(https://github.com/awslabs/amazon-sagemaker-examples/blob/master/sagemaker-python-sdk/tensorflow_abalone_age_predictor_using_keras/tensorflow_abalone_age_predictor_us