当前位置: 首页 > 知识库问答 >
问题:

我们如何在AWS Sagemaker推理中添加复杂的预处理

马天逸
2023-03-14

我正在使用AWS Sagemaker部署在Sagemaker之外培训的语音模型。我能够将我的模型转换为Sagemaker能够理解的东西,并将其部署为endpoint。问题是Sagemaker直接加载模型并调用。预测得到推论。我无法确定在部署的模型中可以在何处添加预处理函数。建议使用AWS Lambda或其他服务器进行预处理。有没有什么方法可以将复杂的预处理(不能通过简单的Scikit、类似熊猫的框架完成)融入Sagemaker本身?

共有1个答案

方寒
2023-03-14

您将需要调整预测值。将语音模型放入容器中的py文件。假设您正在使用“带容器”在SageMaker上部署这些模型,您将需要调整预测器代码,以包括您正在使用的预处理功能。对于您正在处理的任何额外依赖项,请确保在您带来的Dockerfile中更新此项。预测器文件中的预处理功能将确保在返回预测之前,您的数据按照您的意愿进行转换和处理。但是,这会增加响应时间,因此如果需要进行繁重的预处理工作或ETL,您可能希望将服务视为AWS Glue(ETL)或Kinesis(实时数据流/数据转换)。如果您选择使用Lambda,您需要记住15分钟的超时限制。

我在AWS工作

 类似资料:
  • 本文向大家介绍我们如何在Java中的JSONObject中添加JSONArray?,包括了我们如何在Java中的JSONObject中添加JSONArray?的使用技巧和注意事项,需要的朋友参考一下 甲的JSONObject 可以从一个字符串解析文本以产生映射样对象和JSONArray 可以从一个字符串解析文本以产生向量样的对象。我们还可以通过首先创建一个包含很少项目的JSONArray并将这些项

  • 我已经挣扎了几个小时想找到解决这个问题的办法... 我正在开发一个在线记分牌的游戏。玩家可以随时登录和退出。完成一场比赛后,玩家会看到记分牌,看到自己的排名,分数会自动提交。 记分牌显示球员的排名,排行榜。 记分牌在用户完成游戏(提交分数)和用户只想查看他们的排名时都使用。 这就是逻辑变得非常复杂的地方: > 如果用户已经登录,那么分数将首先提交。保存新记录后,记分牌将被加载。 用户可以随时登录和

  • 我有一个复杂的endpoint,需要在spring boot中为REST服务实现。它看起来如下所示: 到此endpoint的POST将创建一个新的采购订单。段必须始终在段之前,但段可以独立存在。 采购订单

  • 我想使用jar库http://jcodec.org/正在处理。我知道有很多关于库的教程,但没有一个足够清晰,让我能够理解。我已经拖放了jcodec-0.1.5。jar创建了一个名为“code”的文件夹,其中包含文件jcodec-0.1.5。罐子在里面,但是当我想用的时候 我还在 “未定义构造函数FrameGrab(文件)。” 我需要进口什么东西吗?如果是,在“导入”后我必须键入什么?非常感谢您的帮

  • 我有一个离散事件流进入我的系统,我需要根据每个事件的内容应用规则。另外,我想对这些流事件应用复杂的事件处理。 约束1.这些规则是用户提供的,并将动态更改。2.每当应用规则时,我不想重新启动我的系统。3.HA 4.只有成熟的开源解决方案 可能的方式...1.在Storm螺栓内运行Esper CEP 2。让口水流到Storm螺栓里 > 这会处理单事件规则和复杂事件吗?规则更改是否需要我的Storm重新

  • 我需要在ItemProcessor部分查找几个表。我不想对ItemProcessor部分中的每一行进行多个JDBC调用,当spring批处理开始处理更多记录时,这可能会导致性能问题。避免这种情况的变通方法是什么?有没有办法在ItemProcessor之前或批处理开始之前预加载这些对象,并在ItemProcessor中引用它们?