当前位置: 首页 > 知识库问答 >
问题:

将训练有素的机器学习模型部署到生产中的步骤

颛孙玉石
2023-03-14

我是ML世界的新手,当阅读关于用训练数据构建模型并最终测试数据以适应要求时,直到这一点我都能够理解,我的问题是一旦测试模型就准备好了

  1. 生产部署后是否需要训练/重新训练模型? 如果是这样,做法是什么?
  2. 有没有办法持久化假设,以便模型可以使用持久化的结果进行预测?
  3. 每天、每周或每月重新训练模型是好的做法吗?

假设spark MLib用于构建模型

  • 让我补充更多细节。当我训练模型时,为了论证,它会在预生产环境中生成基于分数的训练数据,我是否可以将带有分数的数据保存在分布式存储中,以便以后预测,而不是重新训练模型。我想了解步骤1)当我将经过良好测试的模型从预生产环境转移到生产环境时,我是否需要训练数据和新数据集来预测结果

我对机器学习很新,想了解模型代码如何发布到下一个环境中,我需要考虑哪些步骤

感谢您的澄清,这意味着我需要将模型对象部署到生产中,然后使用生产数据(特征)来计算目标数据值?,您能否向我推荐任何书籍或信息,我可以深入了解如何构建、验证和部署监督算法。

再次感谢您抽出时间教育我。

共有1个答案

单于楚
2023-03-14

生产部署后是否需要训练/重新训练模型?如果是这样,做法是什么?

不一定,但你可能会。很大程度上取决于被建模的内容以及随着时间的推移它的稳定性。

有没有办法持久化假设,以便模型可以使用持久化的结果进行预测?

  • ??我不确定我是否理解这个问题,但大多数生产模型都有与分析/报告/可视化软件相连的日志系统,以帮助跟踪模型性能并帮助决定何时进行再培训

每天或每周或每月重新训练模型是好的做法吗?

  • 取决于性能和资源限制。如果你有少量的模型需要重新训练/评分,并且重新训练不会影响SLA,这可能不是一个坏主意,但是当计算资源有限时,答案可能会改变。
 类似资料:
  • 我熟悉算法实现,对机器学习不熟悉,但我在学术和生产之间有差距。 我正在实施推荐系统,学习模型取得了良好的效果,然后我停下来问下一步该怎么办?如何在现有网站上部署它 在学习过程中,我使用了CSV数据集和本地机器,但在线将是拥有数十万用户和数千用户的数据库。所以我认为不可能加载所有数据并向用户推荐东西。 问题是:我将如何在生产中使用我训练过的模型?

  • 我是机器学习算法的新手。我正在学习基本算法,如回归、分类、聚类、序列建模、在线算法。互联网上的所有文章都展示了如何将这些算法用于特定数据。没有关于在正式生产环境中部署这些算法的文章。所以我的问题是 1) 如何在生产环境中部署机器学习算法? 2)机器学习教程中遵循的典型方法是使用一些训练数据构建模型,并将其用于测试数据。但是,是否建议在生产环境中使用这种模型?传入的数据可能会不断变化,因此模型将无效

  • 我只是用TensorFlow训练了一个三层的softmax神经网络。它来自吴恩达的课程,3.11TensorFlow。我修改代码是为了查看每个历元的测试和训练精度。 当我增加学习率时,成本在1.9左右,而准确率保持1.66...7不变。我发现学习率越高,它发生的频率就越高。当learing_rate在0.001左右时,有时会出现这种情况。当learing_rate在0.0001附近时,这种情况不会

  • 有了能做出惊人预测的模型之后,要做什么呢?当然是部署生产了。这只要用模型运行一批数据就成,可能需要写一个脚本让模型每夜都跑着。但是,现实通常会更复杂。系统基础组件都可能需要这个模型用于实时数据,这种情况需要将模型包装成网络服务:这样的话,任何组件都可以通过 REST API 询问模型。随着时间的推移,你需要用新数据重新训练模型,更新生产版本。必须处理好模型版本,平稳地过渡到新版本,碰到问题的话需要

  • 错误为: 谁能帮帮我吗?

  • 我可以在AWS Sagemaker中通过评估模型来训练多个模型train.py脚本,以及如何从多个模型中获取多个指标? 任何链接、文档或视频都很有用。