AWS提供多种培训工作

Question

我们目前有一个在AWS Sagemaker上运行的系统，其中几个单元有自己训练的机器学习模型工件（使用带Sagemaker SKLearning估计器的SKLearning训练脚本）。

通过使用Sagemaker的多模型endpoint，我们能够在一个实例上托管所有这些单元。

我们面临的问题是，我们需要将这个系统扩展到可以为数十万个单元训练单个模型，然后将结果模型工件托管在多模型endpoint上。但是，Sagemaker对你可以并行训练的模型数量有限制（我们的限制是30个）。

除了批量训练我们的模型之外，有人有任何想法如何在AWS Sagemaker中实现一个系统，对于数十万个单元，我们可以为每个单元拥有一个单独的训练过的模型工件吗？

有没有一种方法可以使用SKLearn估计器为一个sagemaker培训工作输出多个模型工件？

此外，Sagemaker在提交培训脚本时如何使用多个CPU？是否必须在培训脚本/估算器对象中指定，或者是否自动处理？

Answer 1

以下是一些想法：

1.有没有人知道如何在AWS Sagemaker中实现一个系统，这样对于几十万个单元，我们可以为每个单元提供一个单独的经过培训的模型工件？有没有一种方法可以使用SKLearn估计器为一个sagemaker培训工作输出多个模型工件？

我不知道30个培训工作的并发性是否是一个硬限制，如果它是一个拦截器，你应该尝试打开一张支持票，询问它是否是，并尝试提高它。否则，正如您所指出的，您可以尝试在一个作业中训练多个模型，并生成多个工件，您可以（a）手动发送到S3，或者（b）保存到opt/ml/model，以便将它们全部发送到模型。焦油S3中的gz工件。注意，如果这个工件变得太大，这可能变得不切实际

2.提交培训脚本时，Sagemaker如何使用多个CPU？是否必须在培训脚本/估算器对象中指定，或者是否自动处理？

这取决于您正在使用的训练容器的类型。SageMaker内置容器由亚马逊团队开发，旨在有效利用可用资源。如果您使用自己的代码，如SkLearning容器中的自定义python，您有责任确保您的代码被有效地编写并使用可用的硬件。因此，框架选择是非常重要的：）例如，一些skLearning模型支持显式地使用多个CPU（例如随机森林中的n_jobs参数），但我不认为SkLearning本机支持GPU、多GPU或多节点训练。