如何利用AWS SageMaker上训练的模型，利用内置的语义分割算法在本地PC机上进行推理？

Question

类似的问题是，经过培训的模型可以部署在其他平台上，而无需依赖sagemaker或aws服务？。

我使用内置的语义分割算法在AWS SageMaker上训练了一个模型。该训练模型被命名为模型。焦油gz存储在S3上。所以我想从S3下载这个文件，然后用它在本地PC上进行推断，而不再使用AWS SageMaker。由于内置的算法语义分割是使用MXNet Gluon框架和Gluon CV工具包构建的，因此我尝试参考MXNet和Gluon CV的文档在本地PC上进行推理。

从S3下载此文件很容易，然后我解压缩此文件以获得三个文件：

1. 超参数。json：包括网络架构、数据输入和培训的参数。参见语义分段超参数
2. 模型_algo-1
3. 最好是模特儿。params

model_algo-1和model_best.params都是训练好的模型，我认为是net.save_parameters的输出（参考训练神经网络）。我还可以用函数mxnet.ndarray.load加载它们。

请参阅使用预训练模型的预测。我发现有两个必要的东西：

1. 重建网络进行推理
2. 加载经过训练的参数

至于重建网络进行推理，因为我从训练中使用了PSPNet，所以我可以使用类gluoncv。模特儿动物园。PSPNet重建网络。我知道如何使用AWS SageMaker的一些服务，例如批量转换作业，来进行推断。我想在本地PC上复制它。如果我使用类gluoncv。模特儿动物园。PSPNet为了重建网络，我无法确定此网络的参数是否与AWS SageMaker在进行推理时使用的参数相同。因为我看不到图像501404015308。dkr。ecr。ap-东北-1。亚马逊。com/语义分段：详细介绍最新的。

至于加载经过训练的参数，我可以使用load\u参数。但是对于模型1和模型1来说最好。params，我不知道该用哪一个。

Answer 1

下面的代码对我来说很好。

import mxnet as mx
from mxnet import image
from gluoncv.data.transforms.presets.segmentation import test_transform
import gluoncv

# use cpu
ctx = mx.cpu(0)

# load test image
img = image.imread('./img/IMG_4015.jpg')
img = test_transform(img, ctx)
img = img.astype('float32')

# reconstruct the PSP network model
model = gluoncv.model_zoo.PSPNet(2)

# load the trained model
model.load_parameters('./model/model_algo-1')

# make inference
output = model.predict(img)
predict = mx.nd.squeeze(mx.nd.argmax(output, 1)).asnumpy()