我如何在本地部署我在亚马逊sagemaker上训练的模型？

Question

我在amazon sagemaker上使用aws blazingtext算法训练了一个模型，并且我能够使用sagemaker部署一个endpoint。然而，在我的情况下，这是不符合成本效益的，我想在本地运行它。我发现这方面的文档很混乱。

我拥有的是一个经过训练的模型，它被保存为一个“model.tar.gz”文件，我从s3 bucket下载了这个文件。我在网上读到，您可以使用tensorflow和docker映像部署模型，但我只想使用本地机器部署我使用sagemaker创建的模型。基本上，我想做的是：

predictor = sagemaker.deploy(initial_instance_count=1, instance_type='local_cpu')

我期望能够使用预测函数进行推断调用，并用预测结果返回响应。我正在寻找要使用的库，以及完成此任务的相关代码。谢谢你。

Answer 1

SageMaker BlazingText有两种口味：

1. 一个监督版本，学习分类可变长度令牌序列和
2. 一个无监督版本，学习令牌嵌入。

根据文档，对于这两个版本，fastText都可以使用模型生成的二进制文件。从fasttextpython绑定文档中，以下命令似乎适用于这两种情况：

import fasttext

# bin file is found in the model.tar.gz produced by Sagemaker
model = fasttext.load_model('model_filename.bin')

# inference for unsupervised version
model['king']

# inference for supervised version
model.predict('Which baking dish is best to bake a banana bread ?')

Gensim似乎有类似的能力来读取快速文本工件，但我发现API有点不清楚，它似乎只适用于无监督的情况（单词嵌入）