如何使用dockerfile在aws sagemaker中运行python文件

Question

我有一个python代码和一个模型，是预先训练和有一个model.pkl文件与我在同一个目录中的代码我，现在我必须运行或部署这到aws sagemaker但没有得到任何解决方案由于aws sagemaker只支持两个命令，分别用于训练和部署。

目前，我正在使用命令“python filename.py”运行该程序，并且它正在成功运行。我希望在aws sagemaker上运行同样的程序。

有什么解决办法吗？？

我尝试了与将模型部署到s3相同的方法，并在部署时调用，我不知道这是正确的还是错误的。

Answer 1

如果您有一个预训练模型和一个文件名。py如果要在SageMakerendpoint上运行，只需将其打包为Docker映像，以创建一个模型，然后将其部署到endpoint并进行调用。

为了做到这一点，我只是遵循AWS文档中关于使用您自己的推理代码的指南。

这些步骤将是：

1. 创建型号代码

让我们以Python中的这个简单模型为例：

from flask import Flask, request
app = Flask(__name__)

@app.route('/ping')
def ping():
    return ''

@app.route('/invocations')
def invoke():
    return 'should do inference with your model here'


if __name__ == '__main__':
    app.run(debug=True, host='0.0.0.0', port=8080)

以下是一些要求。txt:

Flask==0.10.1

我们需要一个Dockerfile来建立我们的形象。这是我用过的一个：

Dockerfile：

FROM ubuntu:16.04

RUN apt-get update -y && apt-get install -y python-pip python-dev

COPY ./requirements.txt /app/requirements.txt

WORKDIR /app

RUN pip install -r requirements.txt

COPY . /app

EXPOSE 8080

ENTRYPOINT ["python"]
CMD ["model.py"]

我们可以通过运行：docker build-t simple model:latest来构建映像

这将创建图像，现在我们可以通过运行它来测试它：

docker run -d -p 8080:8080 simple-model

如果它正在运行，您应该能够curl任何endpoint：

curl localhost:8080/ping
> ok

现在我们需要将其发布到ECR，因为SageMaker从ECR读取模型。我在跟随AWS的指引

通过运行docker图像获取图像id

用这个。为了方便起见，我正在使用us-west-2。将其替换为您选择的区域：

docker tag <image id> <aws accound id>.dkr.ecr.us-west-2.amazonaws.com/simple-model

现在我们应该把它推到ECR：

docker push <aws accound id>.dkr.ecr.us-west-2.amazonaws.com/simple-model

现在我们可以用这个图像创建一个模型。首先，您需要一个SageMaker执行角色。这将用于访问您的图像和其他资源。你可以在这个AWS文档页面上设置。

其次，需要设置AWS CLI。

让我们开始吧。

让我们先创建模型。这将指向您在最后一步中创建的ECR映像。在这个命令中替换上面创建的角色名：

aws sagemaker create-model --model-name "SimpleModel" --execution-role-arn "arn:aws:iam::<aws account id>:role/<role name>" --primary-container "{
    \"ContainerHostname\": \"ModelHostname\",
    \"Image\": \"<aws account id>.dkr.ecr.us-west-2.amazonaws.com/simple-model:latest\"
}"

这将创建您的模型。现在我们需要创建一个EndpointConfig，它将告诉您的SageMakerendpoint需要如何配置：

aws sagemaker create-endpoint-config --endpoint-config-name "SimpleConfig" --production-variants "[
    {
        \"VariantName\" : \"SimpleVariant\",
        \"ModelName\" : \"SimpleModel\",
        \"InitialInstanceCount\" : 1,
        \"InstanceType\" : \"ml.t2.medium\"
    }
]"

最后，我们可以使用该配置创建endpoint：

aws sagemaker create-endpoint --endpoint-name "SimpleEndpoint" --endpoint-config-name "SimpleConfig"

如果所有这些都有效，请等到aws sagemaker描述-终结点-终结点名称SimpleEndpoint说它是InService。

一旦它是，我们现在可以调用反对它：

aws sagemaker-runtime invoke-endpoint --endpoint-name SimpleEndpoint --body "empty"

如果这一切都成功了，你将有自己的终结点。接下来的步骤是自定义Python脚本，以便用自己的模型进行自己的推断。SageMaker还具有自动抓取模型工件的能力，您不必将它们包含在模型容器中。看这里的留档。

希望这有帮助！