使用docker打包python项目并在本地模拟部署aws lambda

羊舌庆
2023-12-01

使用docker打包python项目并在本地模拟部署aws lambda


前言

本文主要记录使用docker打包python项目并部署到lambda的流程以及遇到的一些问题。

配置:Windows11,WSL2,Ubuntu20.04,VScode


一、docker打包python项目

1.准备工作

在requirements.txt中写入需要安装的库:

-f https://download.pytorch.org/whl/torch_stable.html
open3d==0.13.0
torch==1.12.0+cpu
# open3d-python

设置dockerfile:

FROM public.ecr.aws/lambda/python:3.7

ADD ./ ${LAMBDA_TASK_ROOT}/

RUN mkdir -p /tmp/classifier

RUN python3 -m pip install -r requirements.txt -i https://pypi.mirrors.ustc.edu.cn/simple/
RUN python3 -m pip install open3d-python -i https://pypi.mirrors.ustc.edu.cn/simple/

CMD [ "handler.predict"]

1、从 aws lambda 上 pull 下 python 3.7 的基础镜像
2、当前目录的内容ADD到容器中的 /var/task 目录下
3、在容器的tmp文件夹中新建文件夹(代码运行时需要在临时文件夹中生成临时文件)
4、安装依赖库
5、启动运行 handler.predict

由于open3d-python在requirements.txt一起安装出现了报错,所以将open3d-python放入dockerfile单独安装。

2.打包步骤

打开WSL:Ubuntu-20.04终端,启动docker:

sudo service docker start

切换路径到待打包的文件夹:

cd 文件夹路径

创建docker镜像

docker build -t test:0.1.0 . 

注意:最后有个 .

运行创建好的镜像,创建一个新容器

docker run -p 8888:8080 test:0.1.0 
docker run -p 8888:8080 --gpus all test:0.1.0 # gpu

二、本地模拟部署aws lambda

参考内容:Deploying PyTorch Model as a Serverless Service

1.准备工作

handler.py
代码如下:

def predict(event, context):
    try:
        print(event)
        
        input_file_path = "/var/task/input/xxxxx"
        preds = test.main(input_file_path)
        print("prediction:",preds)
        	
        context.log(preds)
        logging.info(f"prediction: {preds}")

        return {
            "statusCode": 200,
            "headers": {
                    'Content-Type': 'application/json',
                    'Access-Control-Allow-Origin': '*',
                    "Access-Control-Allow-Credentials": True
                },
            "body": json.dumps({"prediction": preds})
        }
    except Exception as e:
        logging.error(e)
        return {
            "statusCode": 500,
            "headers": {
                    'Content-Type': 'application/json',
                    'Access-Control-Allow-Origin': '*',
                    "Access-Control-Allow-Credentials": True
                },
            "body": json.dumps({"error": repr(e)})
        }

2.Postman模拟http请求

下载安装: Postman
下载安装注册之后,创建一个json文件,导入Postman,在容器运行时点击send,查看是否连接成功。

{
	"info": {
		"_postman_id": "xxxxx",
		"name": "test",
		"schema": "xxxxx"
	},
	"item": [
		{
			"name": "xxxxx",
			"protocolProfileBehavior": {
				"disableBodyPruning": true
			},
			"request": {
				"method": "GET",
				"header": [],
				"body": {
					"mode": "raw",
					"raw": "{\"S3key\":\"test\"}",
					"options": {
						"raw": {
							"language": "json"
						}
					}
				},
				"url": "xxxxx"
			},
			"response": []
		}
	]
}

三、遇到的问题及解决方法

1.版本不兼容问题

问题1:前期开发时对应的版本为python:3.7.13,open3d:0.15.2,然而docker打包时使用的基础镜像是lambda/python:3.7,适配的open3d最高版本只有0.13.0,打包好之后直接报错。

解决1:首先尝试使用更高版本的基础镜像lambda/python:3.8,发现open3d最高版本仍然是0.13.0;然后尝试将代码运行环境的open3d降到0.13.0版本,发现有个别open3d函数不适配,将函数改为0.13.0版本,成功解决报错。

2.缺少依赖库问题

问题1:刚开始使用docker打包时,使用基础镜像为python3.7,打包完运行"import open3d"报错—ImportError: libGL.so.1: cannot open shared object file: No such file or directory,当时根据教程link解决了报错,但是这样每次打包都要来一遍,很麻烦。另外,当基础镜像使用lambda/python3.7时,上述教程并不能解决问题。

解决1:由于是"import open3d"时报错,可能是缺少open3d-python

pip install open3d-python -i https://pypi.mirrors.ustc.edu.cn/simple/

3.临时文件问题

问题1:由于代码运行时需要生成一些临时文件,前期开发时临时文件放在运行代码文件夹子目录,但是最后部署到云平台时代码运行的路径无法写入文件

解决1:将临时文件的保存路径改到临时文件夹 /tmp 或子目录下

4.编码问题

问题1:前期开发时代码都正常运行,但是使用lambda/python3.7基础镜像打包之后,连接到Postman出现了编码问题

解决1:分析是某个文件有编码冲突,新建一个文件夹,把项目文件一个一个移动到新文件夹进行测试,发现是权重文件和运行代码放在一起导致的编码报错,所以新建一个文件夹单独放权重文件,成功解决报错。


四、docker常用命令

sudo service docker start  #(启动docker)
docker images -a  #(查看所有镜像)
docker build -t test:0.1.0 .  #(创建镜像)
docker rmi xxxxx  #(删除镜像)
docker ps -a  #(查看所有容器)
#(新建容器并启动)
docker run -it test:0.1.0 /bin/bash
docker run -p 8888:8080 test:0.1.0 
docker start xxxxx  #(启动容器)
docker restart xxxxx  #(重启容器)
docker stop xxxxx  #(停止当前容器)
docker kill xxxxx  #(强制停止当前容器)
#(进入容器)
docker attach xxxxx
docker exec -it xxxxx /bin/bash
docker commit xxxxx test:0.1.1  #(将容器制作成镜像)```

总结

使用docker打包python项目并部署aws lambda时遇到了很多坑,特此记录。

参考:
[1] docker制作python项目镜像
[2] Deploying PyTorch Model as a Serverless Service
[3] ImportError: libGL.so.1: cannot open shared object file: No such file or directory——docker容器内问题报错
[4] Docker常用命令,命令大全

 类似资料: