使用docker打包python项目并在本地模拟部署aws lambda

使用docker打包python项目并在本地模拟部署aws lambda

---

前言

本文主要记录使用docker打包python项目并部署到lambda的流程以及遇到的一些问题。

配置：Windows11，WSL2，Ubuntu20.04，VScode

---

一、docker打包python项目

1.准备工作

在requirements.txt中写入需要安装的库：

-f https://download.pytorch.org/whl/torch_stable.html
open3d==0.13.0
torch==1.12.0+cpu
# open3d-python

设置dockerfile：

FROM public.ecr.aws/lambda/python:3.7

ADD ./ ${LAMBDA_TASK_ROOT}/

RUN mkdir -p /tmp/classifier

RUN python3 -m pip install -r requirements.txt -i https://pypi.mirrors.ustc.edu.cn/simple/
RUN python3 -m pip install open3d-python -i https://pypi.mirrors.ustc.edu.cn/simple/

CMD [ "handler.predict"]

1、从 aws lambda 上 pull 下 python 3.7 的基础镜像
2、当前目录的内容ADD到容器中的 /var/task 目录下
3、在容器的tmp文件夹中新建文件夹(代码运行时需要在临时文件夹中生成临时文件)
4、安装依赖库
5、启动运行 handler.predict

由于open3d-python在requirements.txt一起安装出现了报错，所以将open3d-python放入dockerfile单独安装。

2.打包步骤

打开WSL:Ubuntu-20.04终端，启动docker：

sudo service docker start

切换路径到待打包的文件夹：

cd 文件夹路径

创建docker镜像

docker build -t test:0.1.0 . 

注意：最后有个 .

运行创建好的镜像，创建一个新容器

docker run -p 8888:8080 test:0.1.0 
docker run -p 8888:8080 --gpus all test:0.1.0 # gpu

---

二、本地模拟部署aws lambda

参考内容：Deploying PyTorch Model as a Serverless Service

1.准备工作

handler.py
代码如下：

def predict(event, context):
    try:
        print(event)
        
        input_file_path = "/var/task/input/xxxxx"
        preds = test.main(input_file_path)
        print("prediction:",preds)
        	
        context.log(preds)
        logging.info(f"prediction: {preds}")

        return {
            "statusCode": 200,
            "headers": {
                    'Content-Type': 'application/json',
                    'Access-Control-Allow-Origin': '*',
                    "Access-Control-Allow-Credentials": True
                },
            "body": json.dumps({"prediction": preds})
        }
    except Exception as e:
        logging.error(e)
        return {
            "statusCode": 500,
            "headers": {
                    'Content-Type': 'application/json',
                    'Access-Control-Allow-Origin': '*',
                    "Access-Control-Allow-Credentials": True
                },
            "body": json.dumps({"error": repr(e)})
        }

2.Postman模拟http请求

下载安装: Postman
下载安装注册之后，创建一个json文件，导入Postman，在容器运行时点击send，查看是否连接成功。

{
	"info": {
		"_postman_id": "xxxxx",
		"name": "test",
		"schema": "xxxxx"
	},
	"item": [
		{
			"name": "xxxxx",
			"protocolProfileBehavior": {
				"disableBodyPruning": true
			},
			"request": {
				"method": "GET",
				"header": [],
				"body": {
					"mode": "raw",
					"raw": "{\"S3key\":\"test\"}",
					"options": {
						"raw": {
							"language": "json"
						}
					}
				},
				"url": "xxxxx"
			},
			"response": []
		}
	]
}

---

三、遇到的问题及解决方法

1.版本不兼容问题

问题1：前期开发时对应的版本为python:3.7.13，open3d:0.15.2，然而docker打包时使用的基础镜像是lambda/python:3.7，适配的open3d最高版本只有0.13.0，打包好之后直接报错。

解决1：首先尝试使用更高版本的基础镜像lambda/python:3.8，发现open3d最高版本仍然是0.13.0；然后尝试将代码运行环境的open3d降到0.13.0版本，发现有个别open3d函数不适配，将函数改为0.13.0版本，成功解决报错。

2.缺少依赖库问题

问题1：刚开始使用docker打包时，使用基础镜像为python3.7，打包完运行"import open3d"报错—ImportError: libGL.so.1: cannot open shared object file: No such file or directory，当时根据教程link解决了报错，但是这样每次打包都要来一遍，很麻烦。另外，当基础镜像使用lambda/python3.7时，上述教程并不能解决问题。

解决1：由于是"import open3d"时报错，可能是缺少open3d-python

pip install open3d-python -i https://pypi.mirrors.ustc.edu.cn/simple/

3.临时文件问题

问题1：由于代码运行时需要生成一些临时文件，前期开发时临时文件放在运行代码文件夹子目录，但是最后部署到云平台时代码运行的路径无法写入文件

解决1：将临时文件的保存路径改到临时文件夹 /tmp 或子目录下

4.编码问题

问题1：前期开发时代码都正常运行，但是使用lambda/python3.7基础镜像打包之后，连接到Postman出现了编码问题

解决1：分析是某个文件有编码冲突，新建一个文件夹，把项目文件一个一个移动到新文件夹进行测试，发现是权重文件和运行代码放在一起导致的编码报错，所以新建一个文件夹单独放权重文件，成功解决报错。

---

四、docker常用命令

sudo service docker start  #（启动docker）
docker images -a  #（查看所有镜像）
docker build -t test:0.1.0 .  #（创建镜像）
docker rmi xxxxx  #（删除镜像）
docker ps -a  #（查看所有容器）
#（新建容器并启动）
docker run -it test:0.1.0 /bin/bash
docker run -p 8888:8080 test:0.1.0 
docker start xxxxx  #（启动容器）
docker restart xxxxx  #（重启容器）
docker stop xxxxx  #（停止当前容器）
docker kill xxxxx  #（强制停止当前容器）
#（进入容器）
docker attach xxxxx
docker exec -it xxxxx /bin/bash
docker commit xxxxx test:0.1.1  #（将容器制作成镜像）```

---

总结

使用docker打包python项目并部署aws lambda时遇到了很多坑，特此记录。

参考：
[1] docker制作python项目镜像
[2] Deploying PyTorch Model as a Serverless Service
[3] ImportError: libGL.so.1: cannot open shared object file: No such file or directory——docker容器内问题报错
[4] Docker常用命令，命令大全