当前位置: 首页 > 工具软件 > Adlik > 使用案例 >

快来下载Adlik镜像,五分钟实现模型推理

钱雅逸
2023-12-01

Adlik推出容器镜像服务啦!

在之前《Adlik云原生介绍》一文中,我们推荐大家通过容器来搭建Adlik环境,便于为各Adlik的各个功能组件提供纯净的环境,也给大家介绍了Adlik从0到1安装、配置、编译、使用的全过程。

在Adlik的GitHub仓库中的docker-images目录下,我们还给大家提供了构建所需镜像的dockerfile,构建好镜像后,即可方便地使用Adlik。 

近期,为进一步简化使用Adlik的流程,Adlik团队最新推出了Adlik容器镜像服务,即直接提供安装好Adlik环境的镜像,用户下载镜像后两步即可启动模型推理服务。与前两种方式相比,操作更加简单快捷。

目前相关的镜像已上传至Adlik镜像仓库。欢迎体验!

首先,登陆镜像仓库:

docker login --username='adlik云原生镜像' registry.cn-beijing.aliyuncs.com
Password:ZTE@adlik

然后选择需要的镜像,包括Model compiler镜像和Serving Engine镜像。Model compiler镜像的作用是将模型编译为可被推理引擎加载的格式,支持TensorFlow, Keras, PyTorch等框架训练出的模型;Serving Engine镜像的作用是加载编译好的模型,将其部署为可通过HTTP或GRPC接口访问的推理服务,支持OpenVINO,TensorRT等多种运行时环境。

目前Adlik提供的Model compiler的镜像如下:

cpu/gpu
registry.cn-beijing.aliyuncs.com/adlik/model-compiler:7.2.1.6_11.0
registry.cn-beijing.aliyuncs.com/adlik/model-compiler:7.2.1.6_10.2
registry.cn-beijing.aliyuncs.com/adlik/model-compiler:7.2.0.11_11.0
registry.cn-beijing.aliyuncs.com/adlik/model-compiler:7.1.3.4_11.0
registry.cn-beijing.aliyuncs.com/adlik/model-compiler:7.1.3.4_10.2
registry.cn-beijing.aliyuncs.com/adlik/model-compiler:7.0.0.11_10.2
registry.cn-beijing.aliyuncs.com/adlik/model-compiler:7.0.0.11_10.0

Serving Engine的镜像如下:

cpu:
registry.cn-beijing.aliyuncs.com/adlik/serving/tflite-cpu:latest
registry.cn-beijing.aliyuncs.com/adlik/serving/tensorflow-cpu:latest
registry.cn-beijing.aliyuncs.com/adlik/serving/openvino:2021.1.110

gpu:
registry.cn-beijing.aliyuncs.com/adlik/serving/tensorflow-gpu:latest
registry.cn-beijing.aliyuncs.com/adlik/serving/tensorrt:7.2.1.6_11.0
registry.cn-beijing.aliyuncs.com/adlik/serving/tensorrt:7.2.1.6_10.2
registry.cn-beijing.aliyuncs.com/adlik/serving/tensorrt:7.2.0.11_11.0
registry.cn-beijing.aliyuncs.com/adlik/serving/tensorrt:7.1.3.4_11.0
registry.cn-beijing.aliyuncs.com/adlik/serving/tensorrt:7.1.3.4_10.2
registry.cn-beijing.aliyuncs.com/adlik/serving/tensorrt:7.0.0.11_10.2
registry.cn-beijing.aliyuncs.com/adlik/serving/tensorrt:7.0.0.11_10.0

确定好后,拉取镜像:

docker pull docker_image_name:tag

至此,准备工作全部完成。

接下来,就可以根据选选定的推理运行时,启动model compiler容器编译模型,再启动对应的serving容器加载模型即可发布模型推理服务。具体可以参考《Adlik云原生介绍》中Adlik云原生操作指南一节中介绍的YOLOv3模型编译、部署的步骤。

配合GitHub仓库中的示例代码服用,效果更佳哦!https://github.com/Adlik/Adlik

 类似资料: