1.6.9.1 使用通用gRPC客户端

优质
小牛编辑
130浏览
2023-12-01

简介

TensorFlow serving提供了通用的gRPC接口,我们也考虑实现通用的gRPC客户端,由于用户模型的输入数据不同,因此我们通过JSON定义数据,并且集成到Xiaomi Cloud-ML中。

使用Xiaomi Cloud-ML

安装cloudml命令工具后,我们可以创建模型服务,请求的数据保存到本地JSON文件中。

{
  "keys_dtype": "int32",
  "keys": [[1], [2]],
  "features_dtype": "float32",
  "features": [[1,2,3,4,5,6,7,8,9], [1,2,3,4,5,6,7,8,9]]
}

注意JSON文件中所有字段与用户TensorFlow模型的定义是对应的,不同模型的键不同,为了构建TensorProto,我们还需要用户为每个键设置类型,字段名是键名加上"_dtype",值是TensorFlow可以支持的格式。

如果模型是我们自己部署的,默认只有我们可以获取该ip,因此直接指定模型名和版本来预测了。

cloudml models predict linear v1 -f ./data.json

如果我们想访问通用的TensorFlow serving服务,可不必创建模型,直接指定ip也可以访问。

cloudml models predict -n linear -s 127.0.0.1:9000 -f ./data.json

实现原理

Xiaomi Cloud-ML的通用客户端是基于Python实现的,和普通Python gRPC客户端类似,实现方法参考 TensorFlow serving Python客户端 。

我们对Python gRPC客户端进行封装,支持读取JSON文件构建TensorProto,易用性更强但灵活性较差,如果不想使用cloudml命令行也可以直接运行下面的脚本。

./generic_predict_client.py --server 127.0.0.1:9000 --model linear --data ./linear.json