使用张量流服务来服务 Keras 模型

Question

Tensorflow 1.12发行说明指出：“Keras模型现在可以直接导出为SavedModel格式（tf.contrib.saved_model.save_Keras_mode（）），并与Tensorflow服务一起使用。”。所以我试了一下-

我用一行代码导出了一个简单的模型。但是，Tensorflow服务不识别模型。我猜问题出在docker调用上，可能是模型定义中缺少了“signature_defs”。如果能提供关于缺失步骤的信息，我将不胜感激。

1.训练模型并将其导出到TF服务：

下面是基于Jason Brownlee的第一个NN的代码（由于其简单性而选择）

（培训数据，作为一个简短的CSV文件，在这里）：

from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense
from tensorflow.contrib.saved_model import save_keras_model
import numpy

# fix random seed for reproducibility
numpy.random.seed(7)

# load pima indians dataset
dataset = numpy.loadtxt("pima-indians-diabetes.csv", delimiter=",")
# split into input (X) and output (Y) variables
X = dataset[:,0:8]
Y = dataset[:,8]

# create model
model = Sequential()
model.add(Dense(12, input_dim=8, activation='relu'))
model.add(Dense(8, activation='relu'))
model.add(Dense(1, activation='sigmoid'))

# Compile model
model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy'])

# Fit the model
model.fit(X, Y, epochs=150, batch_size=10)

# evaluate the model
scores = model.evaluate(X, Y)
print("\n%s: %.2f%%" % (model.metrics_names[1], scores[1]*100))

# calculate predictions
predictions = model.predict(X)
# round predictions
rounded = [round(x[0]) for x in predictions]
print(rounded)

# Save the model for serving
path = '/TensorFlow_Models/Keras_serving/saved_model' # full path of where to save the model
save_keras_model(model, path)

2.设置Tensorflow服务器:

服务器可以通过docker设置，也可以自己构建。TF推荐docker (TF ref)。接下来，根据TF博客和TF服务教程:

1. 安装 Docker（从此处）
2. 获取最新的 TF 服务版本：

Docker 拉张量流/服务

docker run-p 8501:8501-NAME NNN-mount type = bind，source=SSS，target = TTT-e MODEL _ NAME = MMM-t tensor flow/serving

如果有人能证实，我会很高兴:

• NNN—docker容器名称—例如，用于终止进程。可以任意设置（例如：mydocker）
• MMM-模型的名称，似乎是任意设置的
• SSS-模型所在的文件夹，完整路径
• TTT-该设置为什么

3.客户端

服务器可以通过gRPC或RESTful API获取请求。假设我们使用RESTful API，可以使用curl访问模型（这里是一个TF示例）。但我们如何设置模型的输入/输出？是否需要签名文件（参考）？

总而言之，虽然如TF1.12发行说明中所述，“Keras模型现在可以直接导出为SavedModel格式(TF . contrib . saved _ model . save _ Keras _ model())并与Tensorflow Serving一起使用”，但要真正为模型服务还有一段路要走。我很乐意为完成这个想法。

Answer 1

感谢您的问题，或多或少与我的tensorflow-serving签名进行异或链接

我完全同意你对TTT的怀疑

Answer 2

你们对NNN和SSS的看法都是正确的。NNN可以是任意的，如果未指定，docker将为其提供一个随机名称。

对于MMM，最好给它起个有意义的名字。

对于 TTT，这是关于 docker run 命令的一般情况，您可以参考 docker doc。这是在容器内映射（绑定）SSS 的位置，通常设置为 /models/$MODEL_NAME。如果进入此容器并打开 /models/$MODEL_NAME，您将看到版本文件夹，就像在 SSS 中一样。

RESTful API的输入与TensorFlow代码中模型的输入相同，在您的示例中是＜code＞X＝dataset〔，0:8〕

如果在保存模型时没有定义签名，就像文档中的例子一样，那么在服务中就没有必要了。