量化TensorFlow图进行推理

Question

我试图量化我的模型（CNN），以便将其转换为量化模型。tflite模型。我将在以下位置阅读教程：https://github.com/tensorflow/tensorflow/tree/r1.13/tensorflow/contrib/quantize#quantization-意识训练

首先，我通过调用以下命令在我的图中引入假量化节点：

tf.contrib.quantize.create_training_graph(quant_delay=500)

但是，当最后我尝试调用此函数以确保图形以正确的格式导出量化信息时：

tf.contrib.quantize.create_eval_graph(input_graph=tf.get_default_graph())

我得到这个错误：

ValueError:在图形中找到训练op，正在退出{'ApplyAdam'}

事实上，在构建图表时，我有效地添加了AdamOptimizer来训练我的模型：

train_step = tf.train.AdamOptimizer(1e-4).minimize(...)

如何解决这个问题？这个错误似乎建议我应该删除Adam优化器，尽管我需要它来进行培训。

我在TensorFlow网页和教程以及其他论坛上都找不到任何关于这方面的帮助。我希望你能帮助我

提前谢谢

Answer 1

它可能有点复杂，但您需要创建两个独立且不同的图形，一个用于训练，一个用于导出。查看此要点，了解训练的示例，然后使用量化感知训练、导出和转换进行微调。

步骤1）

在训练图中，您可以创建正常情况下的所有内容，然后调用tf。contrib。量化。创建训练图（…） 训练操作之前，请先进行编码>。训练你的模型，然后做一个检查点，你可以通过tf来完成。估计器API或定期在tf中使用。会话。

步骤2）

然后你需要创建一个推断图，你甚至不需要让损失函数只是你模型的推断部分。在调用之后tf.contrib.quantize.create_eval_graph（...）添加量化操作。最后，你只需从训练中创建的检查点恢复，然后导出到你想要的格式Frozengraph或保存的模型。

步骤3）

使用toco将frozengraph/savedmodel转换为tflite。