tflite如何将Relu融合到conv层中？

Question

当将TF模型转换为tflite模型时（或者换句话说，使用“训练后量化”对模型进行量化），Relu层将从图形中消失。文档中对此进行了解释：“可以简单地从图中删除的操作（tf.identity）、用张量（tf.placeholder）替换的操作，或者合并成更复杂的操作（tf.nn.bias\u add）。”

我的问题是-如何将Relu层融合到先前的层中？（这种“融合”之外的数学是什么？这是量化模型的特定过程，还是也可以在原始浮点模型中完成？）

Answer 1

>

或者在引用内核中https://github.com/tensorflow/tensorflow/blob/master/tensorflow/lite/kernels/internal/reference/conv.h#L91

对于bias_add消失，转换器融合bias_add和conv，并在Op中设置bias param（如果要添加的值是常量），因此内核可以在卷积计算期间添加bias值https://github.com/tensorflow/tensorflow/blob/master/tensorflow/lite/kernels/internal/reference/conv.h#L89

对于像Mul这样的情况，如果乘法器是某个常数，转换器将Mul与Conv熔断

Mul（常数A、Conv（输入、滤波器）、偏置）

Conv（输入，（滤波器*Const_A），（偏置*Const_A））

假设Const_A和Filter是可广播类型

这在转换过程中发生https://github.com/tensorflow/tensorflow/blob/master/tensorflow/compiler/mlir/lite/transforms/optimize_patterns.td#L118

希望有帮助。