Tensorfow-lite预融合和TransposeConv偏置

Question

当我们用tf 1.15用PReLU转换tf.keras模型时，PReLU层变成了ReLU，似乎与以前的运算符融合在一起。结果，28 MB的keras h5文件变成了1.3 MB的大小。看起来参数的数量明显减少，因为我没有使用PReLU的份额权重轴选项。那么，这种转换工作正常，没有任何精度损失吗？PReLU的重量是否完全丢弃？同样，融合也考虑到转置卷积层的偏置（偏置在netron中不作为输入属性提及）。这些融合是否在内部保留了训练的权重参数，它们是否影响了tflite的推断精度？

预熔合：-

input = Input(shape=(512,512,3), name='ip')
x = Conv2D(filters=8, kernel_size=2, strides=2, padding='valid')(input)
x = PReLU()(x) # shared_axes not used

它在输出属性中显示prelu/ReLU

转置转换：-

cout1 = Conv2DTranspose(filters=8, kernel_size=2, strides=2, padding = 'same' )(pout1) # Bias is true by default

它在输出特性上没有显示偏差

那么，融合是通过组合权重来正常工作，还是它们被丢弃了？

Answer 1

如果权重中的所有值都是零，它会在融合/转换过程中自动丢弃它们。因此，融合后PReLU变成了ReLU，转置转换偏置变成了转置转换。当您在训练前将模型转换为tflite格式时，问题就出现了，因为权重有其默认值（零）。