如何找到量化matmul/con2D操作的浮点输出范围

Question

我是tensorflow和quantization的新手，正在尝试对两个int8输入实现量化matmul操作。我很想知道手术背后的数学原理。我在tensorflow中看到，他们只对uint8输入实现了相同的功能，我想知道如何将其用于带符号的int8 matmul/conv2D。

更准确地说，我想知道如何获得matmul/cond2D操作的浮点输出范围。

任何帮助都将不胜感激。

Answer 1

我已经研究了一下张量流中的量化，并将其应用于将浮点运算转换为定量运算。

在我的例子中，我仍然有一个浮动输入到网络。输入在进入定量操作之前被量化。Tensorflow倾向于尽可能长时间地保持浮点值，以便与浮点操作兼容。这也是为什么在浮点输入被量化为8位整数格式后，tenstorflow保持最小和最大浮点范围的原因。量化产生的最小和最大浮点值也是定量操作的输入。

在您的情况下，Quant_conv2d操作对输入进行卷积：

• 未签名的8位数据表单量化

这些产出是：

• 结果为32位
• 新的最小和最大范围为浮动值

新的浮点范围是根据内核值的范围和输入的范围，使用以下所述的QuantizationRangeformultimation函数计算得出的：

https://github.com/tensorflow/tensorflow/blob/master/tensorflow/core/kernels/quantization_utils.h

如上所述，输出为32位，最小和最大浮点值映射为绝对值，并可能将8位量化格式转换回浮点。

希望这有助于理解Tensorflow量化算法。