关于tensorflow lite量化代码、纸张和文档之间不一致的问题

Question

在google发布的这篇论文（仅用于高效整数算术推理的神经网络量化和训练）中，量化方案描述如下：

哪里

M=S₁*S₂/S₃

S₁，S₂和S₃分别是输入和输出的尺度。

无论是“离线”还是“在线”，S₁（和零点Z₁）和S₂（和零点Z₂）都可以很容易地确定。但是S₃（和零点Z₃）呢？这些参数取决于“实际”输出刻度（即float无量化值）。但输出规模在计算之前是未知的。

根据tensorflow文件：

在推理时，权重从8位精度转换为浮点，并使用浮点内核计算。此转换只执行一次并缓存以减少延迟。

但下面的代码说明了一些不同的情况：

  tensor_utils::BatchQuantizeFloats(
      input_ptr, batch_size, input_size, quant_data, scaling_factors_ptr,
      input_offset_ptr, params->asymmetric_quantize_inputs);
  for (int b = 0; b < batch_size; ++b) {
    // Incorporate scaling of the filter.
    scaling_factors_ptr[b] *= filter->params.scale;
  }

  // Compute output += weight * quantized_input
  int32_t* scratch = GetTensorData<int32_t>(accum_scratch);
  tensor_utils::MatrixBatchVectorMultiplyAccumulate(
      filter_data, num_units, input_size, quant_data, scaling_factors_ptr,
      batch_size, GetTensorData<float>(output), /*per_channel_scale=*/nullptr,
      input_offset_ptr, scratch, row_sums_ptr, &data->compute_row_sums,
      CpuBackendContext::GetFromContext(context));

在这里我们可以看到：

  scaling_factors_ptr[b] *= filter->params.scale;

我认为这意味着：

1. 计算S₁*S₂

纸张、文档和代码之间的这种不一致性让我非常困惑。我说不出我错过了什么。有人能帮我吗？

Answer 1

让我回答我自己的问题。突然间，我看到了我骑自行车时错过的东西。上面问题中的代码来自函数tFlyte::ops::builtin::fully_connected::EvalHyaux（）。这里名字已经说明了一切！矩阵乘法输出中的值在本文第2.2节中表示为r₃。根据第2.2节的等式（2），我们有：

如果我们想要得到矩阵乘法的浮点结果，我们可以使用第2.2节中的等式（4），然后将结果转换回浮点，或者我们可以使用等式（3），左侧替换为r₃，如所示：

如果我们选择所有的零点为0，则上面的公式变为：

这正是EvalHybrid（）所做的（暂时忽略偏差）。结果表明，本文给出了量化算法的概要，而实现使用了不同的变体。