如何在TensorFlow Lite中优化动态范围量化和全整数量化？

Question

我目前正在使用TensorFlow Lite，我试图理解动态范围量化（DRQ）和全整数量化（FIQ）之间的区别。我知道在第一个（DRQ）中，只有权重是量化的，而在第二个（FIQ）中，权重和激活（输出）都是量化的。

然而，我不确定我是否完全理解这意味着什么。关于权重的量化，它们只是从float32转换到int8，还是进行另一种操作？同样，为什么需要一个有代表性的数据集来量化FIQ中的激活？

此外，我想知道，例如，神经网络的一个层是否具有S形激活，这意味着在FIQ中，该层的所有输出都将“映射”到0或1（不考虑中间的任何其他可能值）？

最后，在DRQ部分，您可以阅读以下句子：“在推理时，权重从8位精度转换为浮点，并使用浮点内核进行计算”。如果在推理时将权重从8位转换为浮点精度，那么相对于完全没有量化的TensorFlow Lite模型，动态范围量化模型有什么优势（除了较小的网络尺寸）？如果不进行这种转换（以整数精度操作），模型会更快吗？

Answer 1

全整数量化要求代表性数据集确定输入的最小-最大值。当转换器对模型进行量化时，这些是正确确定量化节点所必需的。在TF1中。可以手动将伪量子节点注入模型中，并且伪量子节点似乎仍然存在于当前版本的TensorFlow:TensorFlow文档中。文档页面还回答了您关于量化权重时进行何种操作的问题。

您链接的同一DRQ部分还提到“此转换完成一次并缓存以减少延迟”。