当前位置: 首页 > 知识库问答 >
问题:

tensorflow lite模型已经量化了吗?

宋嘉禧
2023-03-14

转换后的tensorflow lite模型是否始终具有量化计算和输出?还是取决于tensorflow模型的输入和推理类型?

共有1个答案

督弘化
2023-03-14

这取决于推理类型。

首先,输入模型应使用量化操作进行检测,https://github.com/tensorflow/tensorflow/tree/master/tensorflow/contrib/quantize 这可能会有帮助。

生成的评估图应提供给TOCO,以便使用--inference_type=QUANTIZED_UINT8和输入数组的正确--mean_值和--std_值进行转换。

有关如何为量化模型调用TOCO的一些示例,请参阅https://github.com/tensorflow/tensorflow/blob/master/tensorflow/contrib/lite/toco/g3doc/cmdline_examples.md。

更新:我们添加了一个新的培训后量化工具:https://medium.com/tensorflow/tensorflow-model-optimization-toolkit-post-training-integer-quantization-b4964a1ea9ba 这应该比旧的量化方法更容易。

 类似资料:
  • 我在android studio上运行了一个Tensorflow示例(https://github.com/Tensorflow/examples/blob/master/lite/examples/image_classification/android/readme.md),得到以下错误。

  • 如果我的计算机有12个内核,我的模型有15个场景运行,批量运行是否会自动将最初的12个运行分配给每个内核,并同时运行相应的运行以节省时间?如果是,我还想知道我是否可以控制核心的使用,例如,在批量运行时限制使用8个核心,以防止单次运行规模过大时出现OOM。

  • 校验者: @飓风 @小瑶 @FAME @v 翻译者: @小瑶 @片刻 @那伊抹微笑 有 3 种不同的 API 用于评估模型预测的质量: Estimator score method(估计器得分的方法): Estimators(估计器)有一个 score(得分) 方法,为其解决的问题提供了默认的 evaluation criterion (评估标准)。 在这个页面上没有相关讨论,但是在每个 esti

  • 问题内容: 我出现了不想要的行为,即,它更改了进入原始函数的参数的数据类型。我最初的问题是关于一般情况的,我将使用这个新问题来提出更具体的情况。 (为什么要问第二个问题?为了说明问题,我创建 了一个关于更具体案例 的问题-从具体问题到更一般的问题总是比较容易。而且我 单独 创建了这个问题,因为我认为这是有助于保持一般情况以及对一般情况的答复(应该找到),而不会因为考虑解决任何特定问题而受到“污染”

  • 我正在开发一个端到端训练和量化感知的训练示例。使用CIFAR10数据集,我加载了一个预训练的MobilenetV2模型,然后使用TensorFlow指南中的代码来量化我的模型。整个过程适当结束后,我得到以下结果: 注意,我并没有更改我从TensorFlow指南中附带的代码,我只是使用了一个不同的数据集和模型。

  • 首先,我从Mobilenet下载了一个量化模型。它包含在Mobilenet_v1_1.0_224中。然后我做了下面的事情 以下是图表的摘要 因此,通过进行转换,我遇到了以下错误 2018-03-01 23:12:03.353786:I tensorflow/contrib/lite/toco/import_tensorflow。cc:1172]转换不支持的操作:反量化2018-03-01 23:1