为什么量化TensorFlow Lite模型在延迟方面表现不佳？
我目前正在测试使用TensorFlow Lite转换的U-Net网络推理的延迟。我正在测试三个具有相同架构的NN的分段问题（我正在使用Windows操作系统在笔记本电脑上测试它们）：
- 第一个模型：TensorFlow模型（未经优化，使用Keras接口创建）。
- 第二个模型：使用TFLite优化的TensorFlow模型（使用Python TFLite api转换，无需量化）。它实际上是第一个转换的模型。
- 第三个模型：用TFLite优化并量化的TensorFlow模型（用Python TFLite api转换并用tensorflow.lite.Optimize.DEFAULT量化）。它实际上是第一个转换的模型。
实际上，第二个模型（使用 TFLite 优化）将第一个模型（正态 TF 模型）的时间性能提高了 x3 倍（快三倍）。但是，第三种型号（TFLite
为什么量子化模型最慢？
共有1个答案
这取决于您的模型运行的内核。
一般来说，TFLite更适合在移动设备上运行。因此，在您的情况下，量化桌面可能会对某些操作使用参考实现。
进一步检查的一种方法是使用--enable_op_profiling=true运行基准测试工具。
它将使用虚拟数据运行您的模型并分析操作，然后像这样向您显示摘要
如果您发现了一些问题，那么您可以提交一个github问题，其中包含详细信息以及如何重现该问题，并且团队可以调试性能问题。
-
我目前正在测试用TensorFlow Lite转换的CNN的推断延迟。我正在测试两个具有相同体系结构的CNN（我正在使用Windows操作系统的笔记本电脑上测试它们）： > 第一个模型：使用TFLite优化的TensorFlow模型，并量化其权重（使用Python TFLite API进行转换，并使用TensorFlow.lite.Optimize.DEFAULT进行量化）。它是动态范围量化。 第
-
主要内容：实例,实例,实例,实例关键词： 分布延迟， 集总延迟， 路径延迟 之前大部分仿真都是验证数字电路功能的正确性，信号传输都是理想的，没有延迟。但是实际逻辑元器件和它们之间的传输路径都会存在延迟。因此，必须检查设计中的延迟是否满足实际电路的时序约束要求。可以用时序仿真的方法来检查时序（timing），即在仿真时向元件或路径中加入和实际相符的延迟信息，并进行相关计算来确定时序是否满足。 静态时序分析 (Static Timi
-
我在计算一个简单蒸汽的最大值，结果是： （S11000，S1，值：999） （S12000，S1，值：41） 最后一行数据明显迟到了： 为什么按第一个窗口（0-1000）计算？ 我认为第一个窗口应该在到达时触发。 对于这个结果，我很疑惑。 MyReductingMax（），MyWindowFunction（）
-
问题内容： 我试图在收到请求后立即发送页面响应，然后进行处理，但是我发现响应即使按代码顺序排列也没有“首先”发送。在现实生活中，我有一个页面可供上传一个Excel工作表，该工作表保存到数据库中需要花费时间（50000+行），并且希望更新用户进度。这是一个简化的示例；（取决于您有多少RAM，您可能需要添加几个零来计数才能看到结果） 问题答案： HTTP协议的原始概念是一个简单的请求- 响应服务器-客
-
问题内容： 我需要在循环中对数据库进行SQL查询： 更好的方法是：保持原样或循环后移动： 或者是其他东西 ？ 问题答案： 整个要点是直到函数返回才执行，因此将其放置在要关闭的资源打开后的适当位置。但是，由于要在循环内创建资源，因此根本不要使用defer- 否则，在函数退出之前，您不会关闭在循环内创建的任何资源，因此它们会堆积直到然后。相反，您应该在每次循环迭代结束时关闭它们， 而无需 ：
-
我目前面临的问题是如何处理聚合中实体之间的关联。 考虑以下示例： 现在，我们有一个，User“实体，也是我的聚合根。他可以有一个，Product”和多个，别名。我现在需要的是检索相关的，Product和，，域模型中的“按需别名”。用户由UserFactory创建，当从持久性数据创建实体时，可以单独使用，也可以在UserRepository中使用。 这样做的原因是因为我们的业务逻辑（如您在示例中看到