为什么TensorFlow Lite在桌面上比TensorFlow慢？

Question

我目前正在研究单图像超分辨率，我设法冻结了一个现有的检查点文件，并将其转换为tensorflow lite。然而，当使用.tflite文件执行推断时，对一个图像进行上采样所需的时间至少是使用.ckpt文件恢复模型时的4倍。

使用. ckpt文件的推理使用session.run（）完成，而使用. tflite文件的推理使用interpreter.invoke（）完成。这两个操作都是在典型PC上运行的Ubuntu 18 VM上完成的。

我所做的是在单独的终端中运行top以查看执行任一操作时的CPU工时利用率。. ckpt文件的利用率达到270%，但. tflite文件的利用率保持在100%左右。

interpreter.set_tensor(input_details[0]['index'], input_image_reshaped)
interpreter.set_tensor(input_details[1]['index'], input_bicubic_image_reshaped)
start = time.time()
interpreter.invoke()
end = time.time()

vs

y = self.sess.run(self.y_, feed_dict={self.x: image.reshape(1, image.shape[0], image.shape[1], ch), self.x2: bicubic_image.reshape(1, self.scale * image.shape[0], self.scale * image.shape[1], ch), self.dropout: 1.0, self.is_training: 0})

一个假设是tensorflow lite未配置为多线程，另一个假设是tensorflow lite针对ARM处理器（而不是我的计算机运行的Intel处理器）进行了优化，因此速度较慢。然而，我不能肯定，我也不知道如何追踪问题的根源-希望有人会对此有更多的了解？

Answer 1

是的，当前的TensorFlow Lite操作内核针对ARM处理器进行了优化（使用NEON指令集）。如果SSE可用，它将尝试使用NEON_2_SSE将NEON调用适应SSE，因此它应该仍然使用某种SIMD运行。但是我们没有花太多精力来优化这个代码路径。

关于线程数。C API中有一个SetNumThread函数，但在Python API中还没有公开。当它未设置时，底层实现可能会尝试探测可用内核的数量。如果您自己构建代码，您可以尝试更改值并查看它是否会影响结果。

希望这些有帮助。