如何在gpu上运行伪量化图形？

Question

我从这里下载了一个量化的mobilenet，这个图包含训练期间的假量化节点，以模拟测试时的输出。我想收集这个网络最后一个逐点卷积层的输出。

量化冻结模型包含额外的fc、softmax等层，对我的应用程序没有用。

我有以下代码用于加载图形。

def load_graph(frozen_graph_filename):
    # We load the protobuf file from the disk and parse it to retrieve the
    # unserialized graph_def
    with tf.gfile.GFile(frozen_graph_filename, "rb") as f:
        graph_def = tf.GraphDef()
        graph_def.ParseFromString(f.read())

with tf.Graph().as_default() as graph:
    # The name var will prefix every op/nodes in your graph
    # Since we load everything in a new graph, this is not needed
    tf.import_graph_def(graph_def, name="prefix")
return graph

graph1 = load_graph("./quantized_fake.pb")

input = graph1.get_tensor_by_name('prefix/input:0')
output = graph1.get_tensor_by_name('prefix/MobilenetV1/MobilenetV1/Conv2d_13_pointwise/Conv2D_Fold:0')

然后使用ses运行。run（），但是我观察到卷积层的输出没有像在移动设备上运行时那样被量化（8位）。

在pc上运行代码时，如何生成与移动设备上相同的输出。

tflite文件可以在pc上用于推理吗？

Answer 1

TensorFlow伪量化图实际上并没有量化，它插入了模拟量化的伪量化操作。这些仅由TensorFlow Lite转换为完全量化的操作。这就是为什么运行TensorFlow伪量化图只会导致浮点值而不是量化值。

TensorFlow Lite quantization目前仅在CPU上运行，可以在PC的CPU上运行。下面是一个如何调用TFLite解释器在PC上运行的示例。