TesorFlow Lite推理给出不同的结果然后规则推理

Question

我有一个模型，可以从图像中提取512个特征（数字介于-1,1之间）。我使用此处的说明将此模型转换为tflite浮点格式https://github.com/tensorflow/tensorflow/tree/master/tensorflow/contrib/lite

我对原始模型和tflite模型的同一个图像进行了推断。

对于向量，我得到了不同的结果，我希望得到非常相似的结果，因为我没有使用量化格式。据我所知，tf-lite应该只提高推理性能，而不影响特征计算。

我的问题是这正常吗？还有其他人遇到过这种情况吗？我在任何地方都没有找到与此相关的主题。

用代码更新。

我有这个网络我训练（删除了许多项目，因为我不能共享完整的网络）占位符=tf.placeholder（名称='输入'，dtype=tf.float32，形状=[无，128,128,1]）

with slim.arg_scope([slim.conv2d, slim.separable_conv2d],
                      activation_fn=tf.nn.relu, normalizer_fn=slim.batch_norm):
    net = tf.identity(placeholder)
    net = slim.conv2d(net, 32, [3, 3], scope='conv11')
    net = slim.separable_conv2d(net, 64, [3, 3], scope='conv12')
    net = slim.max_pool2d(net, [2, 2], scope='pool1')  # 64x64

    net = slim.separable_conv2d(net, 128, [3, 3], scope='conv21')
    net = slim.max_pool2d(net, [2, 2], scope='pool2')  # 32x32
    net = slim.separable_conv2d(net, 256, [3, 3], scope='conv31')

    net = slim.max_pool2d(net, [2, 2], scope='pool3')  # 16x16
    net = slim.separable_conv2d(net, 512, [3, 3], scope='conv41')
    net = slim.max_pool2d(net, [2, 2], scope='pool4')  # 8x8
    net = slim.separable_conv2d(net, 1024, [3, 3], scope='conv51')
    net = slim.avg_pool2d(net, [8, 8], scope='pool5')  # 1x1
    net = slim.dropout(net)
    net = slim.conv2d(net, feature_vector_size, [1, 1], activation_fn=None, normalizer_fn=None, scope='features')
    embeddings = tf.nn.l2_normalize(net, 3, 1e-10, name='embeddings') 

bazel-bin/tensorflow/contrib/lite/toco/toco--input\u file=/tmp/network\u 512。pb——输入格式=TENSORFLOW\u图形DEF——输出格式=TFLITE——输出文件=/tmp/tffiles/network\u 512。tflite--推断类型=浮点--输入类型=浮点--输入数组=输入--输出html" target="_blank">数组=嵌入--输入形状=1128128,1

我运行network_512.pb在python和network_512.tflite使用代码从https://github.com/tensorflow/tensorflow/tree/master/tensorflow/contrib/lite/java/demo我修改了代码加载我的网络和运行它。

Answer 1

我所做的测试是使用Demo应用程序Tenorflow提供并更改它以使用我的服装模型和提取功能，在那里我注意到功能值的差异。

一旦我在最新的android上手动编译了tf-lite c库，并使用我使用的相同流（到目前为止都是tf-CAPI）运行该流，我就得到了几乎相同的功能结果。

我没有时间去调查差异从何而来。但是我现在很开心。