适用于Android的Tensorflow量化图

Question

我正在尝试将量化图形加载到Android应用程序中。我的构建文件包含

deps = ["//tensorflow/core:android_tensorflow_lib",
      "//tensorflow/contrib/quantization:cc_array_ops",
      "//tensorflow/contrib/quantization:cc_math_ops",
      "//tensorflow/contrib/quantization:cc_nn_ops",
      "//tensorflow/contrib/quantization/kernels:quantized_ops"]

额外的量化deps用于独立的C构建。

由于GEMMLOWP中存在大量错误，我无法使用Bazel进行编译。在Android中包含gemmlowp和量化操作的正确方式是什么？

下面是一个错误示例：

external/gemmlowp/eight_bit_int_gemm/eight_bit_int_gemm.cc:125:13: error: 'int32_t' is not a member of 'std'
   MatrixMap<std::int32_t, ResultOrder> result(c, m, n, ldc);

这是在Ubuntu 16.04和Bazel 0.3.0上。

这里有一个要点，它有两次连续尝试构建包的输出——第一次在highwayhash上失败，第二次在gemmlowp上失败。https://gist.github.com/ericdanz/81b799f2e0bbb3cc462aa3c90468c71b

最终，通过在gemmlowp和highwayhash的构建文件中自由添加“-std=c11”，并用android框架替换量化ops中的框架依赖项，它得以编译和运行。不过，它产生的结果却截然不同，运行速度慢了约4倍（26-3200ms vs 6-800 ms）。我会尝试做更深入的调查。

Answer 1

以下是对我有用的东西-它基本上是上面Eric D的所有评论的组合，但我想把所有这些放在一个地方，供遇到这个问题的新手使用：

添加quantized_opsindepstolibtensorflow_demo.soin the BUILD file for the Android app：

deps = ["//tensorflow/core:android_tensorflow_lib",
        "//tensorflow/contrib/quantization/kernels:quantized_ops",]

在tensorflow/contrib/quantization/kernels/BUILD中修改量化操作的deps：

deps = [
        "//tensorflow/contrib/quantization:cc_array_ops",
        "//tensorflow/contrib/quantization:cc_math_ops",
        "//tensorflow/contrib/quantization:cc_nn_ops",
        "//tensorflow/core:android_tensorflow_lib",
        #"//tensorflow/core",
        #"//tensorflow/core:framework",
        #"//tensorflow/core:lib",
        #"//tensorflow/core/kernels:concat_lib_hdrs",
        #"//tensorflow/core/kernels:conv_ops",
        #"//tensorflow/core/kernels:ops_util_hdrs",
        #"//tensorflow/core/kernels:pooling_ops_hdrs",
        #"//tensorflow/core/kernels:eigen_helpers",
        #"//tensorflow/core/kernels:ops_util",
        #"//tensorflow/core/kernels:pooling_ops",
        "//third_party/eigen3",
        "@gemmlowp//:eight_bit_int_gemm",
    ],

删除/注释掉。doc（）部件在tenstorflow/contrib/量化/ops/array_ops.cc，math_ops.cc和nn_ops.cc

在tensorflow/contrib/quantization/BUILD中修改cc_array_ops、cc_math_ops和cc_nn_ops的deps：

deps = [
        #"//tensorflow/core:framework",
        "//tensorflow/core:android_tensorflow_lib",
    ],

使用--cxopt=“-std=c 11”标志运行Android应用程序的bazel构建命令。