如何在android中将tflite模型中的形状[1,28,28,1]数组作为图像输出

Question

我有一个保存的tflite模型，其输入和输出详细信息如下：

>

输入：[{“name”：“dense_4_Input”，“index”：0，“shape”：数组（[1100]，dtype=int32），“shape_signature'：数组（[1]，100]，dtype=int 32），'dtype'：，'量化'：（0.0，0），'量化_parameters”：{“scales”：数组]

输出 ： [{'name'： 'Identit'， '索引'： 22， 'shape'： 数组（[ 1， 28， 28， 1]， dtype=int32）， 'shape_signature'： 数组（[ 1， 28， 28， 1]， dtype=int32）， 'dtype'： ， '量化'： （0.0， 0）， 'quantization_parameters'： {'scales'： 数组（[]， dtype=float32）， 'zero_points'： 数组（[]， dtype=int32）， 'quantized_dimension'： 0}， 'sparsity_parameters'： {}}]

如何使用Java和Tensorflow解释器在android应用程序上将输出显示为图像？

Answer 1

import android.content.res.AssetManager
import android.graphics.Bitmap
import android.util.Log
import org.tensorflow.lite.Interpreter
import org.tensorflow.lite.Tensor
import java.io.FileInputStream
import java.lang.StringBuilder
import java.nio.ByteBuffer
import java.nio.ByteOrder
import java.nio.channels.FileChannel

class ImgPredictor(val assetManager: AssetManager, modelFilename: String) {
    private var tflite: Interpreter

    private var input: ByteBuffer
    private var output: ByteBuffer

    init {
        val tfliteOptions = Interpreter.Options()

        val fd = assetManager.openFd(modelFilename)
        val inputStream = FileInputStream(fd.fileDescriptor)
        val fileChannel: FileChannel = inputStream.channel
        val startOffset: Long = fd.startOffset
        val declaredLength: Long = fd.declaredLength
        val mbb = fileChannel.map(FileChannel.MapMode.READ_ONLY, startOffset, declaredLength)
        tflite = Interpreter(mbb, tfliteOptions)
        Log.i("ImgPredictor", "interpreter: ${tflite.detail()}")
        input = ByteBuffer.allocate(100 * Int.SIZE_BYTES)
        input.order(ByteOrder.nativeOrder())

        output = ByteBuffer.allocate(1 * 28 * 28 * 1 * Int.SIZE_BYTES)
        output.order(ByteOrder.nativeOrder())
    }

    fun predict(data: IntArray): Bitmap {
        val startTs = System.currentTimeMillis();

        input.clear()
        output.clear()

        input.rewind()
        for (i in 0 until 100) {
            input.putInt(data[i])
        }
        tflite.run(input, output)
        val bitmap = Bitmap.createBitmap(28, 28, Bitmap.Config.ARGB_8888);
        // vector is your int[] of ARGB
        bitmap.copyPixelsFromBuffer(output)
        return bitmap
    }
}

fun Tensor.detail(): String {
    return "[shape: ${this.shape().toList()} dataType: ${this.dataType()}, bytes: ${this.numBytes()}]"
}

fun Interpreter.detail(): String {
    val sb = StringBuilder("interpreter: \n")
    sb.append("input: { \n")
    for (i in 0 until this.inputTensorCount) {
        sb.append("    ").append(this.getInputTensor(i).detail()).append("\n")
    }
    sb.append("}, \n")

    sb.append("output: { \n")
    for (i in 0 until this.outputTensorCount) {
        sb.append("    ").append(this.getOutputTensor(i).detail()).append("\n")
    }
    sb.append("}")
    return sb.toString()
}

您可以在此处查看官方教程以了解更多详细信息：对象检测解释器的示例。
但以下是您应该注意的一些点：
1.保持实现'org.tensorflow： tenorflow-lite： x. x'与您的PC尽可能相同的版本，因为某些操作在较低版本中可能不起作用。
2.使用一些详细的func来打印解释器输入/输出。
3.检查输入输出数据缓冲区顺序endian。