“内部错误：准备张量分配时意外失败”-Firebase MLKIT-Android-本地模型加载失败

Question

我正在使用Firebase MLKIT在本地应用程序中实现“. tflite”模型。model.tflite文件大小约为132 MB。它显示了错误原因：

onFailure:java.lang.IllegalStateException:内部错误：准备张量分配时意外失败：此解释器不支持常规的张量流操作。确保在推理之前调用Flex委托。节点号17（Flex）准备失败。

和错误消息：

本地模型加载失败，模型选项为：本地模型路径：model.tflite。远程模型名称：未指定。

该模型用于[出于某种目的]将一幅正常图像转换为黑白图像。

我也列出了依赖项，

• 实现“com.google.firebase:firebase ml模型解释器：22.0.3”
• 实现“组织tensorflow:tensorflow lite:1.13.1”

我也访问了链接，但无法理解如何处理我的案例中的这个问题：https://github.com/tensorflow/tensorflow/blob/master/tensorflow/lite/java/src/test/java/org/tensorflow/lite/InterpreterFlexTest.java

我也附上了代码片段：

“”

FirebaseCustomLocalModel localModel = null;
                try {
                    localModel = new FirebaseCustomLocalModel.Builder()
                            .setAssetFilePath("model.tflite")
                            .build();
                } catch (Exception e) {

                    e.printStackTrace();
                    Log.d(TAG, "onClick: "+e);
                }
                FirebaseModelInterpreter interpreter;
                FirebaseModelInterpreterOptions options =
                        new FirebaseModelInterpreterOptions.Builder(localModel).build();
                try {

                    interpreter = FirebaseModelInterpreter.getInstance(options);

                    FirebaseModelInputOutputOptions inputOutputOptions =
                            new FirebaseModelInputOutputOptions.Builder()
                                    .setInputFormat(0, FirebaseModelDataType.FLOAT32, new int[]{1, 256, 256, 3})
                                    .setOutputFormat(0, FirebaseModelDataType.FLOAT32, new int[]{420, 580})
                                    .build();
                    Bitmap bitmap = getYourInputImage();
                    bitmap = Bitmap.createScaledBitmap(bitmap, 256, 256, true);

                    int batchNum = 0;
                    float[][][][] input = new float[1][256][256][3];
                    for (int x = 0; x < 256; x++) {
                        for (int y = 0; y < 256; y++) {
                            int pixel = bitmap.getPixel(x, y);
                            // Normalize channel values to [-1.0, 1.0]. This requirement varies by
                            // model. For example, some models might require values to be normalized
                            // to the range [0.0, 1.0] instead.
                            input[batchNum][x][y][0] = (Color.red(pixel) - 127) / 128.0f;
                            input[batchNum][x][y][1] = (Color.green(pixel) - 127) / 128.0f;
                            input[batchNum][x][y][2] = (Color.blue(pixel) - 127) / 128.0f;
                        }
                    }
                    FirebaseModelInputs inputs = new FirebaseModelInputs.Builder()
                            .add(input)  // add() as many input arrays as your model requires
                            .build();
                   // Log.d(TAG, "onClick: "+inputs.toString()+"\n"+inputOutputOptions.toString());
                    interpreter.run(inputs, inputOutputOptions)
                            .addOnSuccessListener(
                                    new OnSuccessListener<FirebaseModelOutputs>() {
                                        @Override
                                        public void onSuccess(FirebaseModelOutputs result) {
                                            // ...
                                            float[][] output = result.getOutput(0);
                                            float[] probabilities = output[0];
                                            Log.d(TAG, "onSuccess: "+result.getOutput(0).toString());
                                        }
                                    })
                            .addOnFailureListener(
                                    new OnFailureListener() {
                                        @Override
                                        public void onFailure(@NonNull Exception e) {
                                            // Task failed with an exception
                                            // ...
                                            Log.d(TAG, "onFailure: "+e.getCause()+"\n\n"+e.getLocalizedMessage()+"\n\n"+e.getMessage());
                                        }
                                    });

                } catch (FirebaseMLException e) {
                    Log.d(TAG, "onClick: "+e);
                    // ...
                }

“”

让我知道需要做什么。

Answer 1

Firebase Model解释器不支持Flex操作。您应该直接使用tflite解释器（org.tensorflow.解释器）。

使用FirebaseModelManager下载tflite文件：

    Task<File> fileTask = FirebaseModelManager.getInstance()
              .getLatestModelFile(remoteModel);
    File modelFile = fileTask.getResult();

将flex的aar依赖项与Firebase依赖项一起添加到您的build.gradle：https://www.tensorflow.org/lite/guide/ops_select#android_aar

从那时起，你可以遵循https://github.com/tensorflow/tensorflow/blob/master/tensorflow/lite/java/src/test/java/org/tensorflow/lite/InterpreterFlexTest.java要点的一般路径

    FlexDelegate delegate = new FlexDelegate();
    Interpreter.Options options = new Interpreter.Options().addDelegate(delegate);
    Interpreter interpreter = new Interpreter(fileBuffer, options);
    interpreter.run(inputs, outputs)

希望那有帮助