Tensorflow 2 SSD MobileNet型号在转换为tflite时损坏

Question

我一直试图按照这个过程在Google Coral Edge TPU:Edge TPU模型工作流上运行一个对象检测器（SSD MobileNet）

我已经成功地用对象检测API训练和评估了我的模型。我有检查点格式和tf SavedModel格式的模型。根据文档，下一步是转换为。使用训练后量化的tflite格式。

我试图效仿这个例子。export_tflite_graph_tf2.py脚本和运行后的转换代码没有错误，但当我尝试实际使用模型运行推断时，我看到了一些奇怪的行为。

1. 我无法使用export_tflite_graph_tf2.py生成的saved_model。运行以下代码时，出现错误：

print('loading model...')
model = tf.saved_model.load(tflite_base)
print('model loaded!')
results = model(image_np)

类型错误：“_UserObject”对象不可调用 --

因此，在将其转换为tflite之前，我无法判断脚本是否破坏了我的模型。为什么模型不能这样调用？我甚至验证了tf.saved_model返回的类型。load（）在saved_model经过export_tflite_graph_tf2.py脚本之前和之后传递时是相同的。我能想到的唯一可能的解释是，脚本以某种方式改变了对象，从而导致它崩溃。

def representative_data_gen():
  dataset_list = tf.data.Dataset.list_files(images_dir + '/*')
  for i in range(100):
    image = next(iter(dataset_list))
    image = tf.io.read_file(image)
    # supports PNG as well
    image = tf.io.decode_image(image, channels=3)
    image = tf.image.resize(image, [IMAGE_SIZE, IMAGE_SIZE])
    image = tf.cast(image / 255., tf.float32) 
    image = tf.expand_dims(image, 0)
    if i == 0:
      print(image.dtype)
    yield [image]

# This enables quantization
# This sets the representative dataset for quantization
converter = tf.lite.TFLiteConverter.from_saved_model(base_saved_model)
# converter = tf.lite.TFLiteConverter.from_keras(model)

converter.optimizations = [tf.lite.Optimize.DEFAULT] # issue here?
converter.representative_dataset = representative_data_gen
converter.target_spec.supported_ops = [
  # tf.lite.OpsSet.TFLITE_BUILTINS, # enable TensorFlow Lite ops.
  # tf.lite.OpsSet.SELECT_TF_OPS, # enable TensorFlow ops.
  tf.lite.OpsSet.TFLITE_BUILTINS_INT8 # This ensures that if any ops can't be quantized, the converter throws an error
]

# This ensures that if any ops can't be quantized, the converter throws an error
# For full integer quantization, though supported types defaults to int8 only, we explicitly declare it for clarity.
converter.target_spec.supported_types = [tf.int8]
converter.target_spec.supported_ops += [tf.lite.OpsSet.TFLITE_BUILTINS]
# These set the input and output tensors to uint8 (added in r2.3)
converter.inference_input_type = tf.uint8
converter.inference_output_type = tf.uint8
tflite_model_quantized = converter.convert()

所有运行都没有错误，但当我尝试在模型中实际运行图像时，它会返回垃圾。我尝试删除量化，以查看这是否是问题所在，但即使没有量化，它也会返回看似随机的边界框，这些框在转换之前与模型的性能完全无关。输出张量的形状看起来很好，只是内容都不对。

将此模型转换为量化 tflite 形式的正确方法是什么？我应该注意的是，我不能使用tflite_convert实用程序，因为我需要量化模型，并且根据源代码，它似乎quantize_weights标志已被弃用？我从TF1和TF2中看到了很多关于这个转换过程的相互冲突的资源，所以我很困惑。

注意：我使用的是模型动物园中重新训练的SSD MobileNet。我没有在训练工作流程中对架构进行任何更改。我已经确认，即使在直接从目标检测模型动物园中提取的基本模型上，错误也会持续存在。

Answer 1

我在训练后量化方面遇到了非常相似的问题，并在GitHub上询问了这个问题

我可以设法从TFLite模型中得到结果，但它们还不够好。这是我如何做的笔记本。也许这能帮助你向前迈进一步。