如何使keras ImageGenerator正确加载16位图像？

Question

我搜索过类似的问题，但没有找到解决方案。我有16位灰度图像，我正在尝试将它们放入keras ImageDataGenerator中。当使用诸如：flow_from_dataframe之类的函数时，它会生成所有具有相同像素值的图像（不正确）。

我尝试使用keras preprocess_输入，通过自定义预处理函数将其重新缩放到[0,1]，再缩放到[-1,1]，但这些都不起作用。我还在ImageDataGenerator中设置了color_mode='grayscale'。

我进一步测试了转换为8位的过程，结果成功了。我将通道的数量增加了三倍，这不是问题所在，因为它仍然使用8位。我已经读到keras在本例中使用PIL库读取图像，由于它没有正确处理16位，所以返回该错误。我看到我们可以设置一个不同的库来加载图像，但我不知道怎么做。

有人知道使用16位图像的替代方案吗？在最后一个例子中，我会尝试一个定制的生成器，但我真的很想从已经为此构建和测试的函数中获益。

我的目标是使用这些图像来微调预先训练的网络，所以我想标准化我使用的输入类型。

谢谢

Answer 1

这是keras_预处理版本中的一个bug

pip install git+git://github.com/keras-team/keras-preprocessing.git --upgrade --no-deps

并且，使用color_mode='grayscale'，您的ImageDataGenerator将正确加载16位灰度图像。

这个bug由Rodrigo Agundez修复（更多细节请参见他的帖子和pull请求），应该在下一个版本中发布。问题来自加载图像时的keras_预处理：

# PIL library
img = pil_image.open(io.BytesIO(f.read()))

# This was the bug: converting with L mode will truncate all images to 8-bit.
# All values > 255 will be set to 255
if color_mode == 'grayscale':
    img = img.convert('L')

# This is the fix
if color_mode == 'grayscale':
    # if image is not already an 8-bit, 16-bit or 32-bit grayscale image
    # convert it to an 8-bit grayscale image.
    if img.mode not in ('L', 'I;16', 'I'):
        img = img.convert('L')

请注意，如果加载带有color_mode='rgb'的16位灰度图像（例如，如果要将单个灰度通道转换为3通道图像），它将无法工作，因为16位灰度图像将转换为8位。

Answer 2

您可能想要编写自己的ImageDataGenerator并覆盖一些方法来按预期加载数据。

有一些很棒的博客文章可以解释你需要的一切。

然后，您必须确保覆盖的数据生成方法加载。tiff将图像正确地转换为numpy数组，或者您可以事先将其转换并加载。

测试生成器也非常简单（做吧！）并检查它是否产生您期望的输出。