未知错误：OSError：映像文件被截断（30 字节未处理）：

Question

我想训练一个模特。我有将近150个类，我正在使用ImageDataGenerator来扩展我的数据集。我还使用模型检查点和csvlogger来保存权重。当我开始训练时，它在第一个纪元的某个时刻给了我一个错误。如果有帮助的话，我使用的图像是灰度图像。

这是我的代码：

batch_size = 2000
epochs = 10

    # Augments dataset 10x
train_batches = ImageDataGenerator(preprocessing_function=preprocess_func, horizontal_flip=True, width_shift_range=0.1, height_shift_range=0.1, shear_range=0.2, zoom_range=0.2, fill_mode='nearest') \
    .flow_from_directory(directory=train_path, target_size=image_size, classes=dataset_classes, batch_size=5, color_mode='grayscale')
valid_batches = ImageDataGenerator(preprocessing_function=preprocess_func, horizontal_flip=True, width_shift_range=0.15, height_shift_range=0.1, shear_range=0.2, zoom_range=0.2, fill_mode='nearest') \
    .flow_from_directory(directory=valid_path, target_size=image_size, classes=dataset_classes, batch_size=5, color_mode='grayscale')
test_batches = ImageDataGenerator(preprocessing_function=preprocess_func, horizontal_flip=True, width_shift_range=0.15, height_shift_range=0.1, shear_range=0.2, zoom_range=0.2, fill_mode='nearest') \
    .flow_from_directory(directory=test_path, target_size=image_size, classes=dataset_classes, batch_size=5, color_mode='grayscale')

这是我的回拨：

    from keras.callbacks import ModelCheckpoint, CSVLogger

checkpoint_path = "/content/drive/MyDrive/Colab Notebooks/Datasets/Experiment/weights_improvements-epoch:{epoch:02d}-val_accuracy:{val_accuracy:.2f}.hdf5"
checkpoint_dir = os.path.dirname(checkpoint_path)

# Create a callback that saves the model's weights
cp_callback = ModelCheckpoint(checkpoint_path,
                              verbose=1,
                              monitor='val_accuracy',
                              mode='max',
                              save_best_only=True,
                              save_weights_only=True)

log_folder = '/content/drive/MyDrive/Colab Notebooks/Datasets/Experiment'
log_path = os.path.join(log_folder, 'FSLR_logs.csv')
log_csv = CSVLogger(log_path, separator=',', append=False)

callback_list = [cp_callback, log_csv]

拟合模型：

# Compile the layers into one model and create a connection
model.compile(loss='categorical_crossentropy', optimizer=keras.optimizers.Adam(), metrics=['accuracy'])

# Train the model with the new callback
history = model.fit(x=train_batches,
                    validation_data=valid_batches,
                    batch_size=batch_size,
                    epochs=epochs,
                    callbacks=callback_list)

我收到的错误是这样的：

纪元 1/10 3428/4128 [===========================

6帧 /usr/local/lib/python3.7/dist-packages/tensorflow/python/eager/execute.pyquick_execute（op_name，num_outputs，输入，attrs，ctx，name）58ctx.ensure_initialized（）59张量=pywrap_tfe.TFE_Py_Execute（ctx._handle，device_name，op_name，---

未知错误：OSError:图像文件被截断（未处理30个字节）跟踪（最近一次调用的最后一次）：

文件"/usr/的本地/lib/python3.7/dist-包/Tensorflow/python/操作/script_ops.py"，第249行，在调用ret=func（*args）

文件 “/usr/local/lib/python3.7/dist-packages/tensorflow/python/autograph/impl/api.py”，第 645 行，在包装器返回 func（*args， **kwargs）

文件“/usr/local/lib/python 3.7/dist-packages/tensor flow/python/data/ops/dataset _ ops . py”，第892行，在generator _ py _ func values = next(generator _ state . get _ iterator(iterator _ id))中

文件“/usr/local/lib/python3.7/dist-packages/keras/engine/data_adapter.py”，第822行，位于wrapped_generator中，用于generator_fn（）中的数据：

文件“/usr/local/lib/python3.7/dist-packages/keras/engine/data_adapter.py”，第948行，位于generator_fn yield x[i]中

文件 “/usr/local/lib/python3.7/dist-packages/keras_preprocessing/image/iterator.py”，第 65 行，在 getitem return self._get_batches_of_transformed_samples（index_array） 中

文件"/usr/本地/lib/python3.7/dist-的包/keras_preprocessing/图像/iterator.py"，第230行，_get_batches_of_transformed_samples插值=self.interpolation）

文件“/usr/local/lib/python3.7/dist-packages/keras_preprocessing/image/utils.py”，第138行，位于load_img img=img中。调整大小（width_height_tuple，重采样）

文件“/usr/local/lib/python3.7/dist-packages/PIL/Image.py”，第1886行，位于resize-self.load（）中

文件"/usr/的本地/lib/python3.7/dist-包装/PIL/ImageFile.py"，第247行，在加载"（%d字节未处理）"%len（b）

o错误:图像文件被截断(30字节未处理)

[[{ { node py func } }]][[iteorgetnext]][Op:_ _ inference _ train _ function _ 1029]

函数调用栈：train_function

我尝试在训练两个类时使用相同的代码，它工作正常。我不知道为什么当我在我所有的140个类上使用它时，它不起作用。

有人能给我解释一下这个问题吗？我的学校项目需要这个。提前感谢！

编辑：我已经运行此代码来验证所有图像。它没有找到任何损坏的文件。

import os
from os import listdir
from PIL import Image

categ = ['Train', 'Valid', 'Test']
dataset = '/content/drive/MyDrive/Colab Notebooks/Datasets/FSLR_Application_Dataset'

for cat in categ:
  img_path = os.path.join(dataset, cat)
  for foldername in listdir(img_path):
    sign_path = os.path.join(img_path, foldername)
    print(sign_path)
    for sign in listdir(sign_path):
      if sign.endswith('.jpg'):
        try:
          img = Image.open(os.path.join(sign_path, sign)) # open the image file
          img.verify() # verify that it is, in fact an image
        except (IOError, SyntaxError) as e:
          print('Bad file:', sign) # print out the names of corrupt files

Answer 1

我以前也遇到过同样的问题，这项工作对我来说，在拟合模型之前添加以下行：

from PIL import ImageFile
ImageFile.LOAD_TRUNCATED_IMAGES = True

history = model.fit(...) #ur fitting code

Answer 2

我在查找有缺陷的图像文件时遇到过类似的问题。ImageDataGenerator使用PIL。生成器没有在图像文件中检测到错误，如果检测到错误，它会打印一条警告消息。所以我建议你试着用PIL以外的东西来检测有缺陷的图像文件。尝试使用cv2，我发现它有时能检测到PIL没有检测到的错误。明确地

import cv2
your code but replace 
img = Image.open(os.path.join(sign_path, sign)) # open the image file
          img.verify() # verify that it is, in fact an image
        except (IOError, SyntaxError) as e:
          print('Bad file:', sign) # print out the names of corrupt files
with 
bad_file_list=[]
bad_count=0
try:
    img.cv2.imread(os.path.join(sign_path, sign)
    shape=img.shape # this will throw an error if the img is not read correctly
except:
    bad_file_list.append(os.path.join(sign_path, sign))
    bad_count +=1

然后在循环之外打印出是否发现了坏文件