如何用TF.Data API使用Keras生成器

Question

def make_generator():
    train_datagen = ImageDataGenerator(rescale=1. / 255)
    train_generator = 
    train_datagen.flow_from_directory(train_dataset_folder,target_size=(224, 224), class_mode='categorical', batch_size=32)
    return train_generator

train_dataset = tf.data.Dataset.from_generator(make_generator,(tf.float32, tf.float32)).shuffle(64).repeat().batch(32)

请注意，如果尝试直接将train_generate作为tf.data.dataset.from_generate的参数，将出现错误。但是，上面的方法不会产生错误。

当我在会话中运行它以检查数据集的输出时，我会得到以下错误。

iterator = train_dataset.make_one_shot_iterator()
next_element = iterator.get_next()
sess = tf.Session()
for i in range(100):
    sess.run(next_element)

发现1000个图像，属于2个类。-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

/usr/local/lib/python3.6/dist-packages/tensorflow/python/client/session.py in_run_fn(feed_dict,fetch_list,target_list,options,run_metadata)1276返回self._call_tf_sessionrun(->1277 options,feed_dict,fetch_list,target_list,run_metadata)1278

/usr/local/lib/python3.6/dist-packages/tensorflow/python/client/session.py in_call_tf_sessionrun（self,options,feed_dict,fetch_list,target_list,run_metadata）1366 self._session,options,feed_dict,fetch_list,target_list,->1367 run_metadata）1368

InvalidArgumEnterror：无法批处理组件0中具有不同形状的张量。第一个元素具有形状[32,224,224,3]，而第29个元素具有形状[8,224,224,3]。[[{{node iteratorgetnext2}}=iteratorgetnextoutput_shapes=[,],output_types=[DT_FLOAT,DT_FLOAT],_device=“/job:localhost/replica:0/task:0/device:cpu:0”]]

在处理上述异常的过程中，发生了另一个异常：

请让我知道，如果有人有任何经验与此或知道任何替代的方式。

train_dataset = tf.data.Dataset.from_generator(make_generator,(tf.float32, tf.float32))

model_regular.fit(train_dataset,steps_per_epoch=1000,epochs=2)

-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

/usr/local/lib/python3.6/dist-packages/tensorflow/python/keras/engine/training.py in fit（self,x,y,batch_size,epochs,verbose,callbacks,validation_split,validation_data,shuffle,class_weight,sample_weight,initial_epoch,steps_pepoch,validation_steps,**kwargs）1507 steps_name='steps_per_epoch,1508

/usr/local/lib/python3.6/dist-packages/tensorflow/python/keras/engine/training.py in_n标准化_user_data（self,x,y,sample_weight,class_weight,batch_size,check_steps_name,steps,validation_split）948 x=self._dataset_iterator_cache[x]949 else:-->950 iterator=x.make_initializable_iterator()951 self.

/usr/local/lib/python3.6/dist-packages/tensorflow/python/data/ops/dataset_ops.py中的make_initializable_iterator(self,shared_name)119与ops.colocate_with(iterator_resource):120 initializer=gen_dataset_ops.make_iterator(self._as_variant_tensor(),>121 iterator_resource)122返回iterator_ops.iterator(iterator_resource，123

/usr/local/lib/python3.6/dist-packages/tensorflow/python/ops/gen_dataset_ops.py in make_iterator(dataset,iterator,name）2542如果_ctx是None或not_ctx._eager_context.is_eager:2543_,_,_op=_op_def_lib._apply_op_helper(->2544“makeiterator”,dataset=dataset，iterator=iterator，name=name)2545返回_op 2546_result=None

/usr/local/lib/python3.6/dist-packages/tensorflow/python/framework/op_def_library.py在_apply_op_helper(self,op_type_name,name,**keywords)348#中需要将所有参数都压缩到一个列表中。349#pylint:disable=protected-access-->350 g=ops._get_graph_from_inputs(_flatten(keywords.values())))351#pylint:enable=protected-access 352除AssertionError为e外：

/usr/local/lib/python3.6/dist-packages/tensorflow/python/framework/ops.py in_get_graph_from_inputs(op_input_list,graph）5659 graph=graph_element.graph 5660 elif original_graph_element不是none:->5661_assert_same_graph(original_graph_element,graph）5662 elif graph_element.graph不是graph:
5663引发

/usr/local/lib/python3.6/dist-packages/tensorflow/python/framework/ops.py in_assert_same_graph(original_item.graph）5595如果original_item.graph不是item.graph：5596引发ValueError（“%s必须来自与%s相同的图。”%（item,->5597 original_item))5598 5599

ValueError：张量（“iteratorv2:0”，shape=(),dtype=resource)必须来自与张量（“FlatMapDataSet:0”，shape=(),dtype=variant）相同的图。

这是一个bug，还是Keras fit方法不应该这样使用？

Answer 1

我试着用一个简单的例子重现结果，我发现当在生成器函数和tf.data中使用批处理时，会得到不同的输出形状。

Keras函数train_datagen.flow_from_directory(batch_size=32)已经返回具有形状[batch_size,width,height,deptth]的数据。如果使用tf.data.dataset().batch(32)，输出数据将再次批处理成形状[batch_size,batch_size,width,height,deptth]。

由于某种原因，这可能会导致您的问题。