将Tensorflow估计器API用于SemSeg图像

Question

我试图用Tensorflow估计器API实现我的模型。作为数据输入函数，我使用

def input_fn():
    train_in_np = sorted(io_utils.loadDataset(join(basepath, r"leftImg8bit/train/*/*")))
    train_out_np = sorted(io_utils.loadDataset(join(basepath, r"gtFine/train/*/*_ignoreLabel.png")))

    train_in = tf.constant(train_in_np)
    train_out = tf.constant(train_out_np)

    tr_data = tf.data.Dataset.from_tensor_slices((train_in, train_out))
    tr_data = tr_data.shuffle(len(train_in_np))
    tr_data = tr_data.repeat(epoch_cnt+1)

    tr_data = tr_data.apply(tf.contrib.data.map_and_batch(parse_files, batch_size=batchSize))
    tr_data = tr_data.prefetch(buffer_size=batchSize)

    iterator = tr_data.make_initializable_iterator()
    return iterator.get_next()

我知道。loadDataset只返回文件路径列表。数据本身由

def parse_files(in_file, gt_file):
    image_in = tf.read_file(in_file)
    image_in = tf.image.decode_image(image_in, channels=3)
    image_in.set_shape([None, None, 3])
    image_in = tf.cast(image_in, tf.float32)

    mean, std = tf.nn.moments(image_in, [0, 1])
    image_in = image_in - mean
    image_in = image_in / std

    gt = tf.read_file(gt_file)
    gt = tf.image.decode_image(gt, channels=1)    
    gt.set_shape([None, None, 1])
    gt = tf.cast(gt, tf.int32)

    return {'img':image_in}, gt

我的估计从

def estimator_fcn_model_fn(features, labels, mode, params):
    x = tf.feature_column.input_layer(features, params['feature_columns'])

特征列定义为

my_feature_columns = []
my_feature_columns.append(tf.feature_column.numeric_column(key='img'))

为了清晰起见，我跳过了其余的代码。我的问题在于功能的形状：

不支持卷积与排名输入，2）

x、features和feature_列的打印输出：

张量（“input_layer/concat:0”，shape=（？，1），dtype=float32）

{'img'： tf.张量IteratorGetNext： 0形状=(?, ?, ?, 3）dtype=Float32}

[_NumericColumn（键='img'，形状=（1，），default_value=无，dtype=tf.float32，normalizer_fn=无）]

如果有人知道如何解决这个问题的话，我想这与功能栏的类型有关，但我不知道谁可以将此应用于图像。

Answer 1

正如Y.罗给出的提示tf.feature_column.input_layer不适合图像。一种更简单的方法是直接通过一个键使用特征字典，它可以通过参数传递以获得更大的灵活性。

x = features[params['input_name']]

而不是

x = tf.feature_column.input_layer(features, params['feature_columns'])