如何在TensorFlow上进行Xavier初始化

Question

我正在将我的Caffe网络移植到TensorFlow上，但似乎没有进行初始化的工作。我正在使用，truncated_normal但这似乎使训练变得更加困难。

Answer 1

在 Tensorflow 2.0 和 更高版本中
，tf.contrib.*和tf.get_variable()均已弃用。为了进行Xavier初始化，您现在必须切换到：

init = tf.initializers.GlorotUniform()
var = tf.Variable(init(shape=shape))
# or a oneliner with a little confusing brackets
var = tf.Variable(tf.initializers.GlorotUniform()(shape=shape))

Glorot制服和Xavier制服是同一初始化类型的两个不同名称。如果您想了解有关如何在带有或不带有Keras的TF2.0中使用初始化的更多信息，请参考文档。