图形神经网络中的梯度爆炸问题

Question

我有一个梯度爆炸的问题，试了好几天都没能解决。我在TensorFlow中实现了一个自定义消息传递图神经网络，用于从图数据中预测一个连续值。每个图与一个目标值相关联。图的每个节点由一个节点属性向量表示，节点之间的边由一个边属性向量表示。

在消息传递层中，节点属性以某种方式更新（例如，通过聚合其他节点/边缘属性），并返回这些更新的节点属性。

现在，我设法弄清楚了代码中出现梯度问题的位置。我有下面的片段。

to_concat = [neighbors_mean, e]
z = K.concatenate(to_concat, axis=-1)
output = self.Net(z)

这里，neighbors_mean是两个节点属性vivjNet是一个单层前馈网络。这样，训练损失在大约30个周期（批次大小为32）后突然跳至NaN。如果批次大小为128，则梯度在大约200个周期后仍会爆炸。

我发现，在这种情况下，渐变会爆炸，因为边属性e。如果我不将neighbors_mean与e连接起来，只使用下面的代码，就不会有渐变爆炸。

output = self.Net(neighbors_mean)

我也可以通过sigmoid函数发送< code>e来避免梯度爆炸，如下所示。但是这降低了性能(最终MAE)，因为< code>e中的值被非线性地映射到0-1范围。请注意，整流线性单位(ReLU)而不是sigmoid不起作用。

to_concat = [neighbors_mean, tf.math.sigmoid(e)]
z = K.concatenate(to_concat, axis=-1)
output = self.Net(z)

仅需提及，e携带与两个相应节点之间的距离相关的单个值，该距离始终在0.5-4范围内。e中没有大值或NaN。

我有一个自定义损失函数来训练这个模型，但我发现这不是损失的问题（其他损失也导致了同样的问题）。以下是我的自定义损失函数。请注意，尽管这是一个单输出回归网络，但我的NN的最后一层有两个神经元，与预测的平均值和对数（sigma）有关。

def robust_loss(y_true, y_pred):
  """
  Computes the robust loss between labels and predictions.
  """
  mean, sigma = tf.split(y_pred, 2, axis=-1)
  # tried limiting 'sigma' with  sigma = tf.clip_by_value(sigma,-4,1.0) but the gradients still explode
  loss =  np.sqrt(2.0) * K.abs(mean - y_true) * K.exp(-sigma)  + sigma
  return K.mean(loss)

为了避免梯度爆炸，我基本上尝试了所有网上建议的方法。

1. 应用梯度裁剪-使用Adam（lr， clipNorm=1， clipvalue=5），也使用tf.clip_by_global_norm（gradients，1.0）
2. 我的目标变量总是缩放
3. 权重用glorot_uniform分布
初始化
4. 将正则化应用于权重
5. 尝试更大的批量（直到256，尽管延迟梯度爆炸会在某个时候发生）
6. 尝试学习率降低

我错过了什么？我当然知道这与连接< code>e有关。但是考虑到0.5

Answer 1

由于这个很酷的调试工具tf.debuging.check_numerics，我解决了这个问题。

我最初发现连接< code>e是个问题，然后意识到传递给< code>e的值比用< code>e连接的< code>neighbors_mean中的值大得多。一旦它们被连接起来并通过神经网络(在我的代码中是< code>Net())发送，我观察到一些输出是数百个，随着训练的进行慢慢达到数千个。

这是有问题的，因为我在消息传递层中有一个softmax操作。请注意，softmax计算指数（e^xi/∑e^{xj）。任何高于e709的值都会导致Python中的数字溢出。这会产生inf值，最终所有变成nan的东西都是我代码中的问题。所以，从技术上讲，这不是一个梯度爆炸问题，这就是为什么不能用梯度裁剪来解决这个问题。}

我是如何跟踪问题的？

我将< code > TF . debugging . check _ numerics()片段放在我认为会产生nan值的几个层/张量下。大概是这样的:

tf.debugging.check_numerics(layerN, "LayerN is producing nans!")

这会在训练期间层输出变为inf或nan时立即生成InvalidArgumentError。

Traceback (most recent call last):
  File "trainer.py", line 506, in <module>
    worker.train_model()
  File "trainer.py", line 211, in train_model
    l, tmae = train_step(*batch)
  File "/usr/local/lib/python3.6/dist-packages/tensorflow/python/eager/def_function.py", line 828, in __call__
    result = self._call(*args, **kwds)
  File "/usr/local/lib/python3.6/dist-packages/tensorflow/python/eager/def_function.py", line 855, in _call
    return self._stateless_fn(*args, **kwds)  # pylint: disable=not-callable
  File "/usr/local/lib/python3.6/dist-packages/tensorflow/python/eager/function.py", line 2943, in __call__
    filtered_flat_args, captured_inputs=graph_function.captured_inputs)  # pylint: disable=protected-access
  File "/usr/local/lib/python3.6/dist-packages/tensorflow/python/eager/function.py", line 1919, in _call_flat
    ctx, args, cancellation_manager=cancellation_manager))
  File "/usr/local/lib/python3.6/dist-packages/tensorflow/python/eager/function.py", line 560, in call
    ctx=ctx)
  File "/usr/local/lib/python3.6/dist-packages/tensorflow/python/eager/execute.py", line 60, in quick_execute
    inputs, attrs, num_outputs)
tensorflow.python.framework.errors_impl.InvalidArgumentError:  LayerN is producing nans! : Tensor had NaN values

现在我们知道问题出在哪里了。

如何解决问题

我将内核约束应用于神经网络权重，其输出传递给softmax函数。

layers.Dense(x, name="layer1", kernel_regularizer=regularizers.l2(1e-6), kernel_constraint=min_max_norm(min_value=1e-30, max_value=1.0))

这应该确保所有权重都小于1，并且该层不会产生较大的输出。这在不降低性能的情况下解决了问题。

或者，可以使用 softmax 函数的数值稳定实现。

Answer 2

看起来很棒，因为您已经遵循了大多数解决方案来解决梯度爆炸问题。以下是您可以尝试的所有解决方案的列表

避免梯度爆炸问题的解决方案

>

适当的权重初始化：根据所使用的激活函数使用适当的权重初始化。