softmax函数的导数解释[已关闭]

Question

这个问题似乎与帮助中心定义的范围内的编程无关。

我正在尝试计算软最大激活函数的导数。我发现了这个：https://math.stackexchange.com/questions/945871/derivative-of-softmax-loss-function 似乎没有人给出我们如何得到i=j和i！= j的答案的正确推导。有人可以解释一下吗！当涉及求和时，我对导数感到困惑，就像在softmax激活函数的分母中一样。

Answer 1

对于它的价值，这是我基于SirGuy答案的推导：（如果您发现任何错误，请随时指出错误）。

Answer 2

总和的导数是导数的总和，即:

    d(f1 + f2 + f3 + f4)/dx = df1/dx + df2/dx + df3/dx + df4/dx

为了导出p_j相对于o_i的导数，我们从以下几点开始：

    d_i(p_j) = d_i(exp(o_j) / Sum_k(exp(o_k)))

我决定对衍生作品使用d_i，以使其更易于阅读o_i。使用产品规则，我们得到：

     d_i(exp(o_j)) / Sum_k(exp(o_k)) + exp(o_j) * d_i(1/Sum_k(exp(o_k)))

看看第一项，如果 i ！= j，则导数将为 0，这可以用一个 delta 函数表示，我将称之为D_ij。这给出了（第一个学期）：

    = D_ij * exp(o_j) / Sum_k(exp(o_k))

这只是我们的原始函数乘以D_ij

    = D_ij * p_j

对于第二项，当我们单独推导总和的每个元素时，唯一的非零项将是当 i = k 时，这给了我们（不要忘记幂次规则，因为总和在分母中）

    = -exp(o_j) * Sum_k(d_i(exp(o_k)) / Sum_k(exp(o_k))^2
    = -exp(o_j) * exp(o_i) / Sum_k(exp(o_k))^2
    = -(exp(o_j) / Sum_k(exp(o_k))) * (exp(o_j) / Sum_k(exp(o_k)))
    = -p_j * p_i

将两者放在一起，我们得到了惊人的简单公式:

    D_ij * p_j - p_j * p_i

如果你真的愿意，我们可以把它分成i=j和i！=j案例：

    i = j: D_ii * p_i - p_i * p_i = p_i - p_i * p_i = p_i * (1 - p_i)

    i != j: D_ij * p_i - p_i * p_j = -p_i * p_j

这就是我们的答案。