卷积层可以学习计算输入数据的标准偏差吗？

Question

假设我们有一些输入数据、基本事实标签和一个神经网络。然后，我们使用这些数据和标签来训练模型并得到一些结果。

由于某种原因，我们发现不使用原始数据作为输入，而是计算数据的局部均方差并将其作为输入可以得到更好的结果。这里有一个计算局部均方差的例子，它来自这里：

h = 1;                      % for half window size of 3
x = [4 8 1 1 1 7 9 3];      % input signal
N = length(x);              % length of the signal

o = ones(1, N);             % array for output
for i = 1 : N
  % calculate standard deviation using the built-in std command
  % for the current window
  o(i) = std(x(max(1, i - h) : min(N, i + h)));
end

因此，我的问题是：我们是否可以使用卷积层，让模型自己学习执行这样的操作，而不是自己计算局部标准偏差？

如果我们不能用一个卷积层，我们能用一个更复杂的模型吗？

如果我们能做到这一点，那么我还有另一个问题：为什么模型不能自己学习执行批处理规范化操作？为什么现在的人还需要手动添加批量归一化层？

我对谷歌做了一些研究，这里是我得到的一些东西。虽然我还是有点困惑：

https://matlabtricks.com/post-20/calculate-standard-deviation-case-of-sliding-window

提前谢谢你！

Answer 1

批量标准化在标准标准化后转换并重新缩放张量。您问题中的链接只是提供了一种有效进行标准规范化的方法。

从统计学的角度来看，标准归一化降低了输入张量中的自由度（dof），而批量归一化中的两个可学习参数将这两个dof相加。目前还不清楚如何设计一个具有两个参数（dof）的卷积层，该层执行类似于批处理规范化的操作，因为当窗口大小改变时，卷积层可以有更多的参数。