批量标准化：按维度固定样本还是不同样本？
当我读到一篇论文《批量规范化：通过减少内部协变量转移来加速深层网络训练》时，我想到了一些问题。
在报纸上，它说：
由于训练数据中的m个样本可以估计所有训练数据的均值和方差，因此我们使用小批量来训练批量归一化参数。
我的问题是：
他们是选择m个示例，然后同时拟合批次范数参数，还是为每个输入维度选择不同的m个示例集？
E、 g.训练集由x（i）=（x1，x2，…，xn）组成：固定批次的n维M={x（1），x（2），…，x（n）}，执行所有拟合gamma1 ~ gamman和beta1 ~ betan。
vs
对于gamma\u i，beta\u i挑选不同批次M\u i={x（1）\u i，…，x（M）\u i}
共有1个答案
我还没有在交叉验证和数据科学中发现这个问题，所以我只能在这里回答。如有必要，可以随意迁移。
使用移动平均值，一次计算每个小批次中所有维度的平均值和方差。以下是TF中代码的外观：
mean, variance = tf.nn.moments(incoming, axis)
update_moving_mean = moving_averages.assign_moving_average(moving_mean, mean, decay)
update_moving_variance = moving_averages.assign_moving_average(moving_variance, variance, decay)
with tf.control_dependencies([update_moving_mean, update_moving_variance]):
return tf.identity(mean), tf.identity(variance)
您不必担心技术细节，下面是发生的情况：
- 首先，沿批次轴计算整个批次的
平均值和方差。它们都是向量（更准确地说，是张量） - 然后，当前值
moving\u mean和moving\u variance通过调用assign\u moving\u average更新，该调用基本上计算以下内容：variable*decay value*（1-decay）
每次执行batchNorm时，它都知道一个当前批次和以前批次的一些统计信息。
-
我试图在Tensorflow中构建一个通用的批处理规范化函数。 在这篇文章中，我学习了批处理规范化，我发现这很好。 我有一个问题与规模和beta变量的维度：在我的情况下，批处理规范化应用于每个卷积层的每个激活，因此，如果我有卷积层的输出一个大小的tersor： 我需要刻度和beta与卷积层输出具有相同的尺寸，对吗？ 这是我的函数，程序可以运行，但我不知道是否正确
-
我使用Tensorflow 1.14.0和Keras 2.2.4。以下代码实现了一个简单的神经网络： 20个时代后的最终val\u损失为0.7751。当我取消注释添加批处理规范化层的唯一注释行时，val\u损失变为1.1230。 我的主要问题要复杂得多，但同样的事情也会发生。因为我的激活是线性的，所以我把批处理规范化放在激活之后还是之前并不重要。 问题：为什么批处理规范化帮不上忙？是否有什么可以更
-
本文向大家介绍BootStrap按钮标签及基本样式，包括了BootStrap按钮标签及基本样式的使用技巧和注意事项，需要的朋友参考一下 按钮标签 在<a>,<button>或input元素上使用按钮class。但是为了避免跨浏览器的不一致性，建议使用<button>标签。 感觉link标签的不怎么明显，但是还是能够从边距上看出是一个button的，这里只是说明了怎样利用不同的标签来使用btncla
-
统计量 设$$X_1$$，$$X_2$$，...，$$X_n$$是来自总体$$X$$（随机变量）的一个样本，它们相互独立，$$g(X_1,X_2,...,X_n)$$是$$X_1$$，$$X_2$$，...，$$X_n$$的函数，若$$g$$中不含未知参数，则称$$g(X_1,X_2,...,X_n)$$是一统计量。 因为$$X_1$$，$$X_2$$，...，$$X_n$$都是随机变量，而统计量
-
我有一个连接PL/SQL搜索的代码，就像使用“%”一样，我使用标准来实现 当我运行此代码以显示错误时： 请帮我解决这个问题！