卷积神经网络中的批归一化
我是卷积神经网络新手，对特征映射和如何在图像上进行卷积来提取特征有概念。我很高兴知道一些关于在CNN应用批量标准化的细节。
我知道什么是特征图和不同的元素是权重在每一个特征图。但我不能理解什么是位置或空间位置。
我完全不能理解下面的句子“在alg.1中，我们让B是一个特征映射中的所有值的集合，它跨越了一个小批处理的元素和空间位置。”
如果有人能用更简单的术语来解释我，我会很高兴的
共有1个答案
让我们从条款开始。记住，卷积层的输出是一个4秩张量[B,H,W,C]，其中B是批处理大小，(H,W)是特征映射大小，C是通道数。索引(x，y)，其中0<=x
0<=y
现在，下面是batchnorm是如何以通常的方式应用的（在伪代码中）：
# t is the incoming tensor of shape [B, H, W, C]
# mean and stddev are computed along 0 axis and have shape [H, W, C]
mean = mean(t, axis=0)
stddev = stddev(t, axis=0)
for i in 0..B-1:
out[i,:,:,:] = norm(t[i,:,:,:], mean, stddev)
基本上，它计算h*w*c元素之间的h*w*c均值和h*w*c标准差。您可能会注意到，位于不同空间位置的不同元素具有各自的均值和方差，并且只收集b值。
下面是这种情况下的代码（同样是伪代码）：
# t is still the incoming tensor of shape [B, H, W, C]
# but mean and stddev are computed along (0, 1, 2) axes and have just [C] shape
mean = mean(t, axis=(0, 1, 2))
stddev = stddev(t, axis=(0, 1, 2))
for i in 0..B-1, x in 0..H-1, y in 0..W-1:
out[i,x,y,:] = norm(t[i,x,y,:], mean, stddev)
总的来说，只有c均值和标准差，每一个均值和标准差都是通过b*h*w值计算出来的。这就是他们所说的“有效的小批量”的意思：两者的区别仅在轴选择（或等价的“小批量选择”）上。
-
注意: 本教程适用于对Tensorflow有丰富经验的用户，并假定用户有机器学习相关领域的专业知识和经验。 概述 对CIFAR-10 数据集的分类是机器学习中一个公开的基准测试问题，其任务是对一组大小为32x32的RGB图像进行分类，这些图像涵盖了10个类别： 飞机， 汽车， 鸟， 猫， 鹿， 狗， 青蛙， 马， 船以及卡车。 想了解更多信息请参考CIFAR-10 page，以及Alex Kriz
-
卷积神经网络（Convolutional Neural Network, CNN）是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。卷积神经网络由一个或多个卷积层和顶端的全连通层（对应经典的神经网络）组成，同时也包括关联权重和池化层（pooling layer）。这一结构使得卷积神经网络能够利用输入数据的二维结构。与其他深度学习结构相比，卷积神经网络
-
在了解了机器学习概念之后，现在可以将注意力转移到深度学习概念上。深度学习是机器学习的一个分支。深度学习实现的示例包括图像识别和语音识别等应用。 以下是两种重要的深度神经网络 - 卷积神经网络 递归神经网络 在本章中，我们将重点介绍CNN - 卷积神经网络。 卷积神经网络 卷积神经网络旨在通过多层阵列处理数据。这种类型的神经网络用于图像识别或面部识别等应用。CNN与其他普通神经网络之间的主要区别在于
-
主要内容：卷积神经网络深度学习是机器学习的一个分支，它是近几十年来研究人员突破的关键步骤。深度学习实现的示例包括图像识别和语音识别等应用。 下面给出了两种重要的深度神经网络 - 卷积神经网络 递归神经网络。 在本章中，我们将关注第一种类型，即卷积神经网络(CNN)。 卷积神经网络 卷积神经网络旨在通过多层阵列处理数据。这种类型的神经网络用于图像识别或面部识别等应用。 CNN与任何其他普通神经网络之间的主要区别在于CNN
-
注意: 本教程适用于对Tensorflow有丰富经验的用户，并假定用户有机器学习相关领域的专业知识和经验。 概述 对CIFAR-10 数据集的分类是机器学习中一个公开的基准测试问题，其任务是对一组32x32RGB的图像进行分类，这些图像涵盖了10个类别： 飞机， 汽车， 鸟， 猫， 鹿， 狗， 青蛙， 马， 船以及卡车。 想了解更多信息请参考CIFAR-10 page，以及Alex Krizhev
-
在“多层感知机的从零开始实现”一节里我们构造了一个含单隐藏层的多层感知机模型来对Fashion-MNIST数据集中的图像进行分类。每张图像高和宽均是28像素。我们将图像中的像素逐行展开，得到长度为784的向量，并输入进全连接层中。然而，这种分类方法有一定的局限性。 图像在同一列邻近的像素在这个向量中可能相距较远。它们构成的模式可能难以被模型识别。 对于大尺寸的输入图像，使用全连接层容易造成模型过大