DeepCreamPy

LeNet 5 LeNet-5是第一个成功的卷积神经网络，共有7层，不包含输入，每层都包含可训练参数（连接权重）。 AlexNet tf AlexNet可以认为是增强版的LeNet5，共8层，其中前5层convolutional，后面3层是full-connected。 GooLeNet (Inception v2) GoogLeNet用了很多相同的层，共22层，并将全连接层变为稀疏链接层。 In

代码见nn_overfit.py 优化 Regularization 在前面实现的RELU连接的两层神经网络中，加Regularization进行约束，采用加l2 norm的方法，进行负反馈： 代码实现上，只需要对tf_sgd_relu_nn中train_loss做修改即可： 可以用tf.nn.l2_loss(t)对一个Tensor对象求l2 norm 需要对我们使用的各个W都做这样的计算（参考t

本章到目前为止介绍的循环神经网络只有一个单向的隐藏层，在深度学习应用里，我们通常会用到含有多个隐藏层的循环神经网络，也称作深度循环神经网络。图6.11演示了一个有$L$个隐藏层的深度循环神经网络，每个隐藏状态不断传递至当前层的下一时间步和当前时间步的下一层。 具体来说，在时间步$t$里，设小批量输入$\boldsymbol{X}_t \in \mathbb{R}^{n \times d}$（样本数

在LeNet提出后的将近20年里，神经网络一度被其他机器学习方法超越，如支持向量机。虽然LeNet可以在早期的小数据集上取得好的成绩，但是在更大的真实数据集上的表现并不尽如人意。一方面，神经网络计算复杂。虽然20世纪90年代也有过一些针对神经网络的加速硬件，但并没有像之后GPU那样大量普及。因此，训练一个多通道、多层和有大量参数的卷积神经网络在当年很难完成。另一方面，当年研究者还没有大量深入研究参

深度神经网络（DNN）是在输入和输出层之间具有多个隐藏层的ANN。 与浅层神经网络类似，DNN可以模拟复杂的非线性关系。 神经网络的主要目的是接收一组输入，对它们执行逐步复杂的计算，并提供输出以解决诸如分类之类的现实世界问题。 我们限制自己前馈神经网络。 我们在深层网络中有输入，输出和顺序数据流。 神经网络广泛用于监督学习和强化学习问题。 这些网络基于彼此连接的一组层。 在深度学习中，隐藏层的数量

神经网络和深度学习是一本免费的在线书。本书会教会你： 神经网络，一种美妙的受生物学启发的编程范式，可以让计算机从观测数据中进行学习 深度学习，一个强有力的用于神经网络学习的众多技术的集合 神经网络和深度学习目前给出了在图像识别、语音识别和自然语言处理领域中很多问题的最好解决方案。本书将会教你在神经网络和深度学习背后的众多核心概念。 想了解本书选择的观点的更多细节，请看这里。或者直接跳到第一章 开始

我是神经网络领域的新手，我想知道深度信念网络和卷积网络之间的区别。还有，有没有深度信念和卷积神经网络相结合的深度卷积网络？ 这就是我目前所收集到的。如果我错了请纠正我。 对于图像分类问题，深度信念网络有许多层，每个层都使用贪婪的分层策略进行训练。例如，如果我的图像大小是50x50，我想要一个有4层的深度网络，即 输入层 隐藏层1(HL1) 隐藏层2(HL2) 输出层 如果使用卷积神经网络解决了同样

第 10 章介绍了人工神经网络，并训练了第一个深度神经网络。 但它非常浅，只有两个隐藏层。 如果你需要解决非常复杂的问题，例如检测高分辨率图像中的数百种类型的对象，该怎么办？ 你可能需要训练更深的 DNN，也许有 10 层或更多，每层包含数百个神经元，通过数十万个连接相连。 这可不像公园散步那么简单，可能碰到下面这些问题： 你将面临棘手的梯度消失问题（或相关的梯度爆炸问题）：在反向传播过程中，梯度