深度神经网络

LeNet 5

LeNet-5是第一个成功的卷积神经网络，共有7层，不包含输入，每层都包含可训练参数（连接权重）。

AlexNet tf

AlexNet可以认为是增强版的LeNet5，共8层，其中前5层convolutional，后面3层是full-connected。

GooLeNet (Inception v2)

GoogLeNet用了很多相同的层，共22层，并将全连接层变为稀疏链接层。

Inception v3

Inception v3在GooLeNet的基础上，最重要的改进是分解（Factorization），将7x7分解成两个一维的卷积（1x7,7x1），3x3也是一样（1x3,3x1），这样的好处，既可以加速计算（多余的计算能力可以用来加深网络），又可以将1个conv拆成2个conv，使得网络深度进一步增加，增加了网络的非线性，还有值得注意的地方是网络输入从224x224变为了299x299，更加精细设计了35x35/17x17/8x8的模块。

Inception v4

1、在Inception v3的基础上发明了Inception v4，v4比v3更加复杂，复杂到不可思议 2、结合ResNet与GoogLeNet，发明了Inception-ResNet-v1、Inception-ResNet-v2，其中Inception-ResNet-v2效果非常好，但相比ResNet，Inception-ResNet-v2的复杂度非常惊人，跟Inception v4差不多 3、加入了Residual Connections以后，网络的训练速度加快了 4、在网络复杂度相近的情况下，Inception-ResNet-v2略优于Inception-v4 5、Residual Connections貌似只能加速网络收敛，真正提高网络精度的是“更大的网络规模”

其他深度神经网络

• Residual Networks (ResNet)
• SqueezeNet
• Efficient Neural Network (Enet)
• Fractalnet