SEnet:Squeeze-and-Excitation Networks论文详解（结合代码）

1.简介

卷积神经网络的核心就是卷积算子，它能够使网络通过融合局部感受野的空间和通道信息去构建每一层的特征信息。大量的先前研究已经调查了这种关系的空间组成部分，试图通过提高整个CNN特征层次的空间编码质量来加强其表征能力。在这个工作中，作者聚焦于通道关系并且提出了一个新的结构单元，作者称之为SE模块，SE模块通过激励通道之间的相互依赖性能够自适应的重新校准通道特征关系。作者展示了这些块可以堆叠在一起形成SENet体系结构，可以非常有效地跨不同的数据集进行泛化。作者进一步证明了SE块为现有的最先进的cnn带来了显著的性能提高，但计算成本略有增加。

计算机视觉研究的一个中心主题是寻找更强大的表示，只捕捉图像中对给定任务最突出的属性，从而提高性能。在本文中，作者研究了网络设计的一个不同方面——通道之间的关系。引入了一种新的体系结构单元，称之为挤压和激励（SE）块，其目标是通过显式建模其卷积特征通道之间的相互依赖关系来提高网络生成的表示质量。为此，提出了一种允许网络执行特征重新校准的机制，通过该机制，网络可以学习使用全局信息选择性地强调信息性特征并抑制不太有用的特征。

虽然构建SE块的模板是通用的，但它在整个网络的不同深度所扮演的角色是不同的。在早期的层中，它以一种与类无关的方式激发信息特性，加强了共享的低级表示。在后面的层中，SE块变得越来越专业化，并以高度特定于类的方式响应不同的输入。因此，SE块执行的特征重新校准的好处可以通过网络累积。

新CNN架构的设计和开发是一项艰巨的工程任务，通常需要选择许多新的超参数和层配置。相比之下，SE块的结构简单，可以直接在现有的最先进的体系结构中使用，方法是将组件替换为SE对等组件，这样可以有效地提高性能。SE块在计算上也是轻量级的，只会略微增加模型复杂性和计算负担。

提出的SE块包含一个轻量级选通机制，该机制通过以计算效率的方式建模通道关系，重点增强网络的表示能力。