七、SENet

  1. SENet 提出了一种新的架构单元来解决通道之间相互依赖的问题。它通过显式地对通道之间的相互依赖关系建模，自适应的重新校准通道维的特征响应，从而提高了网络的表达能力。
  2. SENet 以2.251% top-5 的错误率获得了ILSVRC 2017 分类比赛的冠军。
  3. SENet 是和ResNet 一样，都是一种网络框架。它可以直接与其他网络架构一起融合使用，只需要付出微小的计算成本就可以产生显著的性能提升。

7.1 SE 块

  1. SE 块（Squeeze-and-Excitation）是SENet 中提出的新的架构单元，它主要由squeeze 操作和excitation 操作组成。

  2. 对于给定的任何变换 七、SENet - 图1，其中：七、SENet - 图2 为输入feature map，其尺寸为七、SENet - 图3，通道数为 七、SENet - 图4；七、SENet - 图5 为输出feature map，其尺寸为 七、SENet - 图6，通道数为 七、SENet - 图7。

    可以构建一个相应的SE块来对输出feature map 七、SENet - 图8 执行特征重新校准：

    • 首先对输出feature map 七、SENet - 图9 squeeze操作，它对每个通道的全局信息建模，生成一组通道描述符。
    • 然后是一个excitation 操作，它对通道之间的依赖关系建模，生成一组权重信息（对应于每个通道的权重）。
    • 最后输出feature map 七、SENet - 图10 被重新加权以生成SE 块的输出。

    七、SENet - 图11

  3. SE 块可以理解为注意力机制的一个应用。它是一个轻量级的门机制，用于对通道关系进行建模。

    通过该机制，网络学习全局信息（全通道、全空间）来选择性的强调部分特征，并抑制其它特征。

  4. 设 七、SENet - 图12 ， 七、SENet - 图13 为第 七、SENet - 图14 个通道，是一个 七、SENet - 图15 的矩阵；设 七、SENet - 图16 ， 七、SENet - 图17 为第 七、SENet - 图18 个通道，是一个 七、SENet - 图19 的矩阵。

    • 需要学习的变换 七、SENet - 图20 就是一组卷积核。 七、SENet - 图21 为第 七、SENet - 图22 个卷积核，记做： 七、SENet - 图23 ，七、SENet - 图24 为第 七、SENet - 图25 个卷积核的第 七、SENet - 图26 通道，是一个二维矩阵。则：

      七、SENet - 图27

      这里 * 表示卷积。同时为了描述简洁，这里忽略了偏置项。

    • 输出 七、SENet - 图28 考虑了输入 七、SENet - 图29 的所有通道，因此通道依赖性被隐式的嵌入到 七、SENet - 图30 中。

7.1.1 squeeze 操作

  1. squeeze 操作的作用是：跨空间 七、SENet - 图31 聚合特征来产生通道描述符。

    该描述符嵌入了通道维度特征响应的全局分布，包含了全局感受野的信息。

  2. 每个学到的滤波器都是对局部感受野进行操作，因此每个输出单元都无法利用局部感受野之外的上下文信息。

    在网络的低层，其感受野尺寸很小，这个问题更严重。

    七、SENet - 图32

    为减轻这个问题，可以将全局空间信息压缩成一组通道描述符，每个通道对应一个通道描述符。然后利用该通道描述符。

    七、SENet - 图33

  3. 通常基于通道的全局平均池化来生成通道描述符（也可以考虑使用更复杂的聚合策略）。

    设所有通道的通道描述符组成一个向量 七、SENet - 图34 。则有：

    七、SENet - 图35

    .

7.1.2 excitation 操作

  1. excitation 操作的作用是：通过自门机制来学习每个通道的激活值，从而控制每个通道的权重。

  2. excitation 操作利用了squeeze 操作输出的通道描述符 七、SENet - 图36 。

    • 首先，通道描述符 七、SENet - 图37 经过线性降维之后，通过一个ReLU 激活函数。

      降维通过一个输出单元的数量为 七、SENet - 图38 的全连接层来实现，其中 七、SENet - 图39 为降维比例。

    • 然后，ReLU 激活函数的输出经过线性升维之后，通过一个sigmoid 激活函数。

      升维通过一个输出单元的数量为 七、SENet - 图40 的全连接层来实现。

    通过对通道描述符 七、SENet - 图41 进行降维，显式的对通道之间的相互依赖关系建模。

    七、SENet - 图42

  3. 设excitation 操作的输出为向量 七、SENet - 图43，则有：七、SENet - 图44 。

    其中：七、SENet - 图45 为sigmoid激活函数，七、SENet - 图46 为降维层的权重，七、SENet - 图47 为升维层的权重，七、SENet - 图48 为降维比例。

  4. 在经过excitation 操作之后，通过重新调节 七、SENet - 图49 得到SE 块的输出。

    设SE 块的最终输出为 七、SENet - 图50，则有：七、SENet - 图51 。这里 七、SENet - 图52 为excitaion 操作的输出结果，它作为通道 七、SENet - 图53 的权重。

    七、SENet - 图54 不仅考虑了本通道的全局信息（由 七、SENet - 图55 引入），还考虑了其它通道的全局信息（由 七、SENet - 图56 引入）。

7.1.3 SE 块使用

  1. 有两种使用SE 块来构建SENet 的方式：

    • 简单的堆叠SE块来构建一个新的网络。

    • 在现有网络架构中，用SE 块来替代原始块。

      下图中，左侧为原始Inception 模块，右侧为SE-Inception 模块。

      七、SENet - 图57

      下图中，左侧为原始残差模块，右侧为SE-ResNet 模块。

      七、SENet - 图58

  2. 如果使用SE 块来替代现有网络架构中的原始块，则所有额外的参数都包含在门机制的两个全连接层中。

    引入的额外参数的数量为：七、SENet - 图59 。其中：七、SENet - 图60 表示降维比例（论文中设定为16），七、SENet - 图61 指的是SE 块的数量，七、SENet - 图62 表示第 七、SENet - 图63 个SE 块的输出通道的维度。

    如：SE-ResNet-50 在ResNet-50 所要求的大约2500万参数之外，额外引入了约250万参数，相对增加了10%。

  3. 超参数 七、SENet - 图64 称作减少比率，它刻画了需要将通道描述符组成的向量压缩的比例。它是一个重要的超参数，需要在精度和复杂度之间平衡。

    网络的精度并不会随着 七、SENet - 图65 的增加而单调上升，因此需要多次实验并选取其中最好的那个值。

    如下所示为SE-ResNet-50 采用不同的 七、SENet - 图66 在 ImageNet 验证集上的预测误差（single-crop）。original 表示原始的 ResNet-50 。

    七、SENet - 图67

  4. 虽然SE块可以应用在网络的任何地方，但是它在不同深度中承担了不同的作用。

    • 在网络较低的层中：对于不同类别的样本，特征通道的权重分布几乎相同。

      这说明在网络的最初阶段，特征通道的重要性很可能由不同的类别共享。即：低层特征通常更具有普遍性。

    • 在网络较高的层中：对于不同类别的样本，特征通道的权重分布开始分化。

      这说明在网络的高层，每个通道的值变得更具有类别特异性。即：高层特征通常更具有特异性。

    在网络的最后阶段的SE 块为网络提供重新校准所起到的作用，相对于网络的前面阶段的SE 块来说，更加不重要。

    这意味着可以删除最后一个阶段的SE 块，从而显著减少总体参数数量，仅仅带来一点点的损失。如：在SE-ResNet-50中，删除最后一个阶段的SE 块可以使得参数增加量下降到 4%，而在ImageNet上的top-1 错误率的损失小于 0.1% 。

    因此：Se 块执行特征通道重新校准的好处可以通过整个网络进行累积。

7.2 网络性能

  1. 网络结构：其中 fc,[16,256] 表示 SE 块中的两个全连接层的输出维度。

    七、SENet - 图68

  2. 在ImageNet 验证集上的计算复杂度和预测误差比较(single-crop)。

    • original 列：从各自原始论文中给出的结果报告。

    • re-implementation 列：重新训练得到的结果报告。

    • SENet 列：通过引入SE块之后的结果报告。

    • GFLOPs/MFLOPs：计算复杂度，单位为 G/M FLOPs 。

    • MobileNet 采用的是 1.0 MobileNet-224，ShuffleNet 采用的是 1.0 ShuffleNet 1x(g=3) 。

    • 数据集增强和归一化：

      • 随机裁剪成 224x224 大小（Inception 系列裁剪成 299x299 ）。
      • 随机水平翻转。
      • 输入图片沿着通道归一化：每个像素减去本通道的像素均值。

    七、SENet - 图69

    七、SENet - 图70

  3. 在ImageNet 验证集上的预测误差比较（single-crop）：

    其中 SENet-154(post-challenge) 是采用 320x320 大小的图片来训练的。

    七、SENet - 图71