在这里插入图片描述

前言¶

前面介绍了很多目标检测的算法，为了平衡一下，今天介绍一个语义分割算法QAQ。这是来自CVPR 2017的RefineNet，在PSCAL VOC 2012上达到了83.4的mIOU，是一个非常优秀的网络，同时其论文的思想也能对我们做工程做学术给予启发，我们来一起看看吧。对了，说一句题外话，卷积神经网络系列已经更新了5篇，接下来打算更新20篇左右从2012年到现在非常经典的CNN网络，一起来学习CNN呀。这篇论文的地址见附录。

背景¶

当前流行的CNN如VGG，ResNet等由于池化层和卷积步长的存在，特征图分辨率越来越小，导致损失了一些细节信息，我们在卷积神经网络学习路线（一）| 卷积神经网络的组件以及卷积层是如何在图像中起作用的？介绍过低层的特征图有丰富的细节信息，而高层特征图则有更加抽象的语义信息。对于分类问题来说，只要高级语义信息足够强，模型就能表现得好。而对于稠密预测如逐像素的语义分割问题来说，除了高级语义特征之外，还需要低层的细节信息。针对这一问题，有很多方法被提出。例如以SegNet结构为典型的编解码结构，使用反卷积来恢复图像分辨率，但却依然很难恢复细节信息。还有Unet为代表的使用跳跃连接来产生高分辨率的预测。以及DeepLab系列使用空洞卷积保持分辨率，增大感受野，但这种做法增加了计算量，并且空洞卷积容易损失一些高层语义信息。

主要贡献¶

针对上面的背景，RefineNet被提出。论文认为高级语义特征有助于分类识别，而低层语义特征有助于生成清晰，详细的边界。因此作者在Unet的基础上进行魔改，产生了今天要介绍的RefineNet。它的主要贡献是：

提出一种多路径精细化的语义分割网络RefineNet。这个网络可以利用多个层次的特征，使得语义分割精度更高。
RefineNe的使用了大量的残差结构，使得网络梯度不容易发散，训练起来更加容易和高效。
提出了一个Chained Residual Pooling模块，可以从一个大的图像区域捕捉背景上下文信息。

网络结构¶

论文提出的网络结构可以分为两段分别对应于U-Net中的向下和向上两个过程。其中向下的过程以ResNet为基础，向上的过程使用了新提出的RefineNet为基础，并将ResNet中的低层特征和当前RefineNet的特征加以fusion。整体框架如Figure2©所示。其中左边的4组特征是从ResNet的4个Block中取出的。值得一提的是，具体用多少个特征，以及用多少个RefineNet级联是可以灵活改变的，论文中也有相关实验。

在这里插入图片描述

RefineNet结构¶

RefineNet的细节结构如Figure3所示。

在这里插入图片描述

RefineNet的结构可以分为3个部分，首先不同尺度的输入特征首先经过2个残差模块的处理，然后将不同尺寸的特征进行融合，当然如果只有一个输入尺度，该模块则可以省去。所有特征均UpSampling到和低层特征分辨率一样的尺寸，然后进行加和，其中采样之前的卷积模块是为了调整不同特征的通道数。最后一个是这篇论文的另外一个创新点，即一个链式的池化模块。其设计的本意是想让侧支上的一系列池化(尺寸比较大，步长为1)来获取背景信息，然后主支上的ReLU以在不显著影响梯度流通的情况下提高后续pooling的性能，同时不让网络的训练对学习率很敏感。最后网络再经过一个残差模块即得到RefineNet的输出结果。