点击上方“AI公园”，关注公众号，选择加“星标“或“置顶”git
做者：Abhinav Sagargithub
编译：ronghuaiyang
web
用于自动驾驶的新的state of the art的网络。算法
本文提出了一种新的神经网络，利用不一样尺度的多尺度特征融合来实现精确高效的语义分割。浏览器
重点
-
咱们在下采样部分使用了膨胀卷积层，在上采样部分使用了转置卷积层，并在concat层中对它们进行拼接。 -
alternate blocks之间有跳跃链接，这有助于减小过拟合。 -
咱们对咱们的网络训练和优化细节进行了深刻的理论分析。 -
咱们在Camvid数据集上使用每一个类的平均精度和IOU做为评价指标来评估咱们的网络。 -
咱们的模型在语义分割上优于以前的state of the art网络，在超过100帧每秒的速度下，平均IOU值为74.12。
语义分割
语义分割须要对输入图像的每一个像素预测一个类，而不是对整个输入图像进行分类。为了预测图像中每一个像素的内容，分割不只须要找到输入图像中的内容，还须要找到它的位置。语义分割在自动驾驶、视频监控、医学影像等方面都有应用。这是一个具备挑战性的问题，由于要在准确性和速度之间进行权衡。因为模型最终须要在现实环境中部署，所以精度和速度都应该很高。微信
数据集
在训练和评估中使用了CamVid数据集。数据集提供了ground truth标签，将每一个像素与32个类中的一个相关联。图像大小为360×480。数据集的ground truth样本图像如图1所示：网络
将原始图像做为ground truth。对于任何算法，老是在与ground truth数据的比较中进行指标的评估。在数据集和测试集中提供ground truth信息用于训练和测试。对于语义分割问题，ground truth包括图像、图像中目标的类别以及针对特定图像中每一个目标的分割掩模。对于图2中的12个类别，这些图像分别以二进制格式显示：架构
这些类别为：Sky, Building, Pole, Road, Pavement, Tree, SignSymbol, Fence, Car, Pedestrian 和 Bicyclist.编辑器
网络结构
对网络结构的解释以下：函数
-
咱们将原来360×480像素的图像调整为224×224像素。 -
咱们将数据集分红两个部分，训练集中有85%的图像，测试集中有15%的图像。 -
使用的损失函数是分类交叉熵。 -
咱们用扩张卷积来代替下采样层中的普通卷积层这是用来减小特征图的，用转置卷积来代替上采样层中的普通卷积层来恢复特征。 -
咱们在图层之间使用concat操做来合并不一样尺度的特征。 -
对于convolutional layer咱们没有使用任何padding，使用3 * 3 filter，而且使用relu做为激活函数。对于最大池化层，咱们使用2×2的过滤器和2×2的步长。 -
咱们使用VGG16做为训练模型的预训练主干。 -
在最后一层使用Softmax做为激活函数，输出一个物体是否存在于一个特定像素位置的离散几率。 -
咱们使用adam做为优化器。 -
为了不过拟合，咱们使用了咱们认为最优的batch size值4。
本工做中使用的网络结构图3所示：
优化
假设给定一个局部特征C，咱们将其输入一个卷积层，分别生成两个新的特征图B和C。对A与B的转置进行矩阵乘法，应用softmax层计算空间注意力图，定义以下式：
咱们在X和A的转置之间进行矩阵乘法并reshape它们的结果。而后将结果乘以一个尺度参数β，并与A进行元素和运算，获得最终的输出结果以下式所示：
由上式可知，获得的各通道特征是各通道特征的加权和，并模拟了各尺度特征图之间的语义依赖关系。主干网络以及子阶段聚合方法可表示为：
这里i指的是stage的索引。
实验
池化层的数量对IOU的影响如表2所示。
模型架构中使用的分支数和融合方法对IOU的影响如表3所示。
模型训练了40个epoch，训练的平均像素精度为93%，验证的平均像素精度为88%。损失和像素级精度(训练和测试)被绘制成epoch的函数，如图4所示：
评估指标
对于评价，使用了如下两个指标：
一、每一个类的平均精度：这个度量输出每一个像素的类预测精度。
二、平均IOU：它是一个分割性能参数，经过计算与ground truth掩模之间的交集和并集的比来度量两个目标之间的重叠率。
按类别计算IOU值的方法以下所示。
其中TP为真阳性，FP为假阳性，FN为假银性，IOU表示交并比。
结果
使用多个block、FLOPS和参数对IOU的影响如表5所示。在这里，FLOPS和参数是咱们的模型架构所须要的计算量的度量。
表6中显示了以前的stage和咱们的模型结构所实现的FPS和IOU的比较分析。
将预测的分割结果与来自数据集的ground truth图像进行比较，结果如图5所示。
总结
本文提出了一种基于多尺度关注特征图的语义分割网络，并对其在Camvid数据集上的性能进行了评价。咱们使用了一个下采样和上采样结构，分别使用了扩展卷积和转置卷积层，并结合了相应的池化层和反池化层。咱们的网络在语义分割方面的表现超过了以往的技术水平，同时仍能以100帧每秒的速度运行，这在自动驾驶环境中很是重要。
论文地址：https://abhinavsagar.github.io/files/sem_seg.pdf
代码：https://github.com/abhinavsagar/mssa
英文原文：https://towardsdatascience.com/semantic-segmentation-with-multi-scale-spatial-attention-5442ac808b3e
请长按或扫描二维码关注本公众号
喜欢的话，请给我个好看吧！
本文分享自微信公众号 - AI公园（AI_Paradise）。
若有侵权，请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”，欢迎正在阅读的你也加入，一块儿分享。