读论文系列：Object Detection ICCV2015 Fast RCNN

Fast RCNN是对RCNN的性能优化版本，在VGG16上，Fast R-CNN训练速度是RCNN的9倍, 测试速度是RCNN213倍；训练速度是SPP-net的3倍，测试速度是SPP-net的3倍，而且达到了更高的准确率，本文为您解读Fast RCNN。

Overview

Fast rcnn直接从单张图的feature map中提取RoI对应的feature map，用卷积神经网络作分类，作bounding box regressor，不须要额外磁盘空间，避免重复计算，速度更快，准确率也更高。

Related work

RCNN缺点

• Multi-stage training

须要先预训练卷积层，而后作region proposal, 而后用SVM对卷积层抽取的特征作分类，最后训练bounding-box回归器。

• 训练时间和空间代价很大
  训练过程当中须要把CNN提取的特征写到磁盘，占用百G级的磁盘空间，GPU训练时间为2.5GPU*天（用的是K40，壕，友乎？）

• 目标检测很慢
  Region proposal很慢，VGG16每张图须要花47秒的时间

总结：RCNN就是慢！最主要的缘由在于不一样的Region Proposal有着大量的重复区域，致使大量的feature map重复计算。

SPP-net

SPP-net中则提出只过一遍图，从最后的feature map裁剪出须要的特征，而后由Spatial pyramid pooling层将其转为固定尺寸特征，因为没有重复计算feature map，训练速度提高3倍，测试速度提高了10-100倍。

可是SPP-net也有缺点，SPP-net的fine-tune不能越过SPP层，由于pyramid BP开销太大了，只能fine-tune全链接层，tune不到卷积层，因此在一些较深的网络上准确率上不去。

Fast RCNN architecture

• 首先将整个图片输入到一个基础卷积网络，通过max pooling获得整张图的feature map，
• 而后用一个RoI pooling层为region proposal从feature map中提取一个固定长度的特征向量，
• 每一个特征会输入到一系列全链接层，获得一个RoI特征向量，
• 再分叉传入两个全链接层输出，
  • 其中一个是传统softmax层进行分类，
  • 另外一个是bounding box regressor，
• 根据RoI特征向量（其中包含了原图中的空间信息）和原来的Region Proposal位置回归真实的bounding box位置（如RCNN作的那样，可是是用神经网络来实现）。

其余都是一目了然的，接下来主要讲RoI pooling

RoI pooling

咱们能够根据卷积运算的规则，推算出原图的region对应feature map中的哪一部分。可是由于原图region的大小不一，这些region对应的feature map尺寸是不固定的，RoI pooling就是为了获得固定大小的feature map。

• RoI pooling层使用max pooling将不一样的RoI对应的feature map转为固定大小的feature map。
  • 首先将h * w的feature map划分为H * W个格子
  • 对每一个格子中的元素作max pooling

因为多个RoI会有重复区域，因此max pooling时，feature map里同一个值可能对应pooling output的多个值。因此BP算梯度的时候，从RoI pooling层output y到input x的梯度是这样求的

其中

• i ^*(r, j) = argmax_i'∈R(r,j) x_i'，也就是在R(r, j)这个区域中作max pooling获得的结果，
• i = i ^* (r, j) 是一个条件表达式，就是判断input的x_i是不是max pooling的结果，若是不是，输出的梯度就不传到这个值上面
• r是RoI数量，j是在一个region中，与x对应的输出个数
• y_rj是第j个跟x对应的输出

举例：

也就是说，将Loss对输出的梯度，传回到max pooling对应的那个feature unit上，再往回传

其实这是SPPnet的一个特例，是Spatial pooling，没有pyramid，也所以计算量大大减小，可以实现FC到CNN的梯度反向传播，而且，实验发现其实feature pyramid对准确率提高不大。却是原图层面的Pyramid做用大些：

• 训练时，为每张训练图片随机选一个尺度，缩放后扔进网络学
• 测试时，用image pyramid为每张测试图片中的region proposal作尺度归一化（将它们缩放到224x224）

可是这种Pyramid方法计算代价比较大，因此Fast RCNN中只在小模型上有这样作

Multi-task loss

• L_cls: SoftMax多分类Loss，没啥好说的
• L_Ioc：bounding box regression loss

定义真实的bounding box为(v_x, v_y, v_w, v_h)，预测的bounding box位置（由第二个fc层输出，有K个类，每一个类分别有4个值，分别为）t_x^k，t_y^k，t_w^k, t_h^k

L_Ioc(t^k, v) = ∑_{i∈{x,y,w,h}} smooth_L1(t_i^k - v_i)

即预测位置和真实位置四个值的差值求和，其中

smooth_L1(x) = 0.5x² if |x|<1 otherwise |x|-0.5

是一个软化的L1（画一下图像能够看出来，在(-1,1)的范围内是抛物线，没L1那么尖锐），若是采用L2 loss，须要仔细调节学习率防止梯度爆炸。

整个模型的Loss就是：

L(p, k, t^k, v) = L_cls(p, k) + λ|k ≥ 1| L_Ioc(t^u, v)

• p表明预测类别，k表明真实类别
• k≥1意味着不算0类（也就是背景类）的bounding box loss，由于背景的bounding box没啥意义
• λ是超参数，在论文的实验中设为1

训练

• ImageNet预训练
• 最后一层换成RoI pooling层
• FC+sofmax分类层换成两个FC，分别求softmax分类和bounding box回归loss，每一个类有本身的bounding box regressor
• 用Detection数据BP微调整个神经网络

这就比较厉害了，谁不喜欢end to end，以前RCNN是须要分开微调SVM分类层和bounding box regressor的

前面讲了RoI pooling使得梯度反向传播到卷积层成为可能，可是这种BP训练仍然很耗显存和时间，尤为是在输入的ROI属于不一样图片时，由于单张图的feature map是不存到磁盘的，当一张图的几个RoI和其余图的几个RoI混在一块儿交替输入时，须要反复前向传播计算feature map，再pooling，实际上也就反复计算了feature map。

在Fast RCNN的训练中，每次输入两张图（这么小的batch size），每张图取64个ROI，单张图的多个ROI在前向计算和后向传播过程当中是共享feature map的的，这样就加快了训练速度。

然而，这犯了训练中的一个忌讳，实际上，至关于训练数据（ROI）没有充分shuffle，但在Fast RCNN的实验中效果还行，就先这样搞了。

样本筛选

• 正样本：与bounding box有超过50%重叠率的
• 负样本（背景）：与bounding box重叠率位于0.1到0.5之间的。

Truncated SVD加速全链接层运算

• Truncated SVD

W ≈ U∑_tV^T

将u×v大小的矩阵W分解为三个矩阵相乘，其中，U是一个u×t的矩阵，包含W的前t个左奇异向量，∑_t是一个t×t的对角矩阵，包含W的前t个上奇异向量，V^T是一个v×t的矩阵，包含W的钱t个右奇异向量，参数数量从uv变成t(u+v)，当t远小于min(u,v)时，参数数量就显著少于W。

具体实现上，将一个权重为W的全链接层拆成两个，第一层的权重矩阵为∑_tV^T（而且没有bias），第二层的权重矩阵为U（带上W原来的bias）。

在Fast RCNN中，Truncated SVD减小了30%的训练时间。

实验结果

PK现有方法

• 在VOC12上取得65.7%的mAP，是当时的SOA
• 在VGG16上，Fast R-CNN训练速度是RCNN的9倍, 测试速度是RCNN213倍；
• 训练速度是SPP-net的3倍，测试速度是SPP-net的3倍

创新点必要性验证

• RoI pooling是否比SPP更优？（是否有fine tune卷积层的必要？）
  • 使用VGG16，在Fast RCNN中冻结卷积层，只fine tune全链接层：61.4%
  • 使用VGG16，在Fast RCNN中fine tune整个网络：66.9%
• Multi Loss(Softmax + bb regressor)是否比Single task（只用Softmax loss）更优？stage-wise和Multi Task同时进行(end2end)哪一个更优？

在VOC07上，end2end + bb regressor > stage-wise+ bb regressor > end2end

• Image Pyramid是否必须？
  实际上，使用Pyramid在Fast RCNN上只提高了1%左右，因此这个也没被列为正式的创新点

• 若是用SVM来分类会不会更好？

S M L是由浅到深的三个网络，能够看到，只用Softmax分类也能达到不错的效果，在网络比较深的状况下，也有超越SVM的可能。

• 模型泛化能力
  一个模型若是可以在更多训练数据的条件下学到更好的特征分布，这个模型效果越好，RBG用VOC12去训练Fast RCNN，而后在VOC07上测试，准确率从66.9%提高到70.0%。在其余组合上也取得了提高。

注意，在训练更大的数据的时候，须要更多的iteration，更慢的learning rate decay。

• 使用更多的Region Proposal效果会不会更好？（不是很想讲这方面，太玄学）

图中红色线表示Average Recall，一般人们用Average Recall来评价Region Proposal的效果，然而，proposals越多，AR这个指标一直往上涨，但实际上的mAP并无上升，因此使用AR这个指标比较各类方法的时候要当心，控制proposal的数量这个变量不变。

图中蓝色线表示mAP(= AVG(AP for each object class))，能够看到，

• 太多的Region Proposal反而会损害Fast RCNN的准确度
• DPM使用滑动窗口+层次金字塔这种方法提供密集的候选区域，用在Fast RCNN上略有降低。