RoIPooling、RoIAlign笔记

      一）、RoIPooling

      这个能够在Faster RCNN中使用以便使生成的候选框region proposal映射产生固定大小的feature map

      先贴出一张图，接着经过这图解释RoiPooling的工做原理   

      

      针对上图

      1)Conv layers使用的是VGG16，feat_stride=32(即表示，通过网络层后图片缩小为原图的1/32),原图800*800,最后一层特征图feature map大小:25*25

      2)假定原图中有一region proposal，大小为665*665，这样，映射到特征图中的大小：665/32=20.78,即20.78*20.78，若是你看过Caffe的Roi Pooling的C++源码，在计算的时候会进行取整操做，因而，进行所谓的第一次量化，即映射的特征图大小为20*20

      3)假定pooled_w=7,pooled_h=7,即pooling后固定成7*7大小的特征图，因此，将上面在 feature map上映射的20*20的 region  proposal划分红49个同等大小的小区域，每一个小区域的大小20/7=2.86,即2.86*2.86，此时，进行第二次量化，故小区域大小变成2*2

      4)每一个2*2的小区域里，取出其中最大的像素值，做为这一个区域的‘表明’，这样，49个小区域就输出49个像素值，组成7*7大小的feature map

     总结，因此，经过上面能够看出，通过两次量化，即将浮点数取整，本来在特征图上映射的20*20大小的region proposal，误差成大小为14*14的，这样的像素误差势必会对后层的回归定位产生影响

     因此，产生了替代方案，RoiAlign

 

     二）、RoIAlign

      这个是在Mask RCNN中使用以便使生成的候选框region proposal映射产生固定大小的feature map时提出的

      先贴出一张图，接着经过这图解释RoiAlign的工做原理

      

    一样，针对上图，有着相似的映射

     1)Conv layers使用的是VGG16，feat_stride=32(即表示，通过网络层后图片缩小为原图的1/32),原图800*800,最后一层特征图feature map大小:25*25

      2)假定原图中有一region proposal，大小为665*665，这样，映射到特征图中的大小：665/32=20.78,即20.78*20.78，此时，没有像RoiPooling那样就行取整操做，保留浮点数

      3)假定pooled_w=7,pooled_h=7,即pooling后固定成7*7大小的特征图，因此，将在 feature map上映射的20.78*20.78的region proposal 划分红49个同等大小的小区域，每一个小区域的大小20.78/7=2.97,即2.97*2.97

      4)假定采样点数为4，即表示，对于每一个2.97*2.97的小区域，平分四份，每一份取其中心点位置，而中心点位置的像素，采用双线性插值法进行计算，这样，就会获得四个点的像素值，以下图

      

      上图中，四个红色叉叉‘×’的像素值是经过双线性插值算法计算获得的

       最后，取四个像素值中最大值做为这个小区域(即：2.97*2.97大小的区域)的像素值，如此类推，一样是49个小区域获得49个像素值，组成7*7大小的feature map

    

     总结：知道了RoiPooling和RoiAlign实现原理，在之后的项目中能够根据实际状况进行方案的选择；对于检测图片中大目标物体时，两种方案的差异不大，而若是是图片中有较多小目标物体须要检测，则优先选择RoiAlign，更精准些....

    

      做为一枚技术小白，写这篇笔记的时候参考了不少博客论文，在这里表示感谢，同时，未经赞成，请勿转载....