Scaled-YOLOv4 介绍

分享一篇新出的重要文章:Scaled-YOLOv4: Scaling Cross Stage Partial Network,做者出自YOLOv4的原班人马,其聚焦于针对YOLOv4的模型缩放(model scale)。
git


该文做者信息:
github



论文地址:https://arxiv.org/2011.08036
代码地址: https://github.com/WongKinYiu/ScaledYOLOv4算法


旗下重要的三个模型:
微信

YOLOv4-CSP(面向普通GPU)网络

https://github.com/WongKinYiu/ScaledYOLOv4/tree/yolov4-csp架构


YOLOv4-tiny(面向低端GPU)app

https://github.com/WongKinYiu/ScaledYOLOv4/tree/yolov4-tiny编辑器


YOLOv4-large(面向高端GPU): 
学习

https://github.com/WongKinYiu/ScaledYOLOv4/tree/yolov4-large测试


在我爱计算机视觉公众号后台回复“YOLOv4”,便可收到包含论文和代码的打包下载。


实现效果


1)其开发的YOLOv4-large 在COCO数据集达到SOTA精度: 55.4% AP(73.3% AP50) 并以以15 fps 在 Tesla V100运行, 而若是加上测试阶段数据加强方法后,YOLOv4-large 达到 55.8% AP (73.2 AP50). 做者称这一精度是全部已公开文献的最高精度. 



2)另外其 YOLOv4-tiny模型在COCO数据集达到 22.0% AP (42.0% AP50) , ∼443 FPS 在 RTX 2080Ti运行, 当使用 TensorRT作推理, batch size = 4 和 FP16推断时,  YOLOv4-tiny 甚至可达到 1774 FPS


何为模型缩放?

为何要缩放?


首先咱们要搞清楚这篇文章做者的本意,其本不是冲着提升检测精度而来的。其主要考虑的是在深度学习技术应用领域不断扩大的今天,面向实际工程部署,每每须要的不是一个模型而是一套模型


部署在云端,也许你有高端大气上档次的V100 ,部署在我的电脑有大量的消费级GPU可选如2080TI(固然仍是略贵~),部署在嵌入式平台能够选择TX2 、Jetson NANO等“弱机”。


模型缩放即但愿一个算法衍生出多个模型,对计算和存储的需求不一样(精度固然也不一样),以知足部署在不一样平台的需求。其实这固然不是什么新概念,EfficientNet、EfficientDet便是一个算法的一系列模型。


做为工业界宠爱的 YOLOv4, 须要模型缩放。


Scaled-YOLOv4

是怎么作模型缩放的?


正如以前跟你们分享过YOLOv4论文同样,做者们依然采用了极其工程化的方法设计 Scaled-YOLOv4 ,没有发明什么新思想、新路径,而是“博采众长”,“努力调优”。


以往模型缩放,如 EfficientDet 无非是首先选择网络基础模块,它每每又好又快,而后针对影响目标检测的重要参数如:网络宽度w、深度d、输入图像分辨率size等进行(知足必定条件下按照必定规律)调参。


虽然神经架构搜索也常被用于设计不一样平台的一系列不一样模型,但EfficientDet 已经证实上述方法实际上是颇有效。


做者针对不一样的GPU设计不一样模型。思路依然是寻找基础模块,而后调整网络宽度w、深度d、输入图像分辨率size。


做者认为以前的工做没有系统性分析各个网络因素的影响,而做者进行了系统分析。


这里CV君再也不跟你们分享做者的分析细节,只上结论。


针对普通GPU,对应YOLOv4-CSP,做者选择了CSPNet (CVPR 2020 Workshop 论文)启发下的CSP-ized(CSP化的)模型做为基础结构。做为后来者,相比EfficientDet,设计 Scaled-YOLOv4 能选择的网络结构更多,固然是有优点的。


YOLOv4-CSP中的reversed CSP dark 结构


针对嵌入式等平台上的弱GPU,对应YOLOv4-tiny,除了考虑计算量,做者尤为提到要考虑内存访问速度、内存带宽、DRAM 速度的影响,做者选择了OSANet做为总体结构,并依然进行了CSP化,即CSPOSANet。CV君以为这是搞工程化的人最值得参考的地方。


YOLOv4-tiny 计算模块


对于高端GPU,对应YOLOv4-Large,首要考虑的是追求高精度,因此做者在提升输入图像分辨率和增长stage上下功夫,由于这直接影响不一样分辨率目标和算法感觉野,输入分辨率高、算法感觉野大能检测到更多目标。


YOLOv4-P五、P六、P7结构


算法效果


做者在COCO数据集上进行了测试,未使用预训练权重,从头开始训练。

尽管 Scaled-YOLOv4并不单纯追求精度高,但跟SOTA算法相比依然很能打。


请注意,表中的YOLOv4 -CSP、P五、P六、P7依然都是实时算法,针对帧率15fps(v100 GPU上测试),固然YOLOv4-P7也取得了最高的精度,但相比相同输入分辨率的EfficientDet-D7x也并未出现碾压的架势,在Large目标上EfficientDet-D7x是最优秀的,YOLOv4-P7对小目标检测更好。


YOLOv4-Large 加上测试时图像加强(TTA,这时在工程应用时常常作的)后,精度得到了小幅提高:



YOLOv4-tiny一样很优秀,相比其余主打小模型计算量小的算法,取得了速度和精度的双优。



结论


尽管在算法设计上,该文并无带来重要亮点,但从工程应用的角度讲, Scaled-YOLOv4无疑是极其优秀的选择!尤为是YOLOv4-tiny,其设计不只考虑到计算量和参数量还考虑到内存访问,感谢做者团队的开源!


本文分享自微信公众号 - AI科技时讯(aiblog_research)。
若有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一块儿分享。

相关文章
相关标签/搜索