腾讯QQ空间超分辨率技术TSR

腾讯QQ空间超分辨率技术TSR：为用户节省3/4流量，处理效果和速度超谷歌RAISR

 

雷锋网AI科技评论：

随着移动端屏幕分辨率愈来愈高，甚至像iPhone更有所谓的“视网膜屏”，人们对高清图片的诉求也随之愈来愈大。在QQ 、QQ空间、微博、微信等社交平台，人们常乐于发送和浏览数兆的高清图片，以得到更佳的视觉体验。但这也给用户形成了必定的困扰——要看高清大图也就意味着要占用大量带宽，一来是数据成本增长，二来加载速度会变慢，致使用户体验不佳。在时间就是金钱的时代，怎么能把这么宝贵的时间用在等待loading上呢？

因此如何可以在不影响用户体验的状况下，经过传输小图来达到高清效果是一个很值得研究的问题。在去年10月，谷歌发表了一篇论文讲述了他们推出的一项新技术RAISR（Rapid and Accurate Image Super-Resolution），利用机器学习将低分辨率图像转化为高分辨率图像。这项技术可以在节省带宽75%的状况下分辨率效果达到甚至超过原图，同时速度可以提高大约10到100倍。因而很快RAISR成为该领域的行业标杆。

而近日腾讯QQ空间联合优图实验室也推出的他们在此领域的最新技术TSR（Tencent Super Resolution）。据介绍，TSR技术在一样的标准下，处理速度在RAISR的基础上提高了40%，处理效果也有明显提高。

此外，TSR也是业界首次实现移动端使用深度神经网络进行超分辨率，并保证图片可以实时进行处理。即便在用户的普通Andriod手机，也可使用这项技术。

1、超分辨率模型

超分模型结构图以下：

 

一、神经网络

首先，在深度卷积神经网络这一块，他们构建了一个10层的网络。对比目前学术界研究的神经网络，这个网络可以很好的解决Checker Board Artifacts和对于部分图片处理纹理不清晰的问题。经过神经网络抽象出图片的总体特殊，识别图片的纹理和内容，随后再根据图片的纹理和内容进行图片的高清细节重建，从而达到远超过原图的视觉效果。

经过控制卷积神经网络的层数与每层的CHANEL数，在简化总体计算量的状况下，这个网络能很好的解决图片过于平滑，纹理不清晰的问题。经过精简化的设计，TSR可以保证模型在只有4.6KB的基础上有不错的处理效果。

二、CbCr与Y通道分离

在图片预处理方面，TSR采用了二次插值方法对图片进行预处理。这样作能够对比较模糊的UGC（用户原创内容）图片也能取得较好的效果。针对人眼对于颜色与亮度的敏感程度，他们对图片采用CbCr与Y通道分离，只对Y通道数据进行超分处理的方法提升处理速度。

（注：YCbCr 是色彩空间的一种，一般会用于影片中的影像连续处理，或是数字摄影系统中。 Cb和Cr为蓝色和红色的浓度偏移量成份，Y是所谓的流明(luminance)，表示光的强度。）

三、PRelu激活函数

此外，在模型中他们采用PRelu（Parametric Rectified Linear Unit）做为激活函数，这样能够获得更快的收敛速度与更好的网络表达能力。

顾名思义为带参数的ReLU，两者的定义和区别如图

此外，他们采用了基于Adam(Adaptive Moment Estimation，自适应矩估计)的梯度降低法，来求解神经网络模型的具体参数。

四、图片预处理

具体的模型训练上，他们先采用1W张用户真实图片，而后经过调整图片颜色、高度、对比度、施转、左右反转等数据加强操做，构造百万级的训练样本集。而后采用压缩的方法将训练样本图片宽高各压缩到原来的1/2，此时图片的总体带宽就只有原来的1/4了。

五、对比调参

处理后的图片通过前面介绍的超分模型处理后，再与原来的图片的效果进行比较，根据对比效果进行调整模型参数。

与业界的训练该方法不一样，除了对比图片的损失（PSNR）外，他们还同时引入了可视化评测系统，使用用户的真实图片进行可视化评测，用于优化参数。

六、评测结果

TSR与学术界前沿超分辨率技术对好比下图（NTIRE2017数据，400* 300 放大到 800 ＊ 600，硬件环境：Titan XP workstation）。 能够看到在处理速度与图片效果上，TSR相比别家（包括谷歌的RAISR）都要更佳。

 

2、将超分辨率技术应用到移动端

目前主流的深度神经网络模型通常在后台的高性能GPU机器上运行，这对机器性能要求比较高。TSR则为基于手机端的深度学习架构。

 

TSR将深度学习从后台迁移到移动端， 主要包括以下较为关键的技术：

一、分块加速技术 

把图片分红不少小块经过神经网络进行处理。分块加速技术的优势在于可以充分使用CPU的多核特性进行多核并行计算。 

在分块的过程当中，同时还使用算法对图片的纹理复杂度进行识别和智能处理来提升图片的处理速率。以下图示，经过智能识别能够加速蓝框中图块的处理过程。

二、异构多核CPU/GPU加速技术

可以根据用户手机的GPU与CPU能力进行任务的智能划分，联合GPU/CPU进行处理以达到较好的处理效果。这样的技术也许应该算是业界独创了。

三、统一移动端并行加速框架RapidNet 

 RapidNet深度融合了基于AND平台的opencl GPU并行计算加速技术和基于IOS平台的METAL 加速技术。对基于ARM结构的CPU，则可以充分利用neon SIMD技术和纯程池技术。

据了解，相比于业界主流的机器学习平台，速度提升10倍以上，内存消耗则下降95%。

四、动态探测与模型动态加载技术   

保证了手机端的全覆盖。TSR会动态探测手机的处理能力，针对不一样手机实时加载不一样的模型，从而可以保证全部性能的手机客户端均可以使用这种技术，保证了手机端的全覆盖。

 

3、TSR图片处理效果

TSR对图片处理的效果（注：左边是原图，右边是超分辨率处理的图片）

TSR处理后效果对比：

细节对比：

TSR处理后效果对比：

细节对比：

TSR处理后效果对比：

细节对比：

TSR处理后效果对比：

细节对比：

用户普通图片压缩75%再进行TSR处理后跟原图进行对比效果：

4、与RAISR及其余技术对比

在一样处理标准下，TSR与RAISR的效果性能对比：

能够看出不论是在处理速度，仍是处理效果上，TSR都要超过以前行业的标杆PARSR：处理速度在PARSR的基础上提高40%，处理效果也有明显提高。让咱们用图来看。

从上面对比图能够看出，对于图片细节与纹理的处理，TSR相比RAISR在细节还原上表现更好。

其次，据介绍，TSR是目前业界惟一可以将基于深度学习的超分分辨率技术落地并应用到移动端的技术，即便在用户的普通的手机上，也能够很好的运行TSR并取得不错的效果。

另外，基于TSR衍生出来的深度学习框架RapidNet，对比CAFFE2与TENSORFLOW框架，性能提高平均达到20倍，且可以把深度学习落地到普通手机。

5、技术应用场景

这项技术的应用，如文章开头所说，能够应用到业界中全部的图片处理上，可以给用户节省75%的流量，从而大大下降图片传输的带宽。

对于腾讯来讲，TSR目前已经在QQ空间进行落地应用，此外QQ、微信、每天P图、动漫等应该也都是TSR技术的目标使用场景。

另外，据介绍，这项技术还可以用来智能修复用户的老照片、模糊的图片等，可以把普通图片变成高清图片。

固然或许最重要的是，TSR这项技术实际上是打开了移动端进行AI相关的深度机器学习模型的大门。由于以前要想运行深度神经网络就必须采购昂贵的GPU，而如今即便是普通用户也可以在本身的普通的手机上运行这项技术。若是延伸的话，也许TSR技术未来可以对人脸识别、OCR识别、背景识别、人物美妆等技术的发展有必定的帮助。

据介绍，随着AI技术的兴起，腾讯QQ空间也加大了在AI这一块的投入，他们的联合优图实验室在图片的智能化处理（包括视频内容识别、人脸识别）以及语音识别、对话机器人这些领域进行较为深刻研究。

---

【相关】Google超分辨率论文RAISR实现小结 - 羽凌寒 - CSDN博客 https://blog.csdn.net/u011630458/article/details/69524582

【转载自】

雷锋网 https://mp.weixin.qq.com/s?__biz=MTM2ODM0ODYyMQ==&mid=2651430932&idx=2&sn=c3c90665fdaf888530a8a9809fb93f26&chksm=624da0b6553a29a0f0fa9e0b4290a050db4709dc63ee851208e00fdfea2411c96f346990470a&mpshare=1&scene=23&srcid=1106xNv1zgnlqetbVRT4Uusj#rd

【参考文献】

腾讯QQ空间超分辨率技术TSR：为用户节省3/4流量，处理效果和速度超谷歌RAISR | 雷锋网 https://www.leiphone.com/news/201710/c0GICjRacVyzHKIM.html

TSR：基于深度学习的超分辨率技术及应用 - 云+社区 - 腾讯云 https://cloud.tencent.com/developer/article/1006272