在图像处理领域,你们接触最多的算法加成应该就是手机里的美颜自拍了,除了有专用的美颜APP以外,不少手机的相机原生系统也都支持美颜功能。算法
美颜按功能需求来看可分为基础、高级和附加功能三大块。基础概念就是磨皮、处理肤色,目前即使是原生系统自带的相机美颜也能作到基础美颜功能的实时计算,因此启动相机取景预览时就能看到,目前直播用的美颜摄像头已经能够实现高级功能的即时演算,好比祛痘、瘦脸、增大眼睛、五官立体等……此前翻车的某网红女主播就是在扭头瞬间人脸未被识别,现了不到1秒的原形但被吃瓜网友抓包,因此人脸识别是实现美颜,特别是实时美颜的第一前提。而年龄计算、AR装饰、美妆等就属于美颜以外(或之上)的另外一类图像算法了。机器学习
美颜功能的基本构架就是这样,接下来就来一点一点地聊聊美颜算法的细节,首当其冲的天然是最重要的基本功能:磨皮。从算法的角度来看,磨皮是用滤波器将痘印、胎记、伤痕等高频信息给滤除,再用光滑皮肤灯领域低频信息进行填充。在种类繁多的高频滤波器里,适用于人像修复的主要都是带通滤波器,好比双边滤波、导向滤波、灰度图像各向异性扩散等,由于它们的特点是能够保留边缘信息,在磨皮的同时不会像高斯滤波那样让整张照片都模糊掉。学习
双边滤波,简单来讲它是高斯滤波的衍生版,区别在于双边滤波在把像素空域距离归入计算的同时,还考虑了像素值域之间差值的高斯系数,两个像素的值域差距越大,计算过程当中的权重就越小,反之亦然,因此这个值域系数的做用就很关键。spa
对于彻底从背景中抽离的人像来讲,双边滤波磨皮很实用,但不足也比较明显,第一是一些面积较大的雀斑或胎记由于值域相差较大,就没法被磨皮操做简单平滑掉,不少时候就须要手动干预,在用户选取区域后以该区域中心为起点,选取一个包含但大于整个选取面积的矩形窗口并计算均值,再将整个均值融合到选取范围内,实现肤色天然过渡。设计
固然,也有自动检测的方法,但须要结合很精确的人脸识别,在皮肤区域采用模板匹配的方式,按水平/垂直方向进行扫描,由于雀斑、胎记等区域亮度值每每小于正常皮肤,从而实现自动判断。直播
双边滤波的第二个不足偏偏就是缺少人脸区域计算机制,手机自拍不可能老是在纯色或大纵深的环境里,在能清晰辨别背景的状况下,双边滤波会对整张图像进行磨皮,这时候虽然皮肤磨得很光滑,边缘也比较清晰,但咱们想要清晰呈现的背景细节也都跟着被磨掉了,照片严重失真(如上图)。因此磨皮的进阶就必需要先把人脸部分识别并抠出来,单独进行,关于人脸皮肤抠图算法的研究有不少,能够说是手机图像处理算法里最经典的主题了,所谓积少成多,如今大多品牌自拍美颜的效果都至关不错也有它的一分功劳。产品
人脸抠图算法主要是利于肤色和纹理来进行识别一个相对准确的人脸范畴,由于皮肤区域的色彩即使是光照变化较大时,也会集中在一个相对较窄的区域内,抽取难度相对不大。固然也有不少公司采用机器学习模型参考,提升效率。it
当获得人脸蒙版以后,将其与滤波结果进行混合,就能得到想要的磨皮效果,背景等其他区域仍是使用原图,细节得以保留。图像处理
因此目前来讲,人脸识别并抠图美颜功能的根基,磨皮以外的肤色处理也是相似的道理,好比不少妹子都喜欢用的美白效果,首先是用人脸皮肤抠图算法计算出须要处理的图像区域,而后将图像专为YUV或HSV等亮度色彩分离的颜色空间,而后提升亮度,减少色差,从而实现美白效果。模板
接下来聊聊瘦脸等高级算法,它的基础就是人脸检测和对齐。
人脸检测很好理解,对齐是啥意思?简单来讲就是匹配具体五官、轮廓的位置,比较著名的算法有ASM、AAM等,当肯定了五官位置和轮廓以后才有后面的瘦脸、眼睛放大、提升鼻梁等美颜功能。以瘦脸为例,在肯定脸部轮廓后,计算美颜后图像中的每一个像素在原图像中相应的位置,利用插值的方法计算实际像素的值,再回填到最终图像上来。眼睛增大是将人眼轮廓向外部扩张,并进行插值计算,缩小鼻子是将鼻子轮廓向中心移动,而后插值……
五官立体等进阶美颜操做是将眼部或鼻梁附近区域的像素变暗或调亮,造成阴影或高光区域,看上去更立体,事实上亮眼、美白牙齿等功能也是经过先定位须要改变的目标位置,再改变亮度、对比度和色差,从而实现最终效果。
美妆效果在当下美颜APP里也至关流行,主要是不涂口红、不抹眼影也能拍出漂亮的唇妆眼妆,确实方便。而美妆的基础也是人脸检测和对齐,只要找准了眉毛、眼线、脸颊、嘴唇等相应位置,将设计好的美妆效果对应像素映射就可搞定。不过,如何选取这些非规则的区域中的像素确实是个手艺活儿,第一种方案是根据五官的位置,计算这些像素的外接多边形,再利用扫描线方法,扫描每行位于多边形内部的像素,得到这些像素;另外一种方案是预先设计像素区域的掩码,在具体的美妆计算中进行相应人脸轮廓关键点的匹配,消除由人脸大小、朝向不一样形成的误差。
由于是人脸实时跟踪和配准,所以算法要求其实很高。图玩智能科技为企业提供更稳定更优质的美颜产品及服务,欢迎随时咨询www.toivan.com.