OpenCV开源【微信“扫一扫”】| 3行代码让你拥有微信扫码能力

2011年12月微信3.5版本正式上线“扫一扫”二维码,历经9年蜕变,“扫一扫”从二维码名片到扫码支付、从小程序码到健康码,二维码已经成为一种生活方式,链接着数字与现实。html


如今,在腾讯WeChatCV团队的贡献下,微信扫码引擎正式加入OpenCV开源了!只需3行代码,你便轻松拥有微信的扫码能力:git


import cv2

detector = cv2.wechat_qrcode_WeChatQRCode("detect.prototxt""detect.caffemodel""sr.prototxt""sr.caffemodel")
img = cv2.imread("img.jpg")
res, points = detector.detectAndDecode(img)

print(res, points)


微信扫码引擎收录于:opencv_contrib/modules/wechat_qrcodegithub

开发文档:                                                                                                          https://docs.opencv.org/master/d5/d04/classcv_1_1wechat__qrcode_1_1WeChatQRCode.htmlweb


微信扫码引擎是一款基于开源引擎ZXing,并高度优化和深度改造的高性能轻量二维码识别器。

1. 基于CNN的二维码检测

“一图多码”是扫码支付常常遇到的线下场景。早在2016年,微信扫码引擎在业内率先支持远距离二维码检测、自动调焦定位、多码检测识别。然而,传统方法须要牺牲40%以上的性能来支持多码的检测与识别。伴随着深度学习技术的成熟和移动端计算能力的提高,微信扫码引擎引入基于CNN的二维码检测器解决上述问题。

图1 二维码检测器

咱们以SSD框架为基础,构造了短小精干的二维码检测器(图1),采用残差链接(Residual Concat)、深度卷积(Depthwise Convolution)、空洞卷积(Dilated Convolution)、卷积投影(Convolution Projection)等技术进行了针对性的优化。整个模型大小仅943KB,iPhone7(A10)单CPU的推理时间仅需20ms,很好地知足“低延时、小体积、高召回”的业务需求。

检测代码:
https://github.com/opencv/opencv_contrib/blob/master/modules/wechat_qrcode/src/wechat_qrcode.cpp#L156
模型文件:
https://github.com/WeChatCV/opencv_3rdparty/blob/wechat_qrcode/detect.prototxt
参数文件:
https://github.com/WeChatCV/opencv_3rdparty/blob/wechat_qrcode/detect.caffemodel

2. 基于CNN的二维码加强

大图小码”是远距扫码和长按识码常常面临的难点,二维码加强技术可让小码更加清晰。
2014年,微信率先在对话中上线“识别图中二维码”能力,离不开加强技术的加持。在长按识别的场景中,二维码图像通过用户的裁剪、压缩、转发,图像质量严重受损,分辨率急剧降低,边缘变得模糊不清,这给扫码引擎的识别带来了极大的挑战。

传统图像加强算法很难完美地解决以上问题,所以微信扫码引擎率先在识别流程中引入了基于深度学习的超分辨率技术(图2)。在网络结构上,密集链接(Dense Concat)、深度卷积(Depthwise Convolution)、反向卷积(Deconvolution)、残差学习(Residual Learning)等技术改善模型的性能;在目标函数上,针对二维码强边缘和二值化的特色,结合L2/L1损失、边界加权、二值约束设计了针对二维码的目标函数。通过精心的调优,超分辨率模型大小仅23KB,在iPhone7(A10)单CPU的推理时间仅需6ms(100x100超分200x200),彻底知足移动端的应用需求。

图2 二维码超分辨率

超分代码:https://github.com/opencv/opencv_contrib/blob/master/modules/wechat_qrcode/src/wechat_qrcode.cpp#L68
模型文件:
https://github.com/WeChatCV/opencv_3rdparty/blob/wechat_qrcode/sr.prototxt
参数文件:
https://github.com/WeChatCV/opencv_3rdparty/blob/wechat_qrcode/sr.caffemodel

3. 更鲁棒的定位点检测

二维码在识别的时候,一般须要根据扫描像素行/列匹配对应比例来寻找定位点(图3)。

图3 二维码定位点

在定位点检测上,咱们提出面积法的定位点检测方法,相比于传统扫描线方法更为鲁棒和高效,有效地避免了误召回和漏召回;在定位点匹配上,特征聚类方法使得扫码引擎能够高效和准确地匹配多个定位点;在图像二值化上,引入多种更为鲁棒的二值化方法,有效地提升解码的成功率。

核心代码:
https://github.com/opencv/opencv_contrib/blob/master/modules/wechat_qrcode/src/wechat_qrcode.cpp#L117

结合传统计算机视觉和深度学习技术,微信扫码引擎解决了一图多码、大图小码、鲁棒解码等业务痛点和技术难点。现在,该引擎在OpenCV上正式开源,期待广大开发者与咱们一同打造业内领先的扫码引擎!




往期精彩算法

如何从头训练一个一键抠图模型小程序

头像/证件照抠图与圣诞背景替换
微信

任意图像转素描:Python分分钟实现网络

一键智能抠图-原理与实现 | 可在线体验
框架

【能够玩的】人脸检测 & 人脸关键点检测 & 人脸卡通化
函数

卡通化-二次元的你长什么样










长按指纹,识别二维码,一键关注


本文分享自微信公众号 - CVPy(x-cvpy)。
若有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一块儿分享。

相关文章
相关标签/搜索