360OS张焰：AI视觉在教育中的应用

11月24日，由即构科技主办的2020GET大会教育科技分论坛在北京成功召开，来自叮咚课堂、小冰、360OS、蕃茄田艺术、即构科技的6位资深教育/科技大咖，在论坛上进行深度分享。

如下为360OSAI影像事业部总经理张焰带来的主题为《AI视觉在教育中的应用》的演讲，咱们整理了分享的核心内容，错过活动的小伙伴能够继续回看学习。

扫描下方二维码，可下载演讲PPT资料

二维码地址：https://www.wjx.top/jq/99621641.aspx

张焰认为：

360AI视觉针对在线教育痛点开发了4大场景解决方案，包括代替督学、量化检测、智能互动以及智能工具。他相信科技改变将来，AI能够为教育行业起到降本增效的做用。

如下为张焰演讲实录：

首先介绍一下咱们团队，咱们是360集团旗下孵化的创新业务线，专一作AI视觉算法的研发和应用。围绕“人、物、场景”三个维度，为智能手机、泛文娱、在线教育、IOT等行业提供专业的算法支持和解决方案。

1、为何作在线教育？

从国家层面上来说，教育是科技兴邦的根本；对家庭而言，教育也是家庭的但愿；从情怀而言，教育多是最大的公益，这也是咱们作在线教育的初衷。

受疫情影响，不少线下传统教培机构，如今可能被迫或加速转到了线上。这其实就是数字化的进程，可是进程来得太快，不少公司还没适应过来，因此这个过程也暴露了不少问题，如下四个痛点尤其明显：

一、学生自觉性差。尤为是K12教育，这是典型的督导式教学。之前线下督导的压力都在老师身上，搬到线上以后，督导的压力都转移到家长身上了。

二、效果难以评估。到目前为止，尚未一套成熟的量化指标来评估课堂上的好与坏，家长对线上教学的效果仍然存疑。

三、课堂互动性差。你面对的互动对象是一个冰冷的屏幕，而不是一个和善可亲的老师，因此在互动方面会存在不少问题。

四、教学效率较低。传统线上课难以还原线下场景，包括场地设备的限制，给老师和机构增长了很多成本。

2、AI视觉能为在线教育作什么？

其实我不算是教育工做者，只是科技从业者，我坚信科技是能够改变将来的，咱们想作将来的教育。那么科技与教育的结合可以碰撞出什么样的火花？咱们提出了几个解决方案：

一、代替督学方案

线上督学的责任由老师转变给家长，咱们但愿用机器来替代老师跟家长进行督学,这里涉及到两个层面：疲劳提醒和姿态纠正。

疲劳提醒

不少教育台灯、教育平板类的产品也有疲劳提醒功能，主要监测“打哈欠、瞌睡”这两个行为，咱们增长了趴着的场景。趴着的场景难度更大，缘由是虽然全身的骨骼关节点比较好检测，但针对半身，可能只看到头发或上半身的一小部分，这种人体关节点几乎是检测不到或者是不许的。为此咱们作了不少的尝试和研究，解决了这个问题。

姿态纠正

姿态纠正也分为两类：坐姿不良和距离太近。坐姿不良有不少维度，好比趴着、卧倒、倾斜，这些状况均可以检测出来。距离太近，有两套方案。第一套是基于2D人脸检测技术来作的，这个技术的精度可能比较有限，大概是到厘米级别。咱们跟其余的硬件厂商作的升级方案，能够精确到毫米级别的距离探测。

咱们的学生姿态实时检测系统的实现方案，整体分为两个维度：人脸姿态检测和人体姿态。人脸姿态包括打哈欠、瞌睡等，人体姿态检测加入了3D深度信息，这样能获取到深度信息，用深度信息来辅助作人体的立体姿态识别，能够大幅的提升精度。

二、量化检测方案

课堂专一度与课堂接受度是家长比较看重的两个维度，尤为是线下转线上以后。学生有没有走神，有没有认真听讲，上课的效果好很差，这些是家长很是关心的指标。

课堂专一度

普通专一度检测有几个维度，像举手、低头、瞌睡、玩手机，缺陷是仅有2D图像信息，检测准确率欠佳。另外是检测指标单一，无法精准回溯学情。

而咱们作的课堂专一度，包括了3D深度检测和学情回溯系统。能够看到咱们加入了人体Depth信息，基于这个信息能够比较精准的估计到人体的每一个姿态，而后再加入事件的触发机制，最后获得监测结果。包括事件状态的上报，时间戳，以及当前时间戳发生的事件截图等，便于课后对教学状况进行回溯分析。

课堂接受度

关于课堂接受度，到目前为止，尚未哪家公司真正把它作到产品里。咱们独创的课堂接受度，包含了正向和负向维度。正向的维度有举手、微笑、点头，表明课堂接受度是比较好的。负向的维度有疑惑、皱眉、摇头，这些表明课堂接受度较差。

针对疑惑这个表情的处理，咱们也下了不少功夫。从学术界来看，人类常见的表情只有7种，并不包括疑惑这个表情，也没有相关的数据。但这个表情对教学场景颇有意义，因此咱们在这方面作了大量的数据补充，增长了疑惑的数据和标注，最后经过迁移学习的方式，再结合人体关键点进行辅助识别，获得了最终的8类表情识别。

咱们的课质监测方案采用了典型的“边缘计算+云计算”结合的架构，如今边缘端算力已经愈来愈强了，不少算法能够直接拷在边缘设备端以及APP上。采用这种架构还出于隐私的考虑，你们担忧把学生端的摄像头打开以后，检测学生的行为可能会触犯我的隐私或者出现非法上传数据。所以咱们尽可能把端的能力发挥出来，上传的只是用AI算法检测以后的状态，而不是客户隐私的数据。

网课助手对老师而言，能够获得整个班级的课堂表现报告，是很是有价值的。对家长而言，能够生成本地的报告，获得学生在每一个维度的表现状况，并针对每个维度的时间戳进行回溯分析。

三、智能互动方案

AI沉浸式课件

传统的录播课为了得到较好的效果，可能须要用专业的录播间，后面搭建绿幕，还有补光灯等一系列的设备。这里有一个明显的缺点是对场地的要求太高，后期的制做成本也比较高。

而传统的直播课，能够看到课件跟老师的头像画面是分屏展现的，老师跟学生之间的互动颇有限，这对幼儿教育的体验是很是不友好的。

咱们的AI沉浸式课件，作了很是精准的人像分割，能够把课件放在人像后面展现，同时人跟课件之间能够进行互动，好比课件播放、暂停、上一页、下一页这些简单的操控，以及老师跟课件内容的互动。这个技术也能够用来作课件的生产工具，不须要录播间的场地和设备，自动完成课件制做。

网课互动

说到网课互动，咱们知道传统的线上互动都是老师单向输出为主，老师很难兼顾到每一个学生的状态。由于学生在屏幕当中只是很是小的头像，学生发生什么情况，老师是不知道的。

咱们研发了一系列智能互动工具，能够经过AI手段实现多向多元的互动。好比手势识别，若是这个学生回答问题以后，老师以为很棒，能够点一个赞触发点赞的特效。表情识别，若是系统检测到学生疑惑了，能够把他的头像Highlight出来，引发老师的注意；还有像人脸特效是比较常见的，如今有不少幼儿教育都会用它来增长互动的趣味性。

四、智能工具方案

咱们在这部分作了不少的投入跟创新，由于这些跟硬件结合比较紧密，也是咱们的强项。

拍照搜题

不少的学习APP里可能都有拍照搜题的功能，拍照以后用OCR技术识别。不少学生可能用教育平板拍照，但学生手比较小，教育平板又很大，按快门键的时候常常会手抖，而如今的教育平板和手机都没有光学防抖的加持，致使拍出来的效果不清晰。

咱们出了HD Shot解决方案，能够解决各类场景下失焦、抖动、噪点、暗光等一系列拍照模糊的问题。这个功能在科大讯飞的录音笔上已经上线了，如今的录音笔很智能，除了有录音功能，还能够拍会议的文档和PPT。

以下图所示，左边是处理前的效果，右边是处理以后的。这个功能能够提高动态范围，对高光进行抑制，对暗部进行提亮。

画质能力升级

视频画质提高的技术，对老师端或者主播端很是有价值。专业的主播，设备很是齐全，能够把手机架到补光灯上，让本身的脸更精致透亮。可是长期使用补光灯对眼睛的伤害仍是比较大的，因此咱们作了纯AI软件补光灯方案。一套是全局的补光方案，还有一套是专门针对人脸的补光方案。针对人脸的补光方案，会对人脸的肤色进行精准的识别，利用3D打光技术把人脸变得更加透亮。

人脸考勤

Face ID技术，在智慧校园也已经开始应用了，这个技术的核心难点在于误识率、拒识率指标以及活体检测。它能够用在线上跟线下的大班课程，好比考勤点名，防止别人代答到这种状况。

最后用金字塔结构总结一下咱们的业务架构，最底层是核心的基础技术，第二层是基于场景化的解决方案，须要深刻了解行业的特色以及场景化的需求，顶层则是咱们基于各个平台适配的SDK产品，咱们能够基于基础技术作不少业务层的封装和开发。

我一直相信科技改变将来，AI能够为在线教育行业起到降本增效的做用。AI教育，将来可期。谢谢你们！