AI视觉在教育场景中的创新应用

文 / 张焰

整理 / LiveVideoStack

1 公司介绍

你们好，首先介绍一下咱们的公司，咱们属于360集团内部孵化的创新业务线，专一于AI视觉算法的研发和应用。咱们围绕着人、物、场景三个方向为智能手机、泛文娱、IOT领域提供一些专业的算法支持和行业解决方案。

咱们的核心能力包括智能多摄、单帧/多帧画质，这类算法在手机客户中应用较多；人像美化，包括AR特效等会运用到泛文娱的领域；场景识别涉及人、物、环境等多样化的场景识别能力，另外包括一些视频分析的能力，在IOT领域也有普遍应用。

本次个人分享主题是360AI视觉在在线教育中的创新算法和应用。

2 咱们为何在作教育

固然不少人会说，家长愿意为孩子花钱，作教育更容易挣到钱。但更重要的是由于疫情的爆发，使得在线教育获得了史无前例的发展机遇。在一两个月内，政府部门就将线下的教学场景搬到了线上，完成了大迁移，但在这个大跃进中也暴露了不少问题。

2.1 在线教育行业痛点

在线教育仍有不少痛点亟待解决。

第一点是学生自觉性差。K12教育是典型的督导式教学，之前的督导压力都在老师身上，面对面在线下督导学生，而如今督导的压力都转移给了家长，家长确实是操碎了心。

第二点是教学效果难以评估。意思就是这个学生有没有认真听，有没有听懂，是没有量化指标的。

第三点是课堂互动性差。由于技术的不完善及各类主客观限制，线上课堂很难完整地模拟线下课堂场景，缺少双向互动的环境。

第四点是教学效率低。包括从教师端到学生端的适应和学习成本，还有空间限制带来的管教效率。

以上四个问题总结而言就是缺乏了教育质量监督评价体系，而咱们要作的事情就是弥补和改善这个体系的缺失。

3 将来的思考AI视觉能为在线作什么？

咱们针对以上问题提出了对应的解决方案，分别是：代替督学方案、量化监测方案、智能互动方案、智能教辅工具。

3.1 代替督学方案

3.1.1 疲劳提醒

也许有些人在以前已经听过或用过这项技术，现现在的检测准确率较早前已经有很大改进。咱们的疲劳提醒有三个维度，包括“打哈欠”、“瞌睡”和“趴着”，“打哈欠”和“瞌睡”这两个维度在汽车驾驶中早有应用，针对教育场景咱们单独研发了“趴着”的监测。“趴着”这个维度如何检测准确是比较有难度的，有些人可能会想到能够用人体骨骼关键点，这个方法针对全身仍是比较准的，但针对半身，尤为是趴着时只有一个头甚至是头发的时候，骨骼关键点没法起做用了，这里就须要用到更复杂的检测手段和技术。

3.1.2 姿态纠正

姿态纠正这个功能你们可能在教育平板或教育台灯中体验过，用得也比较普遍。坐姿不良须要用到人的骨骼关节点和深度学习的技术，它有不少类别，包括上述提到过的趴着、卧倒、倾斜甚至是葛优躺，均可以认为是姿态不正。距离提醒这一块主要是用于护眼健康，能够实时检测到人脸到屏幕的距离。

3.1.3 学生姿态实时监测系统

这个姿态监测系统分为两个方面：人脸姿态、人体姿态。人体姿态在上面提到过，咱们是基于人体骨骼关键点配合深度图像，从而精准地判断出各种人体姿态。这项技术之前都是2D图像信息，而咱们创造性加入了3D深度信息，来辅助人体姿态识别。深度图像同时还能够用来测距。那这个深度图像从哪里来呢？这就要和硬件相结合，像如今不少教育平板都加入了双摄，前置结构光，前置TOF。

3.2 量化检测

课堂专一度、课堂接受度是家长很是关注的。课堂专一度表示学生是否定真在听，课堂接受度表示学生是否听懂。以前咱们的客户曾提过这个问题，家长没有课堂表现报告，不知道学生上课状态及学习效果到底怎么样。因此为了解决这个痛点，咱们提出了课堂效果量化检测的方案。

3.2.1 普通专一度检测

你们能够看一下这是以往的普通专一度检测图示，这里只有一个2D图像信息，检测准确度存在较大偏差；其次它的监测指标单一，只有一些零散的指标次数，没法精确地回溯学情。

3.2.2 360AI课堂专一度

上图是咱们3D深度检测+学情回溯追踪的专一度监测解决方案。能够看到咱们加入了3D的人脸检测信息，能够更精准地估计出姿态和视线方向。同时辅助事件触发机制，判断状态的同时会保存当前事件的触发时刻、事件截图、状态持续时长等，这样能够很是精确地有针对性地进行学情分析和回溯。

3.2.3 课堂接受度

课堂接受度是从上图五个维度进行综合分析，这里的维度能够分为两个方向，包括正向指标和负向指标。从课堂接受度而言，正向的评价有举手、微笑、点头，表明学生参与度比较高，表示他（她）听懂了。负向的评价是疑惑、摇头，这说明接受度不过高。

3.2.4 表情识别流程图

刚刚说到了疑惑的表情，老师的责任就是传道受业解惑，若是老师都不知道学生有没有疑惑，他（她）怎么去解惑？因此首先咱们要把疑惑检测出来，在学术界，只有七类表情，没有疑惑，因此咱们专门为教育增长了疑惑的表情。咱们加入了大量疑惑的数据，经过结合人脸识别技术和人脸关键点技术辅助检测，能够比较精准的判断出疑惑的表情。

3.3 智能互动（AI沉浸式课件、多向智能互动）

咱们的智能互动方案主要介绍两个技术，分别是AI沉浸式课件和多向智能互动技术。

3.3.1 传统课件

上图是传统课件的录播和直播课场景，录播课通常都会像上图左边所示搭一个录播室，后面有绿幕，有补光灯。这对环境条件要求很高，要有场地，要有设备，很不方便。上图右边是比较常见直播课界面，只有一个老师的头像和投放的课件，这两个东西是分屏展现的，也就是说老师和课件之间没有任何互动。

3.3.2 AI沉浸式课件

上图是咱们研发的AI沉浸式课件，把老师的头像与课件内容融合在一块儿，能够经过手势控制课件的播放，好比说下一页、上一页、暂停等，有很直观的互动效果。老师和课件彻底融合在一块儿，不受场地限制，不须要专用设备，只须要一个摄像头就能够了。

3.3.3 网课互动限制

上图是如今比较主流的网络教学直播界面，主要是以老师单向输出为主，学生被动接受，学生和老师之间仅能经过文字互动。

3.3.4 多向智能互动

咱们但愿经过一些技术手段，改变这种单一的互动模式，让网课更生动、更有趣。

手势识别

像咱们动画里展现的是老师点赞的特效，学生端能够实时收到显眼的反馈。那学生举手老师知不知道呢？这也是能够识别的，好比说学生举手后快速把头像换成第一位，把头像放大，老师能够快速知道是哪一个学生举手了，这项功能能够模拟复现线下教学场景。

表情识别

再好比表情识别，检测到学生出现疑惑情绪，系统就会把她highlight出来，老师就知道哪一个学生没有听懂。这是很是有价值的，如今在线教育并无作到这一点。

人脸特效

还有一些增长趣味性的人脸特效，一些可爱的动效能够抓住低领学生的注意力和兴趣点。

3.4 智能工具（超清拍题，智能补光，人脸考勤）

超清拍题与智能补光是咱们首发的技术。

3.4.1 超清拍题——拍照模糊问题

在线教育除了直播授课，还有课后做业场景，学生会遇到拍课件、拍题的问题。大部分学生的手都很小，若是用学习平板很容易拿不稳，拍题就拍虚了。固然也有人会说，我能够用光学防抖，但你们都知道光学防抖的每个器件要增长3-4美金成本。只有买的是真正的旗舰手机，才会有光学防抖。因此咱们提出了纯软的光学防抖方案，一次性解决上图所示各类拍照模糊问题，好比失焦，曝光拖影，抖动，噪点，暗光等。

3.4.2 超清拍照——一个方案解决全部拍摄模糊问题

这个方案是我第一次公开讲，有些手机客户已经接入了咱们的方案。流程也很简单，输入有两种方式，传感器输入和三帧图像，再进行传感器融合，位置估计，运动向量估计，根据位置信息进行防抖去模糊处理。输入的三帧照片进行对齐，降噪等一系列处理，最后进行动态范围提高和图像加强。图像加强包括对比度加强锐化，总体是一个比较复杂的流程，这里咱们简化给你们展现。

3.4.3 客户案例——录音笔HD Shot

这是咱们的一个客户案例，咱们的超清拍照技术已经应用在讯飞智能录音笔上，能够用来提高拍会议文档的图像质量，再也不担忧拍照拍虚的问题。

3.4.4 HD Shot效果展现

咱们来看一下具体的效果对比。

这是加强效果。

这是防抖效果。

这是HDR效果，主要是提高动态范围，实现高光抑制和暗部提亮。

咱们的画质提高能力不只体如今拍照上，还能应用于视频。

3.4.5 智能补光灯

一般专业的主播间中都有一个很大的补光灯，长期近距离直视或多或少会对眼睛产生伤害，因而咱们提出了纯软的补光方案。上图所示是全局补光效果，咱们还有一个只针对人脸补光的方案，基于肤色分割和3D打光技术，提高人脸质感和通透度。

3.4.6 人脸考勤

人脸考勤对线上和线下课堂都很是有价值，能够快速进行学生考勤，同时可防止代答到的状况发生。

4 客户案例——网课助手

看完前面的技术介绍，接下来介绍一下咱们针对在线教育研发的一个课质监测产品，叫网课助手。网课助手有4大场景SDK，包含专一度，课堂接受度，疲劳提醒，姿态纠正。这个SDK既能够发给老师又能够发给家长，在后台自动生成检测报告，家长和老师能够更全面直观地看到学生的学习状况和情绪状态。

4.1 方案架构

网课助手的架构是典型边缘计算+云计算的架构，家长端只须要本地端的能力，本地端的设备愈来愈强，你们用的平板手机能力很强，这些检测能力彻底能够在端上实现，后台更多的是和教育系统打通，把状态及时推送给家长和老师。

4.2 应用场景

有了检测数据以后，老师能够快速获得整个班级表现情况，上图左边表明每一个维度上每一个学生表现占比，分别展现表现好、中、差。上图右边能够将表现很是好和很是差的学生排列出来，作相应的奖励或辅导。

对于单个学生，咱们也能够给出更详细的分析报告。好比想看疲劳度，会以时间轴的形式进行展开，发如今10点21分检测到学生瞌睡，瞌睡持续时长一目了然。

想看看学生接受度如何，也能够根据时间戳回溯事件，看学生在哪部份内容上接受度较好，哪部分较差。

5

总 结

咱们一整套的在线教育解决方案是金字塔架构，底层是AI底层技术，包括人脸识别、表情识别、手势识别、姿态识别等技术；中层是基于各个场景的解决方案；最上层就是跨平台的SDK和业务端的应用。好的AI技术咱们但愿不仅是噱头，而是能够真正为客户起到降本增效的做用。

专一度与课堂接受度是为了给家长省心，老师放心，时间精力也算是一种成本；沉浸式课件课件减小投影仪，电视的使用；防抖技术能够省去光学防抖器件成本，省掉智能补光灯的成本，这都是AI实实在在的价值。

360AI视觉不止作教育，在智能手机、泛娱乐、IOT等领域都有丰富的技术应用，期待和各行各业的朋友有更多交流合做。