AR在公共安全及应急指挥中的应用

点击观看大咖分享

抗击疫情，腾讯云在行动。AR（加强现实）技术正在成为新一代基础设施建设中的重要组成部分。营销、教育、娱乐、会展等行业已大量使用AR技术提高用户体验，得到更好的传播效果。制造业也正陆续采用AR技术应用于设备巡检、操做指导和远程协助等场景，提高效率、下降出错率。美军一直重视AR技术在军事上的应用。计算机视觉技术+移动互联网通信技术+人机交互，在公共安全领域也有着普遍的应用场景。

本次腾讯云大学大咖分享课程邀请 腾讯云最具价值专家TVP 韩磊 分享关于“AR在公共安全及应急指挥中的应用”课程的内容。

做者简介：韩磊 腾讯云最具价值专家（TVP）广州亮风台信息科技有限公司总经理。新媒体和社区运营专家，技术图书做、译者。 2001年创办CoDelphi.com网站。 2003年加入CSDN，历任网络总监、副总经理、总编辑等职。 2010年加入广东21世纪传媒集团，历任信息中心CTO、新媒体事业部总经理、新媒体中心CTO等职。 2017年起担任亮风台广州公司总经理。 拥有美国Borland公司“Delphi产品专家”称号。和刘韧合著有《网络媒体教程》，与戴飞合译有《Beginning C# Objects：对象到代码》，译有《梦断代码》、《C#编程风格》、《代码整洁之道》等。

本次分享内容：

一、AR的历史与概念
二、AR在工业、营销等领域的应用
三、AR在公共安全方面的应用
四、从事AR研发所需能力模型

1、AR的历史与概念

一、AR的概念

简单的看看什么是AR，加强现实。咱们来看一个视频（点击观看大咖分享）。这段视频来自蜘蛛侠衍生电影里的一幕。故事说年轻的蜘蛛侠带上了钢铁侠给他的衣服眼镜这个眼镜上头装载了一套叫伊迪丝的系统。该系统能够调用全球的属于这个大集团的军事力量来进行共析。这算是一部科幻片，但这一幕场景很正确的讲清楚了AR的概念。能够看到场景里蜘蛛侠带上眼镜后，能够透过眼镜看到人的身份，能够看到人们在通信网络里面的交流。甚至到后面的场景，能够调用无人机的攻击手段去做战。这看起来很科幻，但其实它真的是切实了AR本质的东西。

AR的本质原理和VR是不同，VR是彻底制造一个沉浸式的虚拟的世界，AR是在真实世界里叠加虚拟的数字化的内容。那么在AR的生成过程当中，首先有一个摄像机获取真实世界的视频画面，经过计算机的运算识别它，再作一些叠加的操做。最后经过渲染引擎从新呈现出来。实际上，在咱们眼前看到的AR这个很是科幻的画面，它是一个合成的视频画面。

整个流程里有输入、输出、计算三个环节，有不少可用的设备。

在输入的部分，能够用手机摄像头、AR眼镜摄像头、其余PC摄像头等，以及非视觉的采集工具，如红外摄像头、深度摄像头、超声波摄像头。

全部这些视频或非视频的视觉画面，获取后经过一些计算，主要包括两大部分：

第一部分是识别人脸、识别手势、识别人的动做，比方说一我的从A点到B站中间的轨迹，或者识别整个空间是怎样构成的。通过运算以后，能够说某种意义上，理解了要计算的对象，他的形象、动做、意图。

第二部分计算是在识别对象的画面上叠加什么样的数字信息，包括了渲染的环节在内。

渲染完成后是输出，是咱们能够用手机屏幕、眼镜屏幕、其余屏幕看获得的。在刚才的视频片断里，咱们能够明确的看到蜘蛛侠在钢铁侠的眼镜里看见了输出的画面。但在其余的场景里，能够用其余的设备，比方说用手机有摄像头，有计算能力，也有输出。咱们经常看到的一个超连接使用手机QQ的AR扫一扫，扫描某个图像能够添加视频出来或者叠加一个3D模型，微信如今也支持AR，能够用手机尝试。

看看下图眼镜形态，手机的形态，你们都很熟悉了，眼镜可能不见得每个朋友都亲自体验过。你们不用看具体指标，咱们就简单看一看指标的类型，最重要看，在左边有一个系统上面看到是安卓7.0，那么综合Cpu和综合他的系统以及包括其余的参数，能够那么说，AR眼镜几乎就是一台安卓手机。只不过它把输入输出这部分，作了一些分解。

那么你们在屏幕上看到的这框眼镜的，它是属于分体式的眼镜，AR眼镜有两个形态，一个是一体式的就是把Cpu内存电池全部的运算单元和其余的操做单元都集成在眼镜端，特色是比较酷，可是会比较重。另外一个是分体式，把电池cpu内存等硬盘单元放到一个手持端，经过一条线，和眼镜端链接。

那么经常有一些合做伙伴问咱们就说买大家眼镜或者说打算在眼镜上作开发要具有什么样的能力，给什么样的SDK或开发文档。咱们经常会告诉它其实在没有调用咱们特有的一些接口状况下，你若是想在AR眼镜上作开发，不少时候你只须要具有一个安卓手机开发的能力就能够。

综上所述，咱们认为的是加强现实，这个技术，是由计算机视觉和人机交互两个大的部分组成的。每每咱们在谈论加强现实的时候会过多的重视计算机视觉，而忽略了人机交互。没有人机交互，其实加强现实就不成立，为何呢。 由于咱们对现实的加强是要给人来用的，是为了提供人更多的能力，看得见更多东西的能力和作更多操做的能力而存在。

因此你判断一个加强现实产品到底好很差，除了说咱们在例如这个识别人脸上面，很强大的算法外。还要看它和人的交互有没有达到一个比较好的标准。

二、AR的历史

回顾加强现实的历史，来看看硬件方面。在1960年左右的世界上已经出现了第一台加强现实的设备叫sensorama。它是实验室的一个设备。它可让使用者透过屏幕看到一个立体几何的图形。

在1960年出现这个设备以后的几十年里，一直有不一样的一些设备出来，有不少人在不一样领域作尝试，比方在艺术、传媒、电视直播等作尝试。

但要到1992年，才有人真正把加强现实这个词带到世界上，这就是波音公司的工程师托马斯考戴尔，他和他的同事发表的一篇论文，就是讨论加强现实技术是如何应用在飞机的装备过程。

那为何会有这个话题呢，由于一台波音飞机或者民用客机的装备都是很是复杂的，有成千上万条线束要对接，对错一个飞机是要出问题的。无论是用纸质或者电子的说明书，进行装配操做的指引，每每仍是会致使错误。

托马斯就设想若是让工程师带上一个头戴式的眼镜，透过眼镜去看要装备的对象，跟着眼镜上头出现的指引，这让工程师是能够正确的装配飞机的线束，这就变得很是的高效率和准确。他把这样一种技术叫Augmented Reality就是加强现实，要到1992年这个词才真正的出现。

下图是你们比较熟悉的一个东西，2014年谷歌推出一款智能眼镜，或者说是一台智能眼镜的早期的形态。他是如今术语叫单幕的，也就是单个镜片，还有一个摄像头，它的整个机体主要的部分就是这两个东西，固然里头还有一个运算单元、电池。除了这两个东西以外，你们看到的墨镜部分，其实没有起太大的实质做用。

这样一个产品，在2015年就被谷歌放弃了。固然它涉及到的研究的不少技术用在了谷歌其余的一些产品上，到如今也有相似这种形态的产品，但主要不是面向消费者的，而是面向工业市场的。

当时，Google Glasses出来以后确实也在业界引发了一阵热潮。2015年，咱们亮风台也发布了一款眼镜，为何特别讲这件事儿呢，不是说亮风台有多么先进，是拿亮风台眼镜来作例子来讲明，其实中国在AR眼镜上没有落后于世界多大的距离，包括亮风台在内的一系列的国产厂商在大概一五年到如今，有在推出不一样的头戴式的AR设备，和国外的伙伴友商同样，大概是在一个水平线上，这一点仍是挺让咱们AR从业者自豪的。

反而咱们看到国外的一些厂商吹牛吹得太大，你们可能有所印象，曾经放过一个视频是可让人裸眼看到真实体育馆里一条鲸鱼从地面上飞起来，但最后证明视频是后期制做。如今业界技术并无达到那么高的一个水准。

在软件方面的发展状况。把AR软件，简单分红两部分，一个是应用，一个是SDK。

应用部分很少说，市面上有不少，你们可能最有印象的是一款游戏叫Pokemon go精灵宝可梦。面向消费者市场的这个应用软件，先抛开不说。接下来说SDK方面，也就是咱们开发者可以拿来作本身应用的一些软件。

最先的AR SDK是1999年一个日本人和他同事一块推出的叫ARToolKit。这一套套件目前仍然是有不少人在使用，它是开放源代码的。若是你们上网去搜的话能够下载到和使用它。这是一个划时代的产品，由于开发者不用从头去作一切事情，能够用一个套件集成到本身的应用就能够。让你的应用具有比方说识别二维图像的能力，并在上面去叠加数字内容的能力。

1999年有一个套件是以Inter为首的一个联盟作的OpenCV。CV是computer verion计算机视觉，OpenCV顾名思义，它是一个开放性的套间库。迄今为止，它已经成为某种意义上的业界的一个小的标准。不少开发者也在用它作本身的应用，也包括了不少研究者也在用它作一些科研方面工做。

2015年，咱们亮风台也发布了一个HIAR SDK，在网上咱们官网上能够下获得，若是你们有兴趣的话能够下载试一试。我就很少介绍了，这个和其余的一些SDK也没太大区别。

对业界来讲具备一个标志性意义的是2017年苹果发布Apple ARKit，和18年谷歌发布ARCore，这两个AR SDK为何说有一个大的意义呢，由于这两个套件的发布意味着巨头进入到这个市场。也就是说，这个市场开始从最先期的探索阶段，进入到一个市场化的阶段，一个规模市场的阶段，由于我认为这件事具备一个标志性的意义。

而的确，在18年以后，Facebook包括国内的不少平台厂商也进入到AR市场，整个市场的规模在扩大，但就整个从市场的发展趋势来说的话，目前AR市场仍是处于一个很是早期的阶段。

曾经有一个风口在16年吧，可是在1819年呢，又经历一个降低，是你们认为好像AR的实用性不是很强。这是很正常的，任何一个技术他都有从人们不了解到追捧，到后来在实实在在的去看待他，最后跟本身的行业去结合，而后找到他的实际的应用方式。这是有个过程。固然这个过程提及来一句话就讲完了，对于咱们的AR这个行业的厂商是很是不容易的。

亮风台从2012年开始创立这家公司，到如今为止，中间九死一辈子，若是你们有兴趣能够去看一看咱们的这个发展过程。中间的确有那么两三个关口，差点熬不过去，可是咱们在那时候用肯尼迪这句话来鼓励本身，这是在当年美国人第一次登月的时候，他发表的公开演讲，他说咱们选择在这个十年去登月，还有一些其余的事情，不是由于这些事简单，是由于他们很难。

我以为it的从业者或者说任何一个行业的从业者，要有这样的一个挑战的精神。人活着不就得吵架，为了折腾，尤为是咱们干软件行业干程序员的，不折腾，实在是太没意义了。

咱们再来看一段视频（点击观看大咖分享）刚才看了两个视频，一个科幻的一个现实的。

三、AR的核心价值是什么。

AR到底给咱们带来什么，是单纯好玩儿仍是真的有些价值呢，咱们认为AR的核心的价值，仍是要赋能于人，像刚才讲到的同样，AR是关注人机交互的，而咱们认为人和机器在将来的这个世界里头必定是共同进化。而不是说无人的一些先进设备，机器人能彻底替代人，咱们认为这是这是一个遥远的将来，也许永远不可能实现，人的创造性和机器或计算机的智能性结合起来，可以得到更大的一些能力。具体来讲就是让人看见本来看不见的，比方说深度学习，那深度信息人脸是模拟出来的，不是真正的是精确的信息，那么看懂原来看不懂的，对方说给某件事物一个说明贴在上面说明书数字化的，可以作一个原来作不到的东西。固然这句话讲起来的点抽象来往下去看一些行业的例子就能够理解。

2、AR在工业、营销等领域的应用

一、AR在工业上面的一些典型应用

工业这个概念很大，可是咱们能够聚焦在制造业吧，制造业会比较精确一点，那么在AR行业里头对这个问题有一些统一的认识，那么AR在制造业主要用在哪几个场景呢

第一个是操做指导。就像刚才咱们提到的波音公司使用AR眼镜帮助工程师作线束的，这个对接或者说作一些装配的工做，那么基于一些识别技术，而后让工人可以按图索骥得作维修操做或者装备的操做。

第二个是远程协做。在经过AR眼镜，一线的工程师和远端专家能够实时的沟通，得到一些指引。

第三个是设备的巡检，是当你在巡检某些设备或者产生的过程当中，经过物联网的传感器或者计算机视觉的检测结果。那么在AR眼镜上直接能够看获得某个机器，他是怎么坏法，他的哪一个地方可能出问题了，刚才那个视频里面可能有朋友会会比较留意一下，有一个下水道的那么几个镜头。那是咱们作的一个跟物联网结合的应用，就是城市的管理人员戴上眼镜在路上巡查的时候好像可以看到地面下管道的运行情况，比方水的情况，那么他怎么会看获得呢，好像能看获得同样的。就是由于咱们从物联网的传感器得到了不少的信息，经过AR眼镜上的一些技术可以呈现出来。就像给地面装上了一个X光机同样。

刚才讲了一些抽象的描述，来看看这个事情，这是使用者佩戴一个AR眼镜去看一台飞机发动机模型。在眼镜里头看到的画面，能够看到中间的飞机发动机是真实的是一个3D打印出来的模型。那么上面的飞机涡轮风扇发动机旁边有一些产品介绍等都是数字化的内容。我能够点击任何一个位置，能够看到比方说某一个配件的装配方法。这些都是经过数字化的手段叠加创造的。那么你们能够看到就是全部的这些视频内容、文字类东西、图片，它是相对于这个飞机发动机模型位置固定的，这说明什么呢，这说明咱们的AR眼镜已经识别到了该发动机以及在一个数字空间里头创建了坐标系，虚拟坐标系和现实的坐标系，可以融合到一块儿。那么就能够实现对实物进行标注。

一个具体应用的例子。在广州有一个厂商叫作施耐德是外资公司，施耐德的母线工厂。那么它每一年不断地为国内外的客户生产非标准的设备就是每一台的生产出来的产品都是这都是定制的。那由于每个产品都是定制的，那客户经常须要在远端，须要飞到这个生产的母线工厂过来看一看生产线有没有按照他的要求来进行生产。那这个过程是很是耗费时间和金钱的。施耐德使用的AR眼镜和远程协做的工具。那这边的工程师戴上眼镜。远端的客户，无论他在欧洲、美国也好，就可以看到工程师看到的画面也经过标注等等这样的一些手段让一线的工程师了解客户须要他作什么，比方说凑近看某一个零件的制造，或者对一些参数进行更改。那么这个方案实施后，这个客户就再也不须要飞到中国飞到广州来，这是一个远程协做的具体的应用。

那么可能有的朋友会问你这就是一个视频通话吗，跟AR有什么关系，还就你们回顾一下刚才看到的那个飞机发动机的视频。在工程师佩戴眼镜去看母线设备生产过程当中，一些辅助性的信息也会实时的标在视野当中帮助客户去理解，目前正在运行的生产过程。也帮助工程师去作装备的操做、巡检的操做。

二、AR在营销领域的一个应用

这个可能也是比较贴近你们生活的。

1. 包装识别。若是各位留意过一些市场营销案例的话，就能够看到比方说用某一个手机的应用， QQ、微信扫描商品包装。那么在扫描的界面上就会看到说叠加的一些视频动画。而后你能够领券，能够跳到一个网店连接，那么完成营销的闭环，这是最多见你们最多见最可以用的到的应用。
2. 使用说明书。就像刚才咱们用眼睛去观察一个飞机发动机同样，也有使用手机的应用去观察汽车的中控仪表盘或使用说明。我经常在外面跟人交流的时候就问了，现场有多少朋友开车的。第二个问题，在全部开车的朋友里头有多少人懂得怎么去换轮胎。每每答案都是颇有趣的，就是大多数的司机是不懂换轮胎或者没有换过轮胎的，那么当他须要换轮胎的时候怎么办，甚至不少人找不到千斤顶，应该放在什么位置。而若是你使用说明书AR说明书的一种应用的方法，用手机打开应用去看车身就能够在车上的某一个具体位置去标出来，告诉你应该在什么地方塞上千斤顶。那么我还有一个新生的体验，有一年我出去玩，在当地租了一个车，忽然就进了一个隧道，在高速公路上，而后我找不到那个车的大灯怎么开。其实可能有朋友会笑话，可是确实是，若是你没有开过足够多的车型的话，不一样厂商的不一样的车型，那个大灯的开关是不同的，在比方说有一些中控仪表上的图标，咱们也经常一头雾水，若是用这个AR的手段能够帮助使用者去了解汽车的使用方法。
3. 物联网体验。

第一个是所谓的扫描商品包装。 那么这个游戏玩法的就是用某一个移动的应用工具打开摄像头去扫描奥利奥饼干的包装或者扫描奥利奥饼干自己，那么就会在奥利奥上头去叠加一些这个小游戏玩完以后呢，能够获得一些奖品。

第二个就是刚才提到的汽车说明书，这个画面是手机的截屏，其实用手机去看汽车的仪表盘的时候咱们去看到近光灯已开启冷却液温度表 这两个是叠加的心理信息，而当地移动手机时，这个信息是相对固定在该在的位置那么就帮助人们更好地去使用汽车。

第三个原本是一个视频，可是我截了个图。在这个画面的稍微靠左一点是一台空调。那么你们能够看到在空调外头好像有一些淡蓝色的半透明的东西，这个是虚拟叠加在上头的表示空调的范围。那么在这个应用里面，们能够经过一个手机的应用，看到空调的风是怎么样流动的，固然风咱们能够感觉到，但日常人确定看不到，经过这个应用能够看到风的流动。同时咱们经过在空调上面装一个小的摄像头和一些芯片模组。那么就能够实现风不吹到人的身上，或者说你要求风必定要吹到人身上，当人移动的时候风避开你或者吹到你。这都是在营销上的这些应用。

3、AR在公共安全方面的应用

公共安全是一个大的话题，不光指公安局也包括了其余一些跟安全有关的行业。那么在公安这个部分的话常见的有几类的应用，

一、是跟识别有关的，就是人的识别和车牌的识别，对身份进行核查。那么这个基于对人脸的检测和识别，图像处理了文字识别等技术。那么采集到信息后，跟一些信息库中预置的数据来作比对分析反馈结果。这是你们应该都很熟悉的了，人脸识别，如今也被说的神乎其神。

二、指挥调度，方便指挥中心和前线人员能够实现一个基于数字地图和实景相结合的双向沟通，那么掌握现场的状况来部署做战方针。

三、跟无人机结合的应用。这个咱们尚未见到不少，可是亮风台如今作了很深刻的一些合做，把无人机和AR结合。那么将无人机录制回来的画面来作一些计算机视觉的处理也是用在指挥调度的方面。

应用的案例：

一、第一个应用就是在昆明机场，若是大家去到昆明长水机场能够留意一下。有的时候你会看到一些巡逻的民警佩戴了一个很酷的眼镜，那么他在机场范围以内巡逻。那么这套系统在公安那边叫云眼智识，它用来干什么的呢

• 有前线的警员配AR眼镜去获取现场的这我的员或者车牌的信息，那么同时调用云南数千万的人脸库来进行这个嫌疑人或者防控人员的具体的信息来指导公安现场作一些措施。
• 实时的画面能够回传到。指挥中心，指挥中心能够就一些突发事件作马上的指挥而再也不须要对讲机这样一个异步的手段。

这个系统上线后，在去年的四月份到七月份三个月的时间里头，这个数据是公安在内部总结的时候讲的，这三个月里就是经过AR去帮助公安人员抓到冒用伪造证件的200多人。有一些在逃的通缉人员，也抓到涉毒26我的、黑恶势力7人。在交通枢纽咱们经常看到一些卖假货或者拉客的人。这些人其实他们都是有在一个重点处置库里的。但不是说每个民警都认识这些人，那么咱们用AR眼镜也帮助民警去。处置了这个卖假表、假香水、乞讨的400多人次。一些非法的拉客人员有800多人也获得现场的合适的处置。

二、第二个应用是在广州天河公安的一个无人机的指挥调度系统。画面上的图呢，是咱们从这个现场应用上面截下来的，可是由于分辨率不是很够就是我放大以后分辨率下降了，可能看的不是很清楚，这是在广州天河区若是熟悉广州的朋友能够看到中间是中信广场。左边是另外的一些这个地标建筑。那么这个画面说明什么呢，当无人机飞在空中的时候，它的摄像头画面被实施的去作识别和处理，那么叠加了一些信息，比方说中信广场。若是你是对广州特别熟的人，要到很是熟的一个程度，你才有可能，当你的视角到了空中，你还可以看得出来什么地方是什么地方，就算特别熟的人也要通过一段时间的思考，可是若是是用计算机视觉的手段，无人机飞上去画面有出现中信广场，他就直接把中信广场标出来了，这是一条什么路，这是体育中心、林和西、林和东全都给你标得一清二楚，那么这个的好处呢，就是帮助后端的指挥人员，也包括飞鼠在内去马上知道无人机的位置和朝向以及下头的一些须要重点关注的目标物、目标建筑。

下图是无人机的第二个应用场景，你们能够看到在画面上有一些拱形的红褐色的标志。这是什么标志呢，这个是在指挥中心的指挥人员在无人机常规的画面上头去绘制路线，那么这路线就是指挥现场警员你要按这条路线去巡逻或者说按这条路线你可以更快地接近目标，现场的警员检验佩戴AR眼镜也能够看到无人机的画面以及画面上的指引。

下图你们看到有一些小的红的圆圈带一个小箭头，有两个是在画面的中间和稍微偏右一点。这是什么意思呢，就无人机在天上往下看的时候，指挥中心的领导能够知道警力部署是怎样的，下面的小红圈，其实就是那个警员所在的位置。这个的好处是说若是领导不在现场，你是很难知道每一个人的位置，可能经过对讲机告诉你，我在某个地方，可是你还得去跟地图作一个对应，可是有了无人机上一种自动识别的手段以后，随身佩戴VR眼镜或者其余的设备的警员，它的位置信息，能够和合适无人机的捕获画面很好的结合在一块儿，你马上就知道坐哪里有几个警员。实现更高效的调用警力去处置突发事件的目的。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-flljOkHs-1583487144855)(https://ask.qcloudimg.com/dra...]

下图是后台的这个指挥中的画面，看到中间和旁边都是无人机的画面，一个是比较大视野的另一个是特写画面。泰和湾区利用这个天地一体的无人机防控系统可以更好地进行警员的指挥调度处置突发事件以及包括对一些大型群众活动的现场的安全防控都起了很大的一个做用。

这套系统目前在其余的一些地方也有应用，公共安全的一个领域是比方说消防前阵咱们去和某地的这个公安消防系统的交流。他们就告诉咱们说刚刚这里发生过一场大的森林山火，要不少扑救人员过去作扑救的操做。但即使领导在现场你也很难知道哪个小队的人在哪个位置，并且你也不容易实时的了解到整个山火的范围是怎样的。以往的作法会派一个直升机或者无人机，而后把画面传过来，你们再去辨别这是哪儿，而后范围多大，个人人都是哪些，他们在什么位置。而上了这一套无人机的系统以后，由于每个扑救人的位置，咱们都是肯定知道的看获得的。能够帮助指挥员作更好的调度指挥第一个是高效扑灭，第二个可以帮助指挥员指挥现场人员避开危险。

三、还有一个是更加有趣了，这个偏民用，可是实际上让咱们也把它归到一个公共安全的一个领域。咱们你们都坐过飞机，但可能不太留意获得，咱们的行李是怎么装上去怎么卸下来的，可是我相信你们必定遇到过就是行旅被野蛮装卸摔坏了的状况，还有在某一些机场也经常发生旅客的行李被偷窃的状况，他不是说整个包拎走，而是从包里偷走了一个小的东西。这个投诉率特别高。那么在贵阳机场呢，他们就颇有探索意识，就和咱们商量能不能用一套系统来避免这些问题 那咱们就给他装备了一套叫作透明装卸的监管系统。

这个系统就是机场搬运工在工做的时候，就会用一个头戴式的摄像头，你们能够在画面上看到这个朋友他的这个耳朵上有一个设备，这是一个头戴式的具有通讯能力的摄像头。会把搬运工的操做全程以第一人称的视角记录下来，实时的回传到后端指挥中心。那么当每一个人的操做都被记录的时候就没有人敢乱来了很简单的一个小应用。可是确实也给当地的机场带了很大的帮助，那么它和AR的关系是什么呢，一样咱们使用的AR远程通信技术，那么在现场除了佩戴摄像头的搬运工，还有佩戴AR眼镜的监装监卸人员也是航空公司的人，那他也能够实时的接收后台的指引，告诉他某一些货物应该让现场怎么装，怎么卸，那么有效的减小的暴力做业、行李丢失的状况。

应急管理中的AR应用

可能你们平时接触很少，但其实是咱们保障社会硬性的一个很重要的一个部门体系。应急管理分做两个场景一个是平时，第二个就是战时，不是战争的战，是应急管理方不少突发事件的处置对他们来讲是一场战斗。

一、在平时不少的时候也是防区的巡查、安全监管、安全培训，比方说消防，咱们在公司都有消防设备隔一段时间会有消防系统或者应急系统的人来作检查，那个消防栓在不在安全门有没有堵住，这都是巡查，这个过程中，若是使用AR眼镜或者说头戴式的一些设备，再加上随身的手机。那么就能够帮助巡查人员自动的识别检查，监管的场景，那么在作安全培训的时候也能够经过咱们刚才讲的远程协做系统，帮助这个受限人员去理解一件事应该怎么作什么操做应该作。

二、在发生突发事件的时，也说战时，也像刚才同样就能够把指挥调度系统用在应急管理的场景里面去，像消防就是应急管理。再比方说如今咱们的肺炎疫情，这是一个应急管理里头很重要的场景就是当发生突发的重大公共安全卫生事件的时候。社区、卫生系统、公安系统的人全都到每个地方去，你怎么知道每个终端是怎么样工做的呢。咱们看到在一些事件里也有工做人员或管理人员由于处置不力，甚至说你根本就没有在那个岗位就上报在这个岗位，致使了不少悲剧，而这些管理人员的也受处处罚。那若是咱们把指挥调度这样的AR应用给他们装备上后就不会有人在偷懒，整个过程可以获得一个取证，那么在后端的指挥人也能看到每个末端发生的事情来辅助他们进行决策。

应急管理尤为是在疫情发生的状况下，AR还有一个特别AR的应用就是和你们熟悉的计算机视觉有关的，就是AR眼镜测温。测温这件事我相信如今每一个人都很熟悉了，你到一个出入口就会有人拿一个测温枪，对着你的头去测一下，可是用测温枪是一个很危险的，为何呢，由于检测人员和受测人员离得太近了。这个自己有感染的风险，可是若是带上AR眼镜和一个红外的模块装上以后呢，那么离这个受测人员三米开外你又一眼就看得出来谁的额头的温度大概达到一个什么样这危险程度是否是超出容许的范围。

固然若是熟悉测温技术的伙伴会说这个东西到底精不精确呢，能够这么说，在相对固定环境下相对固定的位置下，通过调教以后仍是可以达到一个正负0.3度的范畴。相对于近距离测温的风险来说，这个偏差度仍是能够接受的，或者说能够起码帮助管理人员或者检测人员，作一个初步的筛查。这个咱们和医生也作过一些咨询，这是一个目前简单的AR的应急管理的应用吧，

除了测温以外，在园区管控也会用到，比方说咱们如今公司如今所在园区，就会对出入口进行测温管控，基本上不容许外面的人进去，可是园区都有成千上万人，那么巡逻人员怎么知道谁是园区的人呢，固然也是经过AR眼镜在巡逻过程当中就能够对人脸作识别。

4、从事AR研发所需能力模型

咱们来看一看，若是你想从事AR行业那做为一个软件技术人员，你须要具有哪些能力呢。

首先咱们要了解AR这个技术。它是由哪些部分的构成的，有哪些层面，固然最下面的IaaS的平台，包括这个在网上面点通讯基础平台可能。大多数AR的从业人员不会太接触到，基本上咱们也是用运营商或平台厂商的一些基础设施，我们须要往上面看通信数据包括引擎和应用。也就是从DaaS到PaaS的层面都是须要各个方面的软件技术人员来参与的。我们先不说硬件的问题硬件它又是相对专业的一个行了，须要这个结构工程师、工业设计。包括不少的其余的一些行当，咱们先不说，单说软件。

（1） 算法

若是你是一个有对算法有兴趣，或者自己专业是作算法的，那么大概你就能知道下图中这一行的什么意思。不是专业作算法的这个朋友，我以为也能够去了解一下，起码知道说计算机是怎么去对物体进行检测和识别的，经常在AR里用到的算法，固然没有彻底列出来，常见的像人脸识别肢体的识别、运动跟踪、目标的检测、语义识别、交互理解、图形渲染、空间标志等，这是个跟算法有关的。我相信今天几百个在座的朋友里真正作算法的，不会是多数就包括在咱们公司最将近200我的里头也不过是十来号人是专门作算法的，更多的是作应用开发的伙伴。

（2）移动端开发

若是你想作AR的移动端开发的，基础就是有安卓和ios的开发基本上就够了。在这基础上，由于AR是有关于在真实世界的场景上头叠加虚拟内容的一个技术，而这个虚拟内容实现一个虚实结合的人机体验。那么经常咱们会用到3D模型，最多见的业界最普遍使用的3D的套件就是Unity，各个厂商都有服务Unity的SDK， SDK整合Unity就能够方便地进行3D应用的API开发。再深刻一点，你就得须要对这个开发工具进行改进，比方说，咱们用Unreal或者用其余的一些这个有源代码的工具的时候你就会改进他的一些渲染的能力，或者说让它的渲染引擎更加小，一个套件的渲染部分3D渲染部分不算原来有几十兆，若是你有对源代码进行改造的能力的话，有可能把它缩成几兆大装到大脚装在移动应用里头就会是很是大的一个差距。

（3）Web AR

如今很新的一个东西是Web AR，就是基于网页的AR，那么在微信新的版本里也开始支持了。固然，微信没有提供这个关于识别和渲染的这方面的完整SDK，仍是须要调用第三方的AR能力，具体来讲是AR的云的能力他把一个经过微信的小程序里面获取到摄像机的画面以后呢，上传到云端，从云端获得一个识别结果再叠加你须要的效果。你要从事Web AR的话，脚本语言确定是要知道的了，还有关于通讯一些知识等，学习也是须要的。总的来讲，在应用端作AR开发不是一件特别高精尖的技术。但里头有不少的小的坑，只有在长期的开发过程当中也才能够发现，在固然这种状况的和任何一个其余的技术也都同样了，你开发东西都是会遇到这样的状况。

(4)云平台与网络通信。

由于如今AR的识别能力，有的在客户端作，有的是在云端作，就会出现一个云端应用的开发能力的问题，那若是你要想从事这方面的工做的话，固然你要作一些具有企业级云端应用开发能力的准备工做。所谓企业级指的还不是QQ这样的一个面向数亿人的在线使用这样一种企业，而是指的面向企业的2B的应用的企业级，比方说同时有数万的访问就已经不少手机已经够用了，第二个是企业级的通信软件的开发能力，这个要求会比较高，由于它涉及到一些基础的通信的技术，这个就不展开讲了。

​

5、Q&A

Q：我常常要给一些数据中心作BCM方案，里面会有巡查环节，是否能在巡查和事件初步评估和紧急应急措施的时候用一些AR技术？老师有什么建议？

A：这个就是很是典型的一个技术应用的场景，那刚才讲过在在这个工业的场景里头。设备的巡检会是特别重要的一种使用的方法，那么在这个过程里面，咱们每每会用。有可能用三种手段来作。

第一种手段的用AR眼镜就是佩戴眼镜进行巡查，而后你眼镜当中出现的机器的运行的情况，可能经过这个视觉识别的方法，或者经过物联网传感器的方法来得到它运行的情况。那么在眼镜的视野里作一个标注告诉你。比方说这个设备的温度是多少，他是否是运行有问题了等等，这个是AR眼镜。

第二个你还能够用手机来作，刚才有朋友说AR眼镜是很贵，对，不少时候，我手机都是每一个人都有的，这个眼镜能作到的手机也能作到，只是没有那么科幻而已，可是他的实用性能更强。

第三个，是用PC的摄像头加屏幕再加一个电脑也能够作。很像咱们曾经给一个变电站作过的东西就变电站里头有不少叫作压板开关柜就不少的开关。那么这个开关柜里头呢，一个开关柜有数十个开关，一个机房有上百个开关柜。每个开关柜都要在正确的位置上。这就是一个典型的巡查的场景。那么以往的他须要人去逐个开关，看是否是在正确的位置上。那么咱们给他们开发了一个小推车，说白了就是摄像头加电脑在家屏幕是一体式的。那么小推车顺着走廊推过去摄像头看到全部的压板开关柜以后就能够经过计算机识别告诉你哪个开关是错误的，放在错误的位置，这个就是典型的应用。另一个跟这个技术就是远程协助就是你在巡检的过程当中一线的人员不必定具有很高级的技术的能力是吧，那么这个时候呢，可能须要远程专家或者厂商的专家的知识，及时经过一个通信的实时通信的能力，让专家看到你看到的画面以及在画面上作标注帮助你去解决线下的问题。

---

【本周直播日历】

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-guLuH4x5-1583487144875)(https://ask.qcloudimg.com/dra...]

问卷

为了给广大开发者提供最实用、最热门前沿、最干货的视频教程，请让咱们听到你的须要，感谢您的时间！点击填写 问卷

添加学习君TcloudM加入交流群

腾讯云大学是腾讯云旗下面向云生态用户的一站式学习成长平台。腾讯云大学大咖分享每周邀请内部技术大咖，为你提供免费、专业、行业最新技术动态分享。