加强现实系统故事性功能解说算法
做者:李欢 工号:2288 电话:18938902295 邮箱:lihuan@gosuncn.com数据库
前言:工具
本文仅适用于2014北京安防展,加强现实展区人员学习使用。本文中有大量的故事及案例,读者可以自行学习并选取使用。post
关于文章内有大量的身体动做指引,不用全然听从。学习
目的仅是需要经过身体动做吸引听众的注意力。可自由发挥。假设你学习完这些故过后感受加强现实系统很是强大,让你很是有自信。做为做者,告诉你。如下的文字全是真实的。大数据
什么是加强现实编码
(手舞足蹈)你必定看过很是多科幻电影吗吧?眼睛所示一切画面。都有实时的信息数据在画面里面显示。spa
比方这我的脸的身份信息。车辆的信息,建筑物的信息等。让你的眼睛在看到画面的同一时候获取到不少其它的数据。这就是加强现实。设计
对了。你必定据说过GOOGLEGLASS谷歌眼睛吧,戴上以后(作佩戴的动做),能看到画面里面的各类商户的打折信息。事实上它就是一种加强现实的应用。orm
固然,咱们尚未实现科幻片里面那么NB的功能。但是我相信接下来你了解到的一切已经足够让你惊艳了。(气势满满)
物体身份信息显示
画面中车辆行进方向
(指向画面)若是这是一条公路,上面有车在跑。做为看视频图像的人员,你根本不知道这条路哪边是东哪边是西。也就是说你根本不知道这辆车是往什么方向去。除非你是对当地环境很熟悉的片警,而且一看画面就知道方向。但是绝大部分观看的人员都不知道。这是一个大问题。
画面中行人行进方向
再举个样例。(指向画面)这里有一排楼。有很是多饭馆。
假设有一个嫌疑人跑进了当中某一栋楼,看图像的民警能当即知道是哪一栋楼吗?根本不可能。
假设搞清楚了再去部署抓捕的话。会浪费大量的时间。
我现在告诉你,现在我摄像机的画面里面就有所有物体的信息。
比方这栋楼叫什么名字,这家店叫什么名字,这条路叫什么名字是什么方向。
(打开加强现实开关)这就是加强现实。
现在你是否是会认为看视频的时候能看到不少其它的信息了?民警办案的效率是否是愈来愈高了呢?
在工厂中的应用
这套系统除了在平安城市里面应用,在各行各业中都可以获得很是好的应用。举个样例,富士康的生产线很是的忙碌。工人上厕所的时间都精确到秒钟。咱们先不管他是否是血汗工厂,咱们来设想一下应用。生产线很是长(用手比划一下),上面站了很是多的工人。现在我用一台加强现实摄像机看着这条线。并且在每一个工位上都标上名字。
监工们,光看着画面就知道谁在岗谁不在岗了。
你说对吧。
在商场中的应用
咱们再来说讲室内,比方商场。通常在过道里面都装着半球是吧(做一个手托举安装半球的动做)?那么过道的两边都会有很是多的商户。现在有一个小偷,偷了钱包,向前跑去而后右转进一家商铺了(手势向前向右转)。这个时候你知道他跑进哪家店了吗?确定不知道。因为眼下的摄像机画面是2D的,是没有深度感的。
但是假设咱们的画面里面清晰的标明了,这是GUCCI,这是PRADA,这是CHANEL。
你确定当即就能推断出小偷跑进哪里去了。
在工业中的应用
除了上述这些应用。加强现实系统在各行各业中都有出色的表现。
比方说视频画面里面直接就显示出各类仪表读数,第一时间可以发现问题。今天要我全讲给你听,可能讲一天都讲不完。你本身就可以设想出很是多应用了。
故事才刚開始
现在你大概了解了加强现实系统的样子了。但是你可千万别以为加强现实系统就是打一堆标签这个样子了。
现在你了解的东西,是刚刚才開始(微笑)。
信息可选择性开启
传统OSD影响画面
关于画面上这么多的信息数据,你是否会以为它们挡住了画面?这个就是跟传统的字符叠加全然不一样的地方了(手指指向画面里面OSD叠加的时间和摄像机名)。你看这个时间字符,是内嵌在画面里面的。
它后面的人,就会被挡住。假设是关键嫌疑人,那也没办法了。看不清。
现在你别看个人加强系统画面上有这么多的数据信息,挡着了很多地方。不要紧。我一个button,就全关掉了。再点一下,就显示出来了!这个数据不是内嵌在视频里面的。而是在视频上面一层。
可依据兴趣显示内容
固然。不只仅是可以全部关闭和开启。还可以依据你我的的工做需要。选择性的开启某些信息。或许你仅仅想看楼房的名字,或许你仅仅想看经纬度,或许你仅仅想看仪表数据。
这些选择性全部都会保存在你的用户配置文件里的。
物体具体信息显示
寻找目睹证人
刚才讲了那么多,仅仅是很是easy的标签名称显示。咱们举个样例,(手指指向画面中的某一处)这里发生了一块儿抢劫案。
你做为办案民警,你但愿能找到目睹证人。对吧?你怎么找呢?看着这个路口的画面,周围都是来来每每的人。根本没办法找到一个在场人员的联系方式。
只是你发现没有,在案发地旁边有一个楼房,顶着一个“工商银行”的标签(展出时多是某一厂商的名字)。这个标签前面有一个“文档”形状的小图标。表示这个标签是有内容的。
咱们点击这个标签看看(用手去点击标签)。看到没有?这个标签如下还有这么多的丰富内容。
有具体地址,有图片,有企业联系人。有安保联系人,还有责任派出因此及片区民警的联络电话等。
这个时候,你点击一下这个电话。就直接拨打出去了。这下就可以了解在案发时,有没有目睹证人了。
商场打折信息
若是这台摄像机是安装在风景区,除了显示漂亮的风景画面之外。还可以看到各类风景的数据,比方历史故事、温湿度、海拔,甚至里面还一些各个商场的商品打折促销数据等等。仅仅有想不到没有作不到。
信息随球机转动精肯定位
实时随动
咱们可以想到,在固定的枪机里面实现这些标签很的easy。
球机行不行呢?固然可以。但是实现难度很的高。每个标签都拥有一个真实世界里面的3D时空坐标。仅仅有当你画面看见的地方,标签才会显示。而且在你转动球机的时候,标签会跟着转动(现场转动球机)。
精肯定位
为何刚才说到球机的技术难度较高呢?你想一想看,假设我每转动一圈。个人标签就会偏一点,那我转动个几十圈以后。标签都不知道偏到哪里去了,可能已经指到别的楼房上面去了(手指到别的区域)。
原本就有很是多不精确的因素,但是咱们经过一些专利算法(手指到旁边的宣传画板),将精度偏差控制在1度下面。也就是说,不管你怎么转动。标签最多误差1度的位置。
信息随球机拉远拉近分层显示
电子地图的分层显示
假设这个球机的视野里面有100个标签,全部堆在画面上,你根本就看不了。
对吧?除了选择性开启标签之外,另外一个办法。这个就是现在要说的问题。
刚才说了球机的转动,那球机另外一个拉远拉近的问题。
还记得咱们平时用的电子地图吗?你先看到的是中国,而后放大。广东省出来了,而后再放大。又能看到广州、深圳了,再放大可以看到福田区、南山区了。咱们将这个分层显示的技术用到了咱们的加强现实球机里面。
当你拉近时。上一级标签就消失了。你能看到当前画面里面的标签。
是否是很是酷?
有人跳楼
我举一个样例。你的球机正看着一条街,旁边有4栋楼,各自是打着ABCD四个标签。
现在你将画面拉近看A号楼。ABCD四个标签不见了,现在你看到的就是一堆窗户。
每一个窗户上面挂着一个门牌号的标签。
若是某一个窗户发生了案件。比方说有我的跳了下去。本来的视频画面中。你根本不可能知道那个窗户是几栋几楼几号。你必须要到现场去排查才干了解。现在方便了,你一看到那个窗户。就知道是A栋502室。
这样极大的提高了民警的办案效率,你说是吧?
城市远处着火
再说了。假设我这是一个高点监控。忽然发现画面里面的远处有一栋楼着火了。
在传统视频监控领域里面,全然没有办法知道是哪栋楼着火了。现在简单了,把镜头拉过去一看,那栋楼上顶着一个标签“XX大厦”。当即通知火警。
标签可触发响应
标签居中
没想到这个小小的标签能作这么多事吧?刚才我给你演示了一个功能,就是标签可以点击。展开看到里面的具体信息。包含地址啊,联系人啊,联系电话啊什么的。事实上这表示了一个概念。就是这个标签可以响应点击。点击以后就可以设计出很是多有意思的功能了。
比方说,你认为你对画面右上角的那栋楼很是感兴趣。你假设要控制云台转动过去,很是麻烦,很差操做。也不许确。
现在我提供一个简易的方法。你用鼠标点那个标签。如下有个图钉,你再点一下那个图钉(真实去点击演示)。啪的一下,那栋楼就直接转动出现在了画面的中心。
画中画
再给你讲一个更有意思的应用。若是这里发生案件了(用手指着画面内某处),你发现这个摄像机的视角看不全面,但愿知道还有没有别的摄像机能从另外的角度看过来。这时你发现。就在画面里面的一个角度上。另外一个监控摄像机。
这时你有两种方法可以看到它的图像。第一种就是到平台软件上面的摄像机列表里面去查找。而后点开播放。另一种就是到电子地图上面去找到这个摄像机,而后播放画面。
你不认为很是麻烦很是复杂吗?
现在你不用这么麻烦了,看到这个标签没(指向画面里那台摄像机上面的标签)?你点它标签。而后再点击这个播放button。目标摄像机的画面就出现了。这是画中画的模式哦!
现在为此。我给你讲的应用都是摄像机自带的功能哦,全然不需要平台的參与。(手指向画中画)现在你不再用到平台界面上去找这个摄像机了,直接就能看到它的图像。很是有意思吧?
你还可以双击它(双击画中画),可以直接进入其全屏播放的画面。
固然。右上角有个关闭button。点击它回到本来摄像机界面。
这种话。极大的方便了办案民警。你认为这个应用有不有价值?
其余应用
固然,除了上面提到的应用,还有很是多的玩法。比方打电话。弹出网页等等。事实上它的基本原理很是easy,就是所有的标签都可以响应点击。以触发某种本身定义的行为。
标签搜索及定位
颠覆110报警平台
现在我再给你讲一个很是酷的事儿。咱们的加强现实系统的推出。全然有可能颠覆了现有110报警平台的工做。或许不能用颠覆这个词,咱们讲极大的促进了110报警平台的工做吧。
若是你在一家餐厅吃饭,钱包丢了。这个时候你打110报警。
接警员会问你发生什么事情了,你人在哪里,而后派警察过来。依照眼下的正常状况。你还会在接下来的半个小时里面接到几个问路电话。而后才干看见姗姗来迟的警察叔叔。对吧?除非片警对你所在的区域很很的熟悉,才有可能在10分钟内赶到。谁能轻松的找到一家小餐厅呢?
现在不同了,你110一打通,说我在XX路XX饭店门口。接线员就可以把你说的XX路和XX饭店的字样敲进系统里面。刹那间。所有能看到你的,能动的摄像机都齐刷刷地转过来看着你。而后你会听到110接线员这样告诉你,我已经看到你了。请继续讲。
怎么样?你原来要花半个小时才干等到警察,现在可能仅仅要5秒钟他就能看到你周围的状况了。
我想,科幻片也只是如此吧。事实上原理也很是easy,刚才我不是给你讲了以标签为中心转动摄像机的功能吗?现在我仅仅需要在后台输入你说的街道名称和饭店名称。后台就会本身主动在系统中搜索匹配的标签。找到它之后,球机都本身主动转过去看着你了,你正站在那标签如下打电话。固然,在平台里面使用时,有可能有多个摄像机都有这个标签,那就更好了。
多个摄像机在第一时刻。同一时刻一块儿转过来看着你,多种角度。你认为怎么样?
其余应用
事实上这个标签搜索及定位的功能不光是用在这里。
在很是多领域都可以使用。
当你想看哪里。就看哪里。就有点像球机的预置位功能同样,预置位不都可以取名字吗?但是,加强现实的标签技术全然和预置位不同。而且技术远远超过预置位功能很是远。
加强的录像回放
录像在画面内实时回放
不知道你注意到没有,在这个画面里面有一个录像回放的button(手指向那个button)。这是一个很是有意思的事儿,你但愿回放当前摄像机的录像时。不再用去找录像播放工具去查找录像再播放了。就在这儿点一下,看到没(手指向进度条),已经进入录像回放功能了。
而且你发现没有?你回放的不光是录像。所有的加强现实数据信息也完整的录下来了!是否是特别有意思?刚才给你讲过。不用平台就可以播放还有一台摄像机的图像。现在又给你讲,不用录像回放client,就在画面里面就能回放录像。
固然,它仅仅能回放本地录像。只是,你必定感觉到这一点了,这个加强现实摄像机。不用平台。本身就能组网工做了!
太强大了是否是?你说得确实是。加强现实摄像机没有平台能用,但假设有了平台,那花样就玩儿大了!
只是呢。平台的玩法等会儿再给你讲。现在仅仅讲摄像机!
录像可编辑
既然现在咱们讲到了录像的功能。那就不得不讲一下录像功能的颠覆之处了。
记得最開始的时候,咱们提到了,加强现实系统的原理就是将各类信息叠加在视频画面上。那录像除了把实时画面的加强信息录制下来。还可以进行编辑。
注意看这里,(指向录像界面某处)这里发生了一块儿案件。你做为一个公安民警,在分析录像时,把各类文字、图片、声音。全部加入进录像里面了。
加强现实录像可传递
这个时候,你把这份录像文件拷贝给还有一个同过后。他打开录像就能看到所有你作的编辑批注了。这在串并案分析时特别有效。你想一想看。再也不需要不一样的民警分别再去查数据库了。极大的提高了办案效率!
地理信息感知
飞行员座舱
为了作到这么多标签的精肯定位。个人摄像机里面加装了各类各样的传感器。现在我给你展现一个高科技。(点开传感器数据画面)怎么样?是否是有开飞机的感受了?密密麻麻的各类数据。这是水平倾角,这是垂直倾角,这是方位角,这是磁场。这是经纬度,这是重力加速度。这是海拔等等等等。
森林防火
刚才咱们讲过一个故事。就是城市里面有个楼着火了,咱们可以把镜头拉近去看是哪栋楼,还记得吧。现在假设不是城市,而是用来森林防火,怎么办?森林哪有什么标签名字。
现在我这个展现一个功能,若是这里着火了。我点一下这里(指向画面某处)。測距。看到没,镜头本身主动转到这里了,着火点离我镜头的距离是多远。着火点的经纬度坐标全部都显示出来了。牛吧?这个时候你就可以直接报火警了。
固然,这些数据还可以有大量的应用。今天没办法一一讲给你听了。
平台应用
平台级标签搜索定位
这套系统不加平台就能实现这么多的功能特性了。假设加上平台就不少其它的花样了。刚才不是讲了颠覆110的故事了吗?那就是平台的一个应用。在全局里面搜索标签,使多台摄像机设备在第一时间都转过去看着你。
监控无死角覆盖
所有的精肯定位都依赖于摄像机身上的传感器。一旦有了这些传感器,我就能清楚地知道摄像机正在看着什么方向。对吧?这个特性太实用处了!首先在平安城市中我就能实现监控的无死角覆盖。
在平台的电子地图上,每个摄像机都有一个扇形标记着它当前实时的监控方向。从电子地图上,一眼就可以看出哪一个地方没有被摄像机覆盖到,是否需要添加摄像机。若是这里有一个球机(指向屏幕中某处)。在不停的转动,咱们可以看到它的扇形也在地图上转动。
作平安城市设计的人或实战的公安会发现,当球机转到某一个方向时,它的背后就是一片盲区,没有不论什么别的摄像机能帮它补盲。
这时,是否要添加摄像机。是否要别的球机转动过来补盲。
这就是一门科学。
实战布控
相同的道理,这在实战布控抓捕时很实用。若是这是个人电子地图(指向屏幕),一嫌疑人开着车从左边向右边开过来(手从左到右),在右边这儿(指向某处)你以为是有一个摄像机的。可是你不知道。这个摄像机根本就没有看着左边!
怎么办?现在简单了。在地图上面拉一个框,让框里面的摄像机全部向左边看。你会发现,全部球机前面的扇形区域。慢慢都转动到左边来了!
曾经的你根本办不到这个事!
你仅仅能点进画面里面去看看是什么方向,还不必定看得出来。看出来后,还得手一步一步的转动云台。是否是这样?这个功能太牛了吧,至少我本身是这么感受的。
3D全景融合
不知道你听没听过一种叫3D全景融合的技术。现在国内有几家企业正在作这个事。它这个技术有点意思,比方它要监控天安门广场,它会把整个天安门广场全部3D建模。而后倒处布满了枪机,再把全部枪机的画面拼接到3D场景中的路面上。不知道我说得明确不,这个你没看到东西可能不太好理解。
总而言之,你做为用户,你看天安门广场。就好像坐在直升飞机上面,可以看到整个场景。
楼房是假的,人车路都是真的。
那么这个技术仅仅能用在枪机上,因为球机会转来转去,两个画面之间没办法动态的拼接。
现在就可以了。所有枪仍是球。不管你转到什么地方去,我都能获取摄像机的姿态数据,进行动态拼接。不再用人工去測量了。
兼容性
传输兼容性
兼容性是很是重要的一个概念。很是多朋友都问到了这个问题。此次咱们推出的加强现实摄像机。不必要配置咱们的平台软件的。你海康的平台可以用,大华的平台也可以用。全然没有兼容性的问题。但是你是看不到加强现实的数据信息了。它在传统平台如下就是一个普通摄像机了。
首先咱们从传输的角度来说,眼下推出的加强现实摄像机全部是依照28181这个国家标准来的,没有不论什么的不一样。
编码兼容性
编解码方面,咱们是标准的H.264和SVAC协议。所有的加强现实数据均智能复合在码流里面的。不影响不论什么标准解码和图像显示。
加强现实数据显示兼容性
假设你拿到加强现实摄像机的码流数据后但愿能够显示加强的信息。
有三种方法:
固然第一种就是你用个人平台,什么功能都有了。
另一种就是你用个人SDK解码。所有信息都会出来,就跟你现在看到的界面同样。
第三种就是。假设你想要一个更炫的界面。咱们开放码流数据格式,你可以自行开发。
大数据
非结构化数据的结构化描写叙述
公安部第三研究所提出一个大型的课题叫作“非结构化数据的结构化描写叙述”,简而言之就是作视频的智能分析。视频是非结构化的数据嘛。经过算法尽量分析出里面的一些信息。这些信息就是结构化的数据了。
前景结构化
讲这个智能分析就不得不给你普及一下智能分析的基础概念了。若是这个展馆是空的,我先拍一张照。这个叫作背景。这时候你走进来了。在这个背景上面移动,你叫作前景。
现在的智能分析算法仅仅能计算变化量,也就是正在移动的你。它能分析出你移动的速度,方向,距离。
最后说你不能越过这条线,这就是行为分析。咱们换个语言就是,前景的结构化分析。
背景结构化
今天,个人加强现实干了一件什么事儿?我把整个视频的背景给结构化了!
你说对不正确?
为大数据分析提供数据支撑
这为智能分析开启了一个崭新的方向!这就是兴许大数据时代提供了精确的数据源啊!
安装维护
信息数据历来哪?
差点儿所有人都问了这个问题。数据从哪来?
我可以很是确定的告诉你,依照眼下的科技,所有数据都得人工来录入。
人工录入有两个方案:
第一个方案就是。你付服务费给我,我派员工去给你录入。因为个人人不熟悉当地,因此实地调研的成本是很高的。
这样是很不划算的,我很建议你採纳个人第二个方案。
就是公安给每一个片警下任务,天天完毕一个或两个摄像机的标签配置,因为片警对当地较熟悉,完毕速度是相对较快的。两三个月后。整个城市的标签就打完了。
这样是成本最低,效率最高的方案。
楼房拆了或者商户换了怎么办?
楼房拆了或者商户换了这个问题不优势理。眼下的技术而言。仅仅能靠片警来维护和刷新摄像机的数据。
摄像机换了怎么办?
假设摄像机换了,这个就是技术问题了。所有的数据在配置好了以后会传输到后台,当你换了摄像机后。后台数据会本身主动更新到新摄像机里面的。
将来发展
全球3D空间坐标惟一化
将来,会使用全球惟一的3D空间坐标,但是现在不行。眼下所有的标签是以摄像机为单位的。因为眼下所有传感器都有精度偏差,镜头边缘有畸变。镜头光芯不许确等很是多问题。会致使3D空间在2D平面上的投影不许确,也就是标签跑歪了。
固然,全球惟一3D坐标是最完美的方案。所有摄像机仅仅需要读取数据库,就能在画面中显示各个标签了。
前景目标历史资料提取
比方说和人脸识别配合,就跟科幻片是同样的。当画面检測到人脸时,所有这张人脸的信息,比方我的档案,都会在同一个画面里面显示。
丰富图侦手段
固然,加强现实系统对图侦来说,是一次质的飞跃。办案民警现在所用的图侦系统只是是行为分析、人脸车牌提取、视频摘要、以图找图等应用。将来,图侦系统将会连背景场景信息都一块儿分析了。应用之多不可想象。
国家标准甚至全球标准
公安部第一研究所正与高新兴合做,将加强现实作为中国平安城市建设的标准。眼下。正合做研究加强信息的编码、格式、解码等领域的标准化工做。
智能家居
现在民用家用安防市场正在如火如荼地发展。
但是摄像机要想进入智能家居行业,很是难有一个切入点。现在几大互联网厂商都在争夺客厅的入口。
但是你有没有发现一个问题?当所有家居终端产品都尚未智能化的时候,智能家居中你能控制什么东西?无非就是那些眼下能用红外遥控器控制的东西了。比方电视机,空调等。
空调就是所有智能家居必讲的故事之中的一个了。
在下班回家以前。先用手机打开家的空调,回到家之后就会很是舒服了。但这里就有一个很是严重的问题。空调和电视机都是经过红外线进行遥控的。但红外线是单向的。指令发出去后是不会获得回复的。也就是说,空调打开没有,你根本不知道。电视打开没有,你也根本不知道。
对不正确?
假设你拥有了咱们的加强现实家用摄像机。这一切都变得简单了,加强现实让所有家电控制变成真正的所见即所得!
我仅仅需要看着家的视频画面,在画面里面点一下电视机,我可以看到电视机打开了。再在画面里面点一下空调。可以看到空调打开了,视频里还可以调温度,最后温度数据有没有设定成功,经过视频也就看到了。
事实上,当你有了加强现实画面之后。可以玩的东西就太多了。比方电动窗帘,我在视频画面里面滑动窗帘到2/3的位置,可以看到家里的窗帘真正的滑到了2/3的位置。
我可以开关灯,可以指定开关草地的喷水器等等。
总之。就是所见即所得!这是在智能家居里面很是重要的一个概念!仅仅有加强现实摄像机可以办到!
你说炫不炫!
言犹未尽
管中窥豹,可见一斑
今天讲了这么多加强现实摄像机的能力。注意了。仅仅是讲的摄像机。
将来咱们公司即将公布的是整个加强现实系统!
到时候会举办真正的正式的公布会,假设今天这些功能都让你晕了,到时候你确定会吓坏。
咱们一块儿期待,科幻走进现实!