苹果在AR VR领域的现状与预测

说明

苹果目前对AR投入巨大,CEO库克也屡次表示看好AR的发展.

可是苹果的AR之路到底会怎么走? 一个只能识别平面,只能单人使用的ARKit框架能让开发者开发出受用户欢迎的app么?

VR设备苹果还作么?

下面咱们从收购,专利等方面谈谈苹果的AR/VR之路.里面带有个人一些不负责任的猜想,你们轻喷.

收购的相关技术公司

通常来讲,苹果收购有如下特色:

• 收购新技术/新公司后,再也不对外提供单独产品,而是整合进iOS系统/iPhone手机中;
• 每每会改变原始用途,与iOS系统结合后提供新的体验;
• 平均在2~3年后应用到iPhone上,通常不超过4年;

---

公司名称	主要技术与产品	收购时间	整合现状	将来动做预计
Polar Rose	人脸识别技术	2010-9	持续整合到普通相机,人像模式中	---
PrimeSense	3D视觉技术,深度感知,结构光识别,动感捕捉摄像头	2013-11	小型化后,2017年用于iPhoneX前置摄像头	---
LinX Imaging	移动设备多摄像头画质加强,成像拼接,深度感知	2015-4	2017年后置双镜头深度信息	---
Metaio	Metaio Creator:加强现实创做工具,计算机视觉的识别和跟踪算法	2015-5	ARKit的基础,2017年发布.平面识别,光照估计,6自由度	2018年升级ARKit更多识别类型
Perceptio	容许手机独立辨认图像，而无需依赖任何外部数据库	2015-10	2017年Vision视觉框架;2018年ARKit1.5识别图像	---
Faceshift	动做捕捉公司，实时抓捕人的面部，而后用动画表现出来,依赖于PrimeSense的识别技术	2015-11	2017年用于iPhoneX前置摄像头的Animoji	---
Emotient	表情跟踪识别技术,分析人类表情与感情	2016-1	2017年用于iPhoneX前置摄像头面部表情捕捉	---
Flyby Media	空间感知平台:能够将信息绑定在某个地点或者建筑，只有经过扫描同一建筑才能读取这条信息	2016-1	---	2018年用于ARKit升级,升级多人玩法
Realface	生物识别登陆系统	2017-2	2017年用于iPhoneX前置摄像头Face ID	2018年前置摄像头Face ID改进升级
Senso Motoric Instruments	眼球追踪眼镜和系统	2017-6	---	2021年用于AR眼镜
Regaind	图像内容识别,识别照片中物体是人是狗	2017-9	---	ARKit升级;Vision视觉框架升级
Vrvana	Totem头盔:“延伸现实”设备，AR和VR结合	2017-11	---	2021年用于AR眼镜
InVisage Technologies	量子膜:改善智能手机等受空间限制的设备的成像能力	2017-11	---	改善手机摄像头
Shazam	识别音乐的功能，强大的机器学习视觉系统	2017-12	---	ARKit升级

此外,为了在地图领域加强实力，苹果前后收购了多家地图和导航服务公司，其中包括C3 Technologies、WifiSLAM、Locationary、HopStop、Embark、Coherent Navigation、BroadMap、Indoor.io等.

预计会对之后的AR+地图玩法有帮助.

苹果公司收购列表

申请的相关专利

苹果的专利从申请到真正用在产品上,时间每每更长,每每须要4~5年,甚至长达7年以上.

---

时间	专利	描述	整合现状	将来动做预计
2006	能够容纳带显示屏的电子设备	一款可以放入手机的物理框架，并将手机屏幕放置于用户眼前，其中在用户双眼和手机屏幕之间存在着光学组件，用于接收手机屏的图像。2016年3月申请延续该专利	---	手机VR
2011	三维物体识别技术	经过自动化的生物特征识别系统，经过曲线、点和物体轮廓等识别3D对象。这一技术将能精确的识别人脸，而不像某A系统那样，分不清真实人脸和照片的区别。	2017年用在iPhoneX	---
2014-12	激光束测绘技术	借助激光传感器以及激光束来收集特定空间内的测量数据，包括空间的形状、距离、环境对象的属性及体积等信息。	---	2018年后手机AR,2020年后AR眼镜
2015-1	眼部追踪技术	解决“特克斯勒消逝效应”(Troxler Fading Effect)	---	2020年后AR眼镜
2015-5	柔性屏幕专利	这是一种在固体发光像素周围设计许多小孔的屏幕，可将屏幕变得又薄又柔软，以帮助 AR 应用。经过像素现实虚拟图像，同时透太小孔查看屏幕另外一边的现实图像。	---	2020年后AR眼镜
2015-6	上半身体感操做	容许用户经过摆动上半身做出多种姿式从而控制一个操做界面。	---	2020年后AR眼镜
2015-11	基于用户目光的显示屏事件延迟	苹果提出的系统能够延迟显示屏事件，直到用户的目光看到。减轻了渲染和显示的压力。	---	2020年后AR眼镜
2016-7	AR 显示使用到的相似光波导技术	这项技术是让图像从离轴源文件中投射出来，经过透明物质(护目镜或薄片)进入视线。	---	2020年后AR眼镜
2016-7	AR 映射系统	这套 AR 映射系统可以利用 iPhone 的硬件将加强现实功能叠加到直播视频上。用户经过手机应用能够在一些现实场景中标记数字信息，好比街道名称、兴趣点等等，并用摄像头进行扫描。	---	2018年后手机AR加强,2020年后AR眼镜
2016-7	裸眼3D	一种像素阵列，内建子像素和透镜结构，后者在多个不一样的角度发光。	---	Mac平台
2016-10	3D投影手势	利用一种抓取的手势，一种推进的手势，一种释放的手势，还有查询，缩放，搜索，执行等，甚至更多的手势来进行人机交互。好比说，咱们能够用推进的手势来点击打开一个 App 。	---	2020年后AR眼镜
2016-11	AR 头盔专利	这项专利描述的是一种保留移动电子设备屏幕的头盔式显示屏仪器，头盔式屏幕系统以及操做方案可让用户“配对”或“解除”。	---	2020年后AR眼镜
2017-2	带有摄像头的可穿戴信息系统	这项技术可能会用在一款头戴显示器中，而显示器上搭载的摄像头能够接收与显示器相同视角的信息。该系统可下载有趣的内容，并用 AR 展现出来。	---	2020年后AR眼镜
2017-3	利用景深增强人脸检测	这项专利是经过计算机视觉系统，利用专门的硬件和软件进行人脸识别，尤为是已经保存到数据库中的人脸数据。	---	2018年后手机AR加强
2017-6	头戴式显示器	咱们能够将一个可移动的电子设备放置到这个头戴式显示器上，而这个可移动电子设备几乎能够确定是一台 iPhone 。	---	手机VR设备
2017-8	3D手势操做	为交互式现实加强提供了设备和方法，这其中包括一个二维相机和一个三维相机，相关的深度投影机和内容投影仪，以及一个与三维相机和二维相机相关的处理器。	---	---
2017-10	全虚拟现实（VR）套件相关	描述了动态修改图片，实时向用户展现图片和基于文字的相关数据的方法。专利申请描述的方法适用于有限视场和全景的静态、动态图片。	---	Mac平台

苹果公司专利查询网站
苹果公司ARVR相关专利列表
苹果公司地图与定位相关专利列表
苹果公司无人车相关专利列表

---

演进方向猜想

AR方向

从目前的收购状况和专利申请状况来看,苹果当前的主要方向仍是AR,包括目前运行iOS系统的iPhone/iPad,和将来运行rOS(猜想的名字)的AR眼镜.

预计的结果是,在将来三年,继续对iPhone/iOS上的ARKit框架进行加强.可改善的方面有:

• 加强CPU和GPU,改进人工智能运行速度,提升识别速度下降功耗,增长续航;
• 后置摄像头添加飞行时间技术(ToF)或激光雷达(LIDAR),加强深度感知速度和精度;目前的视觉惯性里程计方式感知场景限制太多,场景太亮不行,太暗不行,运动太快不行,彻底不动不行,缺乏花纹不行,半透明或反光也不行,急需加强;
• 增强与地图的整合,如今的AR没法与地图关联起来,AR只能经过摄像头捕捉到的画面来感知和理解场景,对于目前的AR来讲,家里的地面和市中心商业广场的地面都只是个平面,没有什么不一样;
• 容许多人AR空间联合,好比我在广场上用AR对雕塑进行了绘图,别人从其它角度用AR对着雕塑也能看到个人做品,不须要彻底同样的角度进行校订.
• 陀螺仪加强,并结合深度信息,加强SLAM( 即时定位与地图构建)能力,完善AR物体与现实物体的遮挡,碰撞关系;
• 识别AR场景中的人脸和手势,更长期须要支持眼球追踪/人体姿态识别,解决AR交互问题.

三五年后AR眼镜出场,由AR眼镜继续完成AR功能.

VR方向

从专利来看,目前的VR也在研究中,包括内置手机的头戴设备(相似于cardBoard盒子),和须要外部定位的头戴设备(相似HTC的vive),但这个彷佛并非重点,猜想多是苹果认为这种方式使用体验太麻烦,限制多.

这种内置iPhone的头戴VR设备,可能只是与Apple TV配合看电影使用.虽然技术上已基本完成,但普通iPhone的LCD屏刷新率不足,iPhoneX又太贵并且刷新率目前也不支持90帧,按苹果的风格不太可能会推出.

还有一种可能,苹果如今打算将iMac pro作为VR的开发平台,因此VR头显会继续研究下去,之后可能会推出与iMac pro配套的头戴式设备来替换目前使用的Vive等产品.

综合判断,短时间内VR设备应该是不会推出的,至少在AR眼镜出现前,VR设备不会出现.但Mac将会作为VR开发平台继续高速发展.

AR何时能真正火起来?

真正火起来,须要硬件+软件+爆款内容.

• 硬件层面:真正准备好的只有iPhoneX,前置摄像头主要针对人脸AR,后置则是平面识别+深度信息,还有A11处理器的配合.iPhone8 plus则只有后置双摄像头和CPU充份知足了AR要求.其余的A9以上CPU的单摄像头和7p的第一代双摄,效果只能说凑合,并且后续也没什么潜能能够挖掘了. X和8p的双摄还有潜力可在软件升级后发挥出来.

• 软件层面:ARKit效果不错,但如今仍是只能识别平面.人脸AR则须要iPhoneX的前置摄像头配合.因此不少人为了体验AR功能,将旧手机升级到iOS11,但只是体验一番就再也不用了,毕竟目前效果仍是太少可玩性不高.预计2018年ARKit会有较大升级,依托双摄和人工智能,会支持更多功能和效果.

• 爆款内容:苹果屡次重点说起了Pokemon Go,显然是还想用这个游戏来让AR再火一把,惋惜你们新鲜劲儿已通过去了.WWDC2017只是吸引了程序员的注意,小demo出了很多但大做几乎没有.后来的产品发布会,战争机器这个AR游戏不错,但在国内迟迟不上架,就算买了iPhone8 plus和iPhoneX也没人一块儿玩啊.

综合判断,真正火起来大约是在2018年后期至2019年中,iPhoneX普及+ARKit更新+AR大做打磨好的时候.

最后

总结一下:

• 手机AR目前重点,大搞特搞,不断迭代;
• AR眼镜正在研发,3~5年后问世,真正火爆;
• VR设备投入很少,遥遥无期,Mac开发却是不错.
• 苹果汽车十分神秘,尚需研究,融合VR/AR.

iOS上的AR技术请参考:WeekWeekUpProject