深刻浅出，ARCore开发原理

时间 2019-11-08

标签深刻 arcore 开发原理繁體版

原文原文链接

做者：李超前“跟谁学”直播研发高级经理

其实关注 ARCore也蛮久了，但一直没有腾出时间来写个总结。正好应朋友之约，咱们今天就来好好聊一聊 ARCore.android

ARCore的历史以及与苹果ARKit的竞争我就很少讲了，在网上能够搜到一堆信息。但网上深刻讲解ARCore的确实很少。git

本文主要有两个目的，一是向你们介绍一下ARCore的基本概念，了解这些概念对于你们后续深刻的学习 ARCore具备关键的做用。二是深刻剖析一下 ARCore的工做机理，这样可让你们更容易理解 ARCore。github

另外，ARCore与ARKit的基本概念很接近，只要了解了其中的一个，基本上也就掌握了另外一个。session

ARCore的基本概念

ARCore工做时要作两件事儿，首先跟踪手机的运动轨迹，而后构建出它对现实世界的理解。并发

ARCore的运动跟踪技术是经过 Camera 标识出特征点，并随着时间的推移跟踪这些特征点是如何移动的。经过这些特征点的运动数据及从手机惯性传感器读到的信息，ARCore计算出手机移动的位置和方向，并称其为姿态。框架

除了识别出这些特征点外，ARCore还能检测出像地板、桌面等平面信息以及在某个地方的光线强度。这些信息使得ARCore可以构建出本身理解的真实世界。构建出这样一个模型后，能够在上面放置一些虚拟内容了。ide

ARCore是如何作到的呢？它使用三项关键技术将虚拟内容与真实世界整合到一块儿，这三种技术分别是：学习

运动跟踪
环境理解
光线评估

运动跟踪

ARCore 能够在手机移动的过程当中知道，相对于真实世界手机所在的位置和方向（姿式）。测试

当手机在真实世界移动时，ARCore使用称为并发测距和映射的过程来了解手机与周围世界的相对位置。动画

ARCore能检测到Camera捕获的图像在视觉上的不一样特征，称为特征点。它使用这些点计算其位置变化。随着时间的推移，经过视觉信息与来自IMU设备的惯性测量，ARCore就能够估算出Camera相对于真实世界的姿态（位置和方向）。

经过将渲染的3D虚拟内容与物理Camera的姿式对齐，开发人员就能够从正确的角度渲染虚拟内容。再经过将虚拟物品的图像渲染到从Camera得到的图像之上，这样看起来就好像虚拟内容是真实世界的一部分似的。

环境理解

ARCore可让手机检测出一块水平面的位置和大小。如地面、桌子、书架等等。这样就能够将虚拟物体放置到检测出的水平面上了。

它是如何作到的呢？ARCore经过检测特征点和平面不断改善对现实世界环境的理解。

ARCore会查找常见水平表面（如桌面）上的特征点集群，除此以外，ARCore还能够肯定每一个平面的边界，并将以上信息提供给您的应用程序。这样，开发人员就可使用这些信息，并将虚拟物体放置在平坦的表面上了。

因为ARCore使用特征点检测平面，所以可能没法正确检测到没有纹理的平坦表面（如白色桌面）。

光线评估

ARCore 可让手机估算出当前环境的光线强度，这样可让虚拟物理显示在真实环境中更加逼真。

用户交互

ARCore使用 hit testing（命中测试) 获取与手机屏幕相对应的(x,y)坐标（如经过点击屏幕等交互方式），将其投射到 Camera 的3D坐标系中，并返回与命中点射线相交的全部平面和特征点，以及在世界坐标系中该交叉点的姿态。这样就能实现用户与ARCore环境中的对象交互了。

锚点与跟踪

ARCore能够改变对自身位置和环境的理解来调整姿态。如咱们要在ARCore环境中放置一个虚拟对象，首先要肯定一个锚点，以确保ARCore能随着时间的推移不断跟踪对象的位置。一般状况下，会根据命中测试返回的姿式建立一个锚点。

姿式改变这项技术特别关键，只有获得姿式，ARCore才能够随着时间的推移不断更新环境对象（像飞机和特征点）的位置。ARCore将平面和点认为是可跟踪的特殊类型的对象。您能够将虚拟对象锚定到这些可追踪的对象上，以确保在设备移动时，虚拟对象和可跟踪对象之间保持稳定的关系。这就好像您在桌面上放置一个虚拟的花瓶，若是ARCore稍后调整与桌面相关的姿式，那么花瓶仍然会保持在桌面上。

ARCore 核心类介绍

Session

com.google.ar.core.Session类，Session管理AR系统状态并处理Session生命周期。该类是ARCore API的主要入口点。该类容许用户建立Session，配置Session，启动/中止Session，最重要的是接收视频帧，以容许访问Camera图像和设备姿式。

Config

com.google.ar.core.Config类，用于保存Session的设置。

Frame

com.google.ar.core.Frame类，该类经过调用update()方法，获取状态信息并更新AR系统。

HitResult

com.google.ar.core.HitResult类，该类定义了命中点射线与估算的真实几何世界之间的交集。

Point

com.google.ar.core.Point类，它表明ARCore正在跟踪的空间点。它是建立锚点（调用createAnchor方法）时，或者进行命中检测（调用hitTest方法）时，返回的结果。

PointCloud

com.google.ar.core.PointCloud类，它包含一组观察到的3D点和信心值。

Plane

com.google.ar.core.Plane类，描述了现实世界平面表面的最新信息。

Anchor

com.google.ar.core.Anchor类，描述了现实世界中的固定位置和方向。为了保持物理空间的固定位置，这个位置的数字描述信息将随着ARCore对空间的理解的不断改进而更新。

Pose

com.google.ar.core.Pose类, 姿式表示从一个坐标空间到另外一个坐标空间位置不变的转换。在全部的ARCore API里，姿式老是描述从对象本地坐标空间到世界坐标空间的转换。

随着ARCore对环境的了解不断变化，它将调整坐标系模式以便与真实世界保持一致。这时，Camera和锚点的位置（坐标）可能会发生明显的变化，以便它们所表明的物体处理恰当的位置。

这意味着，每一帧图像都应被认为是在一个彻底独立的世界坐标空间中。锚点和Camera的坐标不该该在渲染帧以外的地方使用，若是需考虑到某个位置超出单个渲染框架的范围，则应该建立一个锚点或者应该使用相对于附近现有锚点的位置。

ImageMetadata

com.google.ar.core.ImageMetadata类，提供了对Camera图像捕捉结果的元数据的访问。

LightEstimate

com.google.ar.core.LightEstimate保存关于真实场景光照的估计信息。经过 getLightEstimate()获得。

实例分析

Google发布的 ARCore SDK 中包括了一些例子程序，有了上面的基本知识后，咱们就很容易理解他所写的 Demo 程序的流程了。

建立 Session 和 Conig

在 Activity中的 onCreate 方法中建立 Session 和 Config是个不错的地方。

mSession = new Session(/*context=*/this);

mDefaultConfig = Config.createDefaultConfig();
if (!mSession.isSupported(mDefaultConfig)) {
    Toast.makeText(this, "This device does not support AR", Toast.LENGTH_LONG).show();
    finish();
    return;
}

Session：是ARCore的管理类，它很是重要。ARCore的打开，关闭，视频帧的获取等都是经过它来管理的。
Config：存放一些配置信息，如平面的查找模式，光照模式等信息都是记录在该类中。目前该类还比较简单，里边没存多少东西。
isSupported：该方法主要是对 SDK的版本及机型作控制。目前官方只支持几款Google和三星的机子作测试。其它机型还都不支持ARCore，固然有一些机型经过破解后的SDK是可使用 ARCore的。该方法中的 Config 参数没有用到。

建立 GLSurfaceView 用于AR展现

在 Google 提供的Demo中，AR的展现部分使用的是 GLSurfaceView。作视频开发的同窗都清楚，Android 可使用三种View进行视频渲染。分别是：

SurfaceView
GLSurfaceView
TextureView

其中，SurfaceView最灵活，效率也最高，但使用起来比较烦锁。而GLSurfaceView相对 SurfaceView就是简单不少，只须要实现它的 Render 接口便可。而 TextureView使用最简单，不少工做都由 Android 的窗口管理器帮你作了，但灵活性相对较差。

为了渲染的高效，Google在Demo中大量使用了OpenGL技术。因为OpenGL是图像处理很是大的一个领域，没法经过一两篇文章讲解清楚，同时也不是咱们本文的重点，因此咱们这里不对它作详细介绍，有兴趣的同窗能够到网上自行学习。

mSurfaceView = (GLSurfaceView) findViewById(R.id.surfaceview);
...
mSurfaceView.setPreserveEGLContextOnPause(true);
mSurfaceView.setEGLContextClientVersion(2);
mSurfaceView.setEGLConfigChooser(8, 8, 8, 8, 16, 0); // Alpha used for plane blending.
mSurfaceView.setRenderer(this);     mSurfaceView.setRenderMode(GLSurfaceView.RENDERMODE_CONTINUOUSLY);

该段代码首先经过资源文件建立一个GLSurfaceView对象，而后将 GLSurfaceView 与 EGL 上下文关联。并将Activity做为GLSurfaceView的回调对象（也就是说该Activity要实现 GLSurfaceView.Renderer中定义的接口，如onSurfaceCreated、onSurfaceChanged、onDrawFrame等），最后设置 mSurfaceView 的渲染模式为 GLSurfaceView.RENDERMODE_CONTINUOUSLY，即对 GLSurfaceView 持续不断的渲染。

建立各类线程

要理解本节内容，首先你们要知道AR的详细工做原理是怎样的。我在这里再向你们作个简要的说明。

背景展现

用过AR的人都知道，AR是将一些虚拟物品放到真实的场景中。那么这个真实的场景从哪里来呢？固然是从手机的 Camera上获取。

咱们把从 Camera中获取的视频看成 AR的背景。其实，AR 就是将虚拟物品放到视频上，只不过不是简单的放置，而是须要通过大量的计算，找到视频中的平面位置再放置。

而Android中视频的采集相对比较简单，像直播系统，照像机都要使用该技术。

平台检测

上面咱们已经说了，AR就是实时视频+虚拟物品。但虚拟物不能简单的放到视频上，而是先对视频中的每一帧进行检测，找到视频中的平面，肯定好位置后，再将虚拟物品放置上去。这样才算是AR呀：）

点云

上面咱们知道了，AR=实时视频+平面+虚拟物品。除此以外，它还应该能对虚拟物品进行跟踪，也就是能够在不一样的角度观察同一个物品，并得出不一样的姿态，因此就有了“点云” 技术。那什么是点云呢？顾名思义，形象的说就是一堆点，这些的形状有点像云。点云中的每一个点都是一个特征点，它是经过Camera得到的。

放置虚拟物品

找到了平面，有了跟踪手段，咱们就能够将准备好的虚拟物品放置到平台上，如今才是真正的AR哈。

好，知道了这些基本原理后，咱们来看看Google Demo是如何作的呢？

建立线程

对于上面的每一点，Demo都启动了一个线程，代码以下：

...

// Create the texture and pass it to ARCore session to be filled during update().
mBackgroundRenderer.createOnGlThread(/*context=*/this);
mSession.setCameraTextureName(mBackgroundRenderer.getTextureId());

// Prepare the other rendering objects.
try {
    mVirtualObject.createOnGlThread(/*context=*/this, "andy.obj", "andy.png");
    mVirtualObject.setMaterialProperties(0.0f, 3.5f, 1.0f, 6.0f);
    ...
} catch (IOException e) {
    Log.e(TAG, "Failed to read obj file");
}
try {
    mPlaneRenderer.createOnGlThread(/*context=*/this, "trigrid.png");
} catch (IOException e) {
    Log.e(TAG, "Failed to read plane texture");
}
mPointCloud.createOnGlThread(/*context=*/this);

...

上面的代码中首先建立了一个背景线程，用来将从Camera中获取的视频渲染到屏幕上当背景。数据是从哪里来的呢？就是经过 Session.update 获取 Camera 数据，再经过纹理交给背景线程。

对纹理没有概念的同窗能够把它想像成一块内存空间。

而后启动虚拟物品线程，用于绘制虚拟物品，及发生角度变化时，更新虚拟物别的姿式。紧接着建立平面线程来绘制平面。最后启动点云线程绘制特征点。

到此，各类线程就建立完毕了。下面咱们来讲一下如何渲染。

命中检测与渲染

命中检测

当咱们要向背景绘制虚拟物品时，首先要进行命中检测。代码以下：

MotionEvent tap = mQueuedSingleTaps.poll();
if (tap != null && frame.getTrackingState() == TrackingState.TRACKING) {
    for (HitResult hit : frame.hitTest(tap)) {
        // Check if any plane was hit, and if it was hit inside the plane polygon.
        if (hit instanceof PlaneHitResult && ((PlaneHitResult) hit).isHitInPolygon()) {
            // Cap the number of objects created. This avoids overloading both the
            // rendering system and ARCore.
            if (mTouches.size() >= 16) {
                mSession.removeAnchors(Arrays.asList(mTouches.get(0).getAnchor()));
                mTouches.remove(0);
            }
            // Adding an Anchor tells ARCore that it should track this position in
            // space. This anchor will be used in PlaneAttachment to place the 3d model
            // in the correct position relative both to the world and to the plane.
            mTouches.add(new PlaneAttachment(
                ((PlaneHitResult) hit).getPlane(),
                mSession.addAnchor(hit.getHitPose())));

            // Hits are sorted by depth. Consider only closest hit on a plane.
            break;
        }
    }
}

在例子中，它查看是否有点击事件，且图像处理于跟踪状态？若是是，就对其进行命中检测，看是否能够找到一个平面，若是找到就建立一个锚点并将其与该平台绑定起来。

渲染背景

// Draw background.
mBackgroundRenderer.draw(frame);

经过上面的代码就能够将纹理中的内容推给 EGL，上面建立的渲染线程从 EGL 上下文中获取数据，最终将视频渲染到屏幕上。

绘制点云

mPointCloud.update(frame.getPointCloud());
mPointCloud.draw(frame.getPointCloudPose(), viewmtx, projmtx);

同理，经过上面的代码，就能够将数据传给点云线程进行点云的绘制。

绘制平面

// Visualize planes.
mPlaneRenderer.drawPlanes(mSession.getAllPlanes(), frame.getPose(), projmtx);

经过上面代码将数据传给平面线程进行平面的绘制。

绘制虚拟物品

for (PlaneAttachment planeAttachment : mTouches) {
    if (!planeAttachment.isTracking()) {
        continue;
    }
    // Get the current combined pose of an Anchor and Plane in world space. The Anchor
    // and Plane poses are updated during calls to session.update() as ARCore refines
    // its estimate of the world.
    planeAttachment.getPose().toMatrix(mAnchorMatrix, 0);

    // Update and draw the model and its shadow.
    mVirtualObject.updateModelMatrix(mAnchorMatrix, scaleFactor);
    mVirtualObjectShadow.updateModelMatrix(mAnchorMatrix, scaleFactor);
}

最后，遍历全部的锚点，在每一个锚点上绘制虚拟物品。

至此，咱们对ARCore的分析就告一段落了。

小结

ARCore相对于初学者来讲仍是有很多难度的。由于里面有不少新概念须要你们消化吸取。

另外一方面，ARCore目前只有几款机型可能作测试，而这几款机型在国内用的人很少，因此对于大多数人来讲无法作实验，这也增长了学习的难度。

除了以上两点外，ARCore中大量使用了 OpenGL的相关知识。而OpenGL又是一门很深的学问，因此学习的难度更加陡峭了。

经过以上三点，能够说目前学习ARCore的门槛相较于苹果的ARKit要难很多。

但愿本文能对您有所帮助。

参考

ARCore github

其实，AR在直播场景下已经有不少应用，好比在一些直播中关注能够往主播脸上的墨镜或其它AR动画配饰。

至此，咱们已经分享过了ARKit与ARCore的基础知识，咱们将在后续进一步分享基于ARKit、ARCore与直播结合的实践案例。欢迎持续关注！