14-《ARKit by Tutorials》读书笔记1：开始入门

时间  2019-11-07 标签 arkit tutorials 读书 笔记 开始 入门

说明

ARKit系列文章目录node

本文是Ray Wenderlich上《ARKit by Tutorials》的读书笔记,主要讲内容概要和读后感  swift

ARKit的主要特色:

  • 追踪
  • 场景理解
  • 光照估计
  • 场景交互
  • 公制计量单位
  • 渲染集成

ARKit的主要局限性:session

  • 平面检测须要花费必定时间
  • 动做处理滞后:不能运动过快
  • 低光照条件
  • 光滑无纹理平面
  • 幽灵穿透效果:不能正确处理遮挡效果

Xcode已经集成了AR项目的建立入口,直接能够建立一个自带小飞机的AR工程.

项目组织和管理

文件中的代码组织

  • Properties: 类的属性.
  • Outlets: xib上的元素.
  • Actions: 执行的动做.
  • View Management: 视图生命周期等方法.
  • Initialization: 初始化方法.
  • ARSCNViewDelegate 协议extension:AR代理方法

session控制

  • Pausing:ARSession.pause()能够用来暂停会话.
  • Resuming:ARSession.run()可恢复一个暂停的session.
  • Updating:ARSession.run(ARSessionConfig)能够更新配置项.
  • Resetting: ARSession.run(_:options:)能够重置session. 当session状态改变时,能够在代理方法中处理:
func session(_ session: ARSession, 
  cameraDidChangeTrackingState camera: ARCamera) {
  switch camera.trackingState {
    // 1
    case .notAvailable:
      trackingStatus = "Tracking:  Not available!"
    // 2  
    case .normal:
      trackingStatus = "Tracking: All good!"
    // 3 
    case .limited(let reason):
      switch reason {
        case .excessiveMotion:
          trackingStatus = "Tracking: Limited due to 
            excessive motion!"
        // 3.1  
        case .insufficientFeatures:
          trackingStatus = "Tracking: Limited due to 
            insufficient features!"
        // 3.2
        case .initializing:
          trackingStatus = "Tracking: Initializing..."
        // 3.3
        case .relocalizing:
          trackingStatus = "Tracking: Relocalizing..."
        }
    }
  }
}
复制代码

调试选项

能够打开AR视图的debug选项来帮助调试:app

sceneView.debugOptions = []
复制代码

可配置项以下:async

  • Feature points:显示检测到的特征点.
  • World origin:红绿蓝三色线交叉组成的世界坐标原点.
  • Bounding boxes:3D物体的边界盒.
  • Wireframe:3D物体线框图.

着色器,材质和纹理

在SceneKit中可用的光照模型(着色器)以下: ide

材质是2D图片,能够包裹在3D几何体周围提供特殊属性,好比color颜色, specularity高光, reflectivity反射率, shininess发光率, roughness粗糙度, metalness金属度 甚至transparency透明度.
具体能够看我之前写的SceneKit系列文章 Lights灯光, Materials材质, Shadows阴影

基于物理的渲染(PBR)

PBR光照模型是新引入的特性,可让你的3D物体看起来更真实.工具

下面咱们来重点学习一下其中的特性:post

Environment map环境贴图

环境贴图是一种cube map立方体贴图,好比天空盒子shybox是这样的: 学习

SceneKit还支持其它类型的立方体贴图:

环境贴图有两方面做用:一方面相似于reflection map反射贴图,能够在高反射率表面看到环境图像的反射;另外一方面,对于支持PBR的3D物体,能够提供真实的光照环境.以下: 测试

Diffuse map漫反射贴图

漫反射贴图提供基础颜色,无需考虑灯光和其它特效.

须要注意的是,漫反射贴图能够经过图片的alpha通道来指定透明度.好比在地球外面再包层大气云层图,你只能看到大气层的不透明部分.

Normal map法线贴图

所谓法线,就是垂直于几何体表面的向量.能够用来计算光线的反射等效果.

法线贴图经过图片的RGB通道来定义了像素级的表面法线.用来与光线混合计算,模拟表面的凹凸效果.这样无需增长多边形及顶点数据,就模拟出了真实的表面.

Height map高度贴图

高度贴图并非PBR光照模型的一部分,可是也值得你们学习.高度贴图是黑白图像,白色表明物体的最高点,黑色表明最低点.

高度贴图和法线贴图能够互相转换,网上有免费工具Normal Map Online — available at bit.ly/1ELCePX

Occlusion map闭塞贴图

也就是ambient occlusion map环境光闭塞贴图(OA贴图).用来阻止环境光照亮闭塞的区域,好比墙壁上的裂缝里.黑白贴图,黑色表明不可照亮,白色表明能够照亮.

Emission map发光贴图/发射贴图

定义了光照和阴影来制造一种发光效果.例如地球黑夜的灯光(须要关闭光照.PBR下停用环境贴图):

Self-illumination map自发光贴图

自发光贴图在其它全部效果以后才应用;能够用来给最终效果上色,增亮或变暗

Displacement map位移贴图

在法线贴图中,咱们能够在光滑表面创造出像素级的不一样高度,但它只是幻像,只是改变了光线的反射而已.

在位移贴图中,咱们能够真正地改变表面地形.灰色到白色表示凸起,灰色到黑色表示凹陷:

Metalness and roughness maps金属度和粗糙度贴图

PBR的主要特性就是可以展现出可见的微观细节,就是用金属度和粗糙度贴图来实现的:

  • 金属度:从后往前,逐渐加强.
  • 粗糙度:从左到右,逐渐加强.

Metalness map金属度贴图

金属度模拟了物体表面的属性,如反射,折射和菲涅耳反射.该灰度纹理中,黑色表明非金属,白色表明金属性表面:

Roughness map粗糙度贴图

粗糙度贴图模拟了真实世界表面的微观细节.产生明亮或暗淡的外观.该灰度纹理中,黑色表明最粗糙,白色表明最光滑表面:

Detect plane表面检测

Anchor锚点

锚点是3D物体的参考点,和UIView中的anchor锚点相似.对3D物体应用的transform变换也是相对于锚点的.

添加了新锚点

当平面检测发现平面时,会添加一个锚点,并建立一个SCNNode,并调用代理方法:

// 1
func renderer(_ renderer: SCNSceneRenderer, didAdd node: SCNNode, for anchor: ARAnchor) {
  // 2
  guard let planeAnchor = anchor as? ARPlaneAnchor else { return }
  // 3
  DispatchQueue.main.async {
    // 4
    let planeNode = self.createARPlaneNode(
      planeAnchor: planeAnchor,
      color: UIColor.yellow.withAlphaComponent(0.5))
     // 5
     node.addChildNode(planeNode)
  }
}
复制代码

锚点更新

当锚点更新时,也会调用代理方法:

// 1
func renderer(_ renderer: SCNSceneRenderer, didUpdate node: SCNNode, for anchor: ARAnchor) {
  // 2
  guard let planeAnchor = anchor as? ARPlaneAnchor else { return }
    // 3
    DispatchQueue.main.async {
      // 4
      self.updateARPlaneNode(planeNode: node.childNodes[0],
        planeAchor: planeAnchor)
    }
}

复制代码

Physics物理效果

Physics body物理形体

首先要了解的是就是physics body物理形体的概念:

  • static body:静态形体,在物理模拟中能够与其它物体发生做用,但自身不受影响,始终在原来位置上.如墙壁.
  • dynamic body:动态形体,在物理模拟中彻底由物理引擎控制并能够与其它物理形体发生做用.如小球.
  • kinematic body:动力学形体,在物理模拟中不受物理引擎控制,但能够经过代码来移动.如电梯.

Physics body type物理形体的形状

还有SceneKit内置的物体形状:

并可调节各个参数:

还能够调整整个场景的物理效果速度及物理模拟帧数:

scene.physicsWorld.speed = 0.05 //效果就像慢镜头

scene.physicsWorld.timeStep = 1.0 / 60.0 //每秒60帧;若是物体运动速度过快,须要增长帧数以提升精度,但也会提升CPU的负载.
复制代码

Force力

力使用3维向量SCNVector3表示,使用applyForce(_: atPosition: impluse:)方法来添加一个力,并指定位置.一个力能够同时影响线速度和角速度. impluse脉冲状只做用一次,好比踢一个球,非脉冲状的则能够持续做用. Position位置能够影响力的做用效果

更多物理效果相关内容,能够参考physics物理效果

灯光和阴影

在AR中给物体添加阴影通常有两种方法:

  • 在物体下面放上一块浅灰纹理的平面,这样仿佛就有了阴影.这也就是所谓的将光照和阴影"烘焙"进纹理中.
  • 在物体下面放一块平面,并将平面的Reflectivity设置为0;再添加一个光源,并将光源的Mode改成Deferred,这样就能产生实时的阴影了.

同时文章中还提供了,如何用代码来禁止某个物体写入颜色缓冲区.

func hideARPlaneNodes() {
    // 1
    for anchor in
      (self.sceneView.session.currentFrame?.anchors)! {
      // 2 
      if let node = self.sceneView.node(for: anchor) {
        // 3
        for child in node.childNodes {
          // 4
          let material = child.geometry?.materials.first!
          material?.colorBufferWriteMask = []
        }
      }
    }
}
复制代码

更多相关内容能够看我之前写的SceneKit系列文章Lights灯光, Shadows阴影以及官方Demo解读中关于阴影的官方解读苹果官方AR变色龙Demo解读

Hit testing命中测试

命中测试能够用来提供与3D物体的交互

override func touchesBegan(_ touches: Set<UITouch>, with event: UIEvent?) {
  DispatchQueue.main.async {
    // 1
    if let touchLocation = touches.first?.location(
      in: self.sceneView) {
      // 2
      if let hit = self.sceneView.hitTest(touchLocation,
        options: nil).first {
        // 3
        if hit.node.name == "dice" {
          // 4
          hit.node.removeFromParentNode()
          self.diceCount += 1
        }
      }
    }
  }
}
复制代码

第一部分读书笔记结束!

联系我们 沪ICP备13005482号-10