More DETAILS! PBR的下一个发展在哪里？

最近几年图形学社区对PBR的关注很是高，也许是因为Disney以及一些游戏引擎大厂的助推，也许是由于它能够被轻松集成进实时渲染的游戏引擎当中，也许是由于许多人发现如今只须要调几个参数就能实现具备很是精细细节的表面着色了。反正如今网络上随便一篇PBR的文章均可以引来大量的关注，无论你有没有讲清楚，也无论我有没有看明白（固然没有调侃谁的意思啦，它们大部分都还不错，并且这篇文章跟他们大部分讨论的内容都不同）。

那么PBR是否已经足够完美，若是不是，那么它有哪些方面的缺点及限制，以及针对这些不足，它的下一步发展应该是什么？这些问题就是本文会聚焦的内容。对于一个知识点，解释它的基本思路和概念也许并非最难的，最难的是你知道它的限制和不足在哪里，这部分的理解每每会比它的基本概念要困难一些，你必须更深入地理解这种知识才能洞悉它的缺点，而后你便清楚它的下一步发展应该是什么。所以，本文其实不只会讨论PBR的下一步发展，这里对PBR不足的一些分析也许可以让你更深入地理解它的概念。不信？往下读一读试试！

本文主要分为三个部分，第一部分简要介绍PBR的基本概念，第二部分则分析PBR存在的问题，而后咱们结合一些研究成果探讨PBR的下一步发展。

PBR基本概念

这里，咱们从两个方面介绍PBR的基本概念：首先介绍它处于渲染中的什么流程或者说哪一个环节，或者说它在整个渲染中具备什么样的做用；而后介绍它的基本原理和思路。在图形渲染中，若是架构抽象的比较好的，咱们能够将整个渲染流程划分为四个相对比较独立的部分：

• 光源表述（lighting）：例如是点光源，面积光源或者其它形式的（例如将网格用做一个）光源，是使用辐射强度仍是直接使用辐射亮度来表述光源发出的光照。
• 光照传输（light transport）：就是光在场景中是怎么传输的，例如离线渲染中的光线追踪算法，它能模拟比较真实的光子传输行为，就是说能覆盖所有光子传输路径（或空间），可是在实时渲染中使用的一些近似方法也是表述光照传输的，虽然它可能省略掉了一些不重要的路径，可是这仍然是一种光照传输算法。光栅化的整个过程也是模拟了直接光照的传输。
• 着色模型（shading）：就是光与表面相交时发生的光学交互，好比反射和折射等，全部着色相关的数据汇总成一个材质对象，每一个物体表面都须要一个材质对象，以便决定光在通过物体表面时应该如何对物体表面进行着色。
• 摄像机模型（camera）：好比投影方式，对景深效果的实现方式，是否支持全景绘制，是否支持对时间采样实现运动模糊等。

其中，光源表述和摄像机模型是相对比较简单的，最耗时间的是光照传输，由于它要执行光线与场景的相交计算，复杂的着色模型也可能比较耗时，但着色模型的最重要做用是决定物体表面所能表述细节（details）的能力。

在术语上，PBR英文全称为Physically based rendering，它是指可以实现接近物理真实的整个渲染算法或过程。可是因为光照的传输算法一般是固定且内置于渲染引擎的（或者说已经具备比较稳定成熟的算法，例如离线渲染领域的路径追踪算法，或者实时渲染领域里的光栅化+其它全局光照算法），剩下对基于物理的渲染算法影响最大的实际上是表面的着色（材质）模型。所以，人们一般在讨论或描述PBR时，更多的是指其使用的着色模型。基于物理的着色模型更准确的称呼应该是Physically based shading，可是一般并无PBS的称谓。

那么物理材质是指什么，“材质”其实就是光在与某个特定表面交互时须要的全部光学交互计算的数据，例如法线，纹理，BRDF等，也就是说，材质定义了最终表面接受光照后的视觉结果。对于物体表面视觉特征的定义，根据尺寸粒度能够划分为三级：

• 基于网格顶点的表述，这种就是只对网格顶点的着色进行描述，而后中间的表面像素则经过插值来计算。
• 基于像素的纹理贴图，这就是最多见的各类贴图，它们能表述像素级别的视觉特征。
• 基于微观粒子的微面元表述，这就是咱们这里所关心的物理着色。

上述前两种视觉表述是比较常见的，也是早期使用的一些技术。然而这两种表述远远不能描述物体表面的视觉特征，这是由于一个像素的尺寸远远大于物体表面上微观粒子的尺寸，以下图所示，图像空间中间的黄色方块表示一个像素，下面灰色褶皱部分则是该像素对应的实际微观结构，而光其实是做用在这些微观结构上的，因此基于像素的着色模型（如直接贴图）反应不出真实物体表面的微观细节，因此这些技术均可以称为不是基于物理的材质。

物体表面微观结构的尺度远远小于一个像素的尺度

 

那么，要怎么表述这么微小的微观结构的光学交互行为呢？显然咱们不可能像纹理那样对每一个微观粒子使用一个纹素进行表述，那样咱们的计算机内存将远远不够存储这种级别的纹理，因此人们提出了Microfacet BRDF理论，它使用一个法线几率分布函数，来模拟微观粒子的法线分布特征，这样就可以表述物体表面的微观特征，从而接近物理真实，因此称为基于物理的材质表述。

Microfacet BRDF表现出来的视觉特征是什么呢？那就是对于每一个固定方向的入射光，咱们能够有多个对该入射光的观察方向；或者反过来讲，对于某个固定的观察方向，咱们能够从一个像素观察到来自多个方向的入射光照。若是没有Microfacet BRDF，一个像素只被当作一个平面，对于固定的观察/入射方向，它只对应一个入射/观察方向。在Microfacet BRDF中，咱们所能观察入射方向的方向范围，被参数化为一个粗糙度参数，以下图所示。这种着色模型使得咱们可以表现比像素更小尺寸的表面细节。

反射光的范围大小取决于物体表面的粗糙度，物体表面越粗糙，它越能接收更大范围的光照

 

在渲染中，咱们有许多模型来近似真实物体的微观法线分布，例如Normalized Blinn-Phong，Beckmann，GGX模型等等，这些模型具备不一样的近似度和计算复杂度。因为这些模型都是对真实物理特征的近似，所以它们极可能不会遵循真实的物理分布，所以正性（positivity），互换性（reciprocity）以及能量守恒（energy conservation）被用来衡量一个BRDF模型是不是基于物理真实的，注意它们不是BRDF的属性哦，而是对BRDF是否知足物理真实的要求，由于你根据一些测量数据提出一个近似的BRDF模型极可能不是物理真实的，这些条件只是用来检验BRDF模型的物理真实性。

© DreamWorks Animation 2017

 

顶点和像素级别的纹理能够存储在一张纹理图片中，这种基于物理的材质表述怎么存储呢？前面已经说过这个级别的表述是没法精肯定义和存储的，因此咱们将这个几率密度分布直接写进shader中，由于shader也是材质的一部分。

这也是为何近几年实时渲染的游戏品质有了很大提高，实时渲染与离线渲染的最大不一样在于光照的传输过程，实时渲染省略或者近似了不少路径，可是在光与表面的交互上，它只涉及一个公式的计算，并不会对性能形成太大影响，因此能够很容易地集成进来。不过实践中，实时渲染使用的几率密度分布函数要比影视中使用的计算量要简单一些，这只是在质量上稍有差别，可是不影响它表述微观粒子视觉特征的能力。

PBR的限制

有了上述Microfacet BRDF理论，物理着色的世界是否就完美了呢？换句话说你是否就可以经过几个神奇的参数表述任意细节的物理材质呢？

若是你仔细观察经过上述那些Microfacet BRDF模型渲染出的图像，你会发现虽然它们可以表述粗糙度，可是它们都太过平滑或者说模糊，例以下边右边的图。

右图：传统的Microfacet BRDF模型太过于平滑（图片来自【10】）

 

传统的Microfacet BRDF模型渲染不出上图中左图那种划痕的效果。这是为何，这是由于出于计算效率，传统的Microfacet BRDF模型都是对真实BRDF分布的一个粗略近似，这些近似每每都很是平滑，以下图所示，右图表示一个比较真实的BRDF分布，而左图表示一个传统的Microfacet BRDF模型，左图能够看作是对右图的一个（很是）平滑的结果，这是由于咱们须要计算效率足够高的着色计算，复杂的BRDF分布会大大增长采样的计算时间。这种平滑的结果使得传统的Microfacet BRDF模型只能渲染出必定距离范围以外的表面着色，你能够理解为距离越远着色越模糊，固然这里实际上不是指实际物体离摄像机的距离，而是说这种模型永远只能渲染出相似于超出这个距离的表面粗糙度，即便拉近摄像机的距离，它们看起来仍然是很平滑的，由于它们所使用的BRDF已经被严重的平滑了，也就是上面右图中的效果，那些更细微的细节被下面左图这样相似的BRDF分布给平滑掉了。

左：传统的Microfacet BRDF模型：右：真实的BRDF分布（图片来自【5】）

 

因此这里能够总结出传统的Microfacet BRDF模型具备哪些不足。首先，传统的Microfacet BRDF太过平滑，不能表现小于一个像素的几何级的细节，这些细节的尺寸介于像素和微观粒子之间，如文章封面左图中的划痕，后面会分析更多例子。

其次，物理材质的着色计算“表述”在像素着色器（shader）中，而物体表面的宏观结构每每经过网格顶点或者像素级别的法线贴图来表述，这两种几何表述是分离的，而且随着表面离摄像机距离的改变，一个像素的尺寸和一个纹理中的纹素的尺寸之间的相对关系发生着变化，当物体表面离摄像机足够远时，实际上物体的宏观法线贴图或几何结构其实变成了该像素的“微观结构”，然而，一般法线贴图或几何结构与BRDF都是独立的，例如法线贴图首先被过滤到最模糊的级别，而后用于Microfacet BRDF的计算，这就使得artifacts很是严重，例以下图中三种不一样的距离下，近处的水波细节在远距离下产生较大的artifacts。

或者以下图中，光盘上的划痕，在远距离下直接被模糊掉了。

在远距离下，因为几何级的法线数据首先被过滤，而后做用与BRDF，所以这种细节丢失，物体表面的细节随着距离摄像机的距离改变而改变（图片来自【13】）

 

PBR的下一步发展在哪里？

上述的描述其实能够总结为两个方面：

• 传统Microfacet BRDF对微观结构的表述精确度不足
• 传统的Microfacet BRDF与宏观的（如法线）贴图或几何结构不相容，或者说不能相互协调工做

这是两个独立的问题，例如单提升BRDF的精确度不能解决第二个问题，由于对于远处的物体，咱们须要将几何级的结构视做像素的微观结构（例如微面元），不然咱们须要很高的采样才能消除artifact，而这对于远处的物体较高的采样显然是比较浪费的；其次，让宏观的几何结构与BRDF相协调对于近处物体的细节表述是没有什么意义的。固然以下所述，若是高分辨率的法线贴图被视做几何结构，那么第二个问题的确能改善第一个问题。

首先，对于微观结构的表述，出于计算效率的考虑，目前咱们还不可能使用很是复杂的Microfacet BRDF近似模型，由于比较精确的模型可能须要上百倍的计算时间。当前的研究主要是集中于使用高分辨率的法线贴图（或者其它一些特殊的高分辨率几何结构）来表述这种介于像素和微观粒子之间的几何结构，而后将每一个像素对应的这种几何级的数据与BRDF相融合，得出一种可以适应这些几何结构的Microfacet BRDF模型。这种模型可以表述更微观的几何细节，例以下图所示，光盘和地板上那种细节在传统的BRDF上是表现不出来的，由于它们会彻底被平滑掉。

Microfacet BRDF与高分辨率贴图结合产生更多细节（图片来自【10】）

 

经过结合传统的Microfacet BRDF模型与贴图，两种着色技术被结合起来，使得咱们没必要使用更复杂的Microfacet BRDF模型就能够表述更精细的微观结构。

除了将高分辨率的贴图融入进Microfacet BRDF模型中，对于远处的表面，咱们还须要可以直接将宏观的表面几何结构融入进Microfacet BRDF模型中，即这些宏观几何结构成为一个像素中的微面元自己。

在传统的Microfacet BRDF模型中，针对每个像素，咱们首先根据法线贴图或其它方式获得一个当前像素的法线，而后代入进Microfacet BRDF模型中计算出射光照。然而咱们说过，Microfacet BRDF模型发生于像素尺寸，而法线采样发生于纹理尺寸，这两个尺寸一般是不对等且随着表面到摄像机的距离变化而变化的，例如对于比较近的表面，假如像素与纹理尺寸是一比一的，那么这个法线采样会比较准确，它能够直接被用于Microfacet BRDF模型中进行计算；而后对于远处的表面，一个像素尺寸可能等于多个纹素尺寸，这时对法线贴图的直接采用就会致使比较大的方差，咱们须要花不少的样本才能把这些方差平均下来，所以传统的作法就是首先对法线贴图进行过滤，也就是从一个Mipmap中获得对应距离的法线值。这种作法虽然使用平滑的误差带来了方差的减少，可是它又平滑了这种几何级的细节，因此咱们仍然须要很是高的采样率来填补这些细节。

因此，若是咱们可以将几何级的宏观结构也融入到Microfacet BRDF中，对于远距离的表面，宏观的几何结构直接集成于Microfacet BRDF中，就可以使用比较少的样原本获得远处表面的细节，例以下图中，使用传统的Microfacet BRDF，左图使用100个样本能够获得比较精细的细节，可是中图使用一个样本则比较模糊，由于较远的地方法线贴图的采样被过滤了，右图将几何结构融入Microfacet BRDF中，可使用较少的样本获得远处的几何细节。

左图：传统的Microfacet BRDF，使用每像素100个样本；中图：传统的Microfacet BRDF，每像素一个样本；右图：将几何结构融入Microfacet BRDF中，每像素一个样本（图片来自【4】）

 

可以将几何级的贴图数据和Microfacet BRDF融合，许多的表面均可以获得更精细的表述。

图片来自【13】

 

固然，因为bump map或normal map都是对法线的fake，它们并不改变物体表面的几何结构，仅仅是直接给着色器传递一个假的的法线值，这个法线值可能致使物体表面的表面几何分布并非一致的（consistent），所以这就破话了Microfacet BRDF的对称性和能量守恒。例以下图所示，因为表面的真实几何结构没有发生变化，然而着色使用了一个假的法线，所以使得一部分的方向被丢失，例如对于下图而言，左边半球与几何平面交叉的部分（红色箭头所示）和右图半球面下方的方向（红色箭头所示）都是不能被采样的，这形成了光照的泄露和丢失。

图片来自【11】

 

所以，开发更高效的Microfacet BRDF模型，使其可以与在bump/normal map的配合下可以呈现更真实的着色，也是Microfacet BRDF发展的话题，如下是Unity labs的一种解决方案。

图片来自【11】

 

总结

出于性能考虑，当前传统的Microfacet BRDF都采用比较模糊近似模型，这使得介于像素和微观粒子之间的微观结构被忽略。而实践上咱们也不可能采用表述更精确的Microfacet BRDF模型，由于这每每须要较大的数据存储（例如一些基于数据驱动的Microfacet BRDF模型）或者较大的计算时间，不过实际上可能人眼也不可能分辨太过微观的细节，所以结合传统的（bump/Displacement/normal map等）贴图技术，经过高分辨率的贴图来展示比像素更微观的细节，并让这些贴图所表述的相对宏观的几何结构融入到Microfacet BRDF模型中，便成为比较简洁而有效的方法。此外，除了贴图级别的宏观几何结构，远处更大尺寸的如顶点级别的几何结构也是须要与Microfacet BRDF模型进行融合的。

对于理解Microfacet BRDF模型，表面表述的尺寸是一个很是关键的因素，仔细去理解每种尺寸下着色模型的选择，以及它们之间怎么联合起来对总的表面进行着色，这是让你透彻理解着色的关键。

 

 

参考引用或相关补充资源：
[1] 2010 LEAN Mapping
[2] 2013 Linear Efficient Antialiased Displacement and Re ectance Mapping
[3] 2014 Discrete Stochastic Microfacet Models
[4] 2014 Geometry into Shading
[5] 2014 Rendering Glints on High-resolution Normal-mapped Specular Surfaces
[6] 2014 Understanding the Masking-Shadowing Function in Microfacet-Based BRDFs
[7] 2015 Multiple-Scattering Microfacet BSDFs with the Smith Model
[8] 2015 Skin Microstructure Deformation with Displacement Map Convolution
[9] 2016 Multi-Scale Rendering of Scratched Materials using a Structured SV-BRDF Model
[10] 2016 Position-Normal Distributions for Efficient Rendering of Specular Microstructure
[11] 2017 Microfacet-based Normal Mapping for Robust Monte Carlo Path Tracing
[12] 2017 Pixar's Foundation for Materials
[13] Racing for Realism