Linux Graphic DRI Wayland 显示子系统

转：https://blog.csdn.net/u013165704/article/details/80709547

1. 前言

上篇文章（Linux graphic subsytem(1)_概述）介绍了linux图形子系统基本的软件框架，以及GUI、Windowing system、3D渲染等基本概念。文中提到了linux DRI（Direct Render Infrastructure）框架，但限于篇幅，没有过多介绍。

蜗蜗以为，DRI在当前（或者说未来）的linux图形子系统中，有着举足轻重的地位，甚至能够说是新的linux图形框架核心思想的体现。本文将基于linux图形框架的发展历程，从Why、What和How三个角度，介绍DRI框架。

2. 为何须要DRI

在GUI环境中，一个Application想要将自身的UI界面呈现给用户，须要2个步骤：

1）根据实际状况，将UI绘制出来，以必定的格式，保存在buffer中。该过程就是常说的“Rendering”。

不知道为何，wowo一直以为“Render”这个英文单词太专业、太抽象了，理解起来有些困难。时间久了，也就再也不执著了，看到它时，就想象一下内存中的图像数据（RGB或YUV格式），Rendering就是生成它们的过程。

一般来讲，Rendering有多种表现形式，但可归结为以下几类：

a）2D的点、线、面等绘图，例如，“经过一个for循环，生成一个大小为640x480、格式为RGB88八、填充颜色为红色的矩形框”，就是一个2D rendering的例子。

b）3D渲染。该过程牵涉比较复杂的专业知识，这里先不举例了。

c）图片、视频等多媒体解码。

d）字体渲染，例如直接从字库中抽出。

2）将保存在buffer中的UI数据，显示在display device上。该过程通常称做“送显”。

而后问题就来了：这两个步骤中，display server要承担什么样的角色？回答这个问题以前，咱们须要知道这样的一个理念：

在操做系统中，Application不该该直接访问硬件，一般的软件框架是（从上到下）：Application<---->Service<---->Driver<---->Hardware。这样考虑的缘由主要有二：安全性和共享硬件资源（例如显示设备只有一个，却有多个应用想要显示）。

对稍微有经验的软件开发人员（特别是系统工程师和驱动工程师）来讲，这种理念就像杀人偿命、欠债还钱同样天经地义。但直到X server+3D出现以后，一切都很差了。由于X server大喊的着：“让我来！”，给出了这样的框架：

先不考虑上面的GLX、Utah GLX等术语，咱们只须要理解一点便可：

基于OpenGL的3D program须要进行3D rendering的时候，须要经过X server的一个扩展（GLX），请求X server帮忙处理。X server再经过底层的driver（位于用户空间），经过kernel，访问硬件（如GPU）。

其它普通的2D rendering，如2D绘图、字体等，则直接请求X server帮忙完成。

看着不错哦，彻底知足上面的理念。但计算机游戏、图形设备硬件等开发人员不乐意了：请让咱们直接访问硬件！由于不少高性能的图形设备，要求相应的应用程序直接访问硬件，才能实现性能最优^[1]。

好像每一个人都是对的，怎么办？妥协的结果是，为3D Rendering另起炉灶，给出一个直接访问硬件的框架，DRI就应运而生了，以下：

上面好像讲的都是Rendering有关的内容，那送显呢？仍是由display server统一处理比较好，由于显示设备是有限的，多个应用程序的多个界面都要争取这有限的资源，server会统一管理、叠加并显示到屏幕上。而这里叠加的过程，一般称做合成（Compositor），后续文章会重点说明。

3. 软件架构

DRI是因3D而生，但它却不只仅是为3D而存在，这背后涉及了最近Linux图形系统设计思路的转变，即：

从之前的：X serve是宇宙的中心，其它的接口都要和我对话。

转变为：Linux kernel及其组件为中心，X server（如Wayland compositor等）只是角落里的一员，无关紧要。

最终，基于DRI的linux图形系统以下（参考自^[4][5]）：

该框架以基于Wayland的Windowing system为例，描述了linux graphic系统在DRI框架下，经过两条路径（DRM和KMS），分别实现Rendering和送显两个显示步骤。从应用的角度，显示流程是：

1）Application（如3D game）根据用户动做，须要重绘界面，此时它会经过OpenGL|ES、EGL等接口，将一系列的绘图请求，提交给GPU。

a）OpenGL|ES、EGL的实现，能够有多种形式，这里以Mesa 3D为例，全部的3D rendering请求，都会通过该软件库，它会根据实际状况，经过硬件或者软件的方式，响应Application的rendering请求。

b）当系统存在基于DRI的硬件rendering机制时，Mesa 3D会经过libGL-meas-DRI，调用DRI提供的rendering功能。

c）libGL-meas-DRI会调用libdrm，libdrm会经过ioctl调用kernel态的DRI驱动，这里称做DRM（Direct Rendering Module）。

d）kernel的DRM模块，最终经过GPU完成rendering动做。

2）GPU绘制完成后，将rendering的结果返回给Application。

rendering的结果是以image buffer的形式返回给应用程序。

3）Application将这些绘制完成的图像buffer（可能不知一个）送给Wayland compositor，Wayland compositor会控制硬件，将buffer显示到屏幕上。

Wayland compositor会搜集系统Applications送来的全部image buffers，并处理buffer在屏幕上的坐标、叠加方式后，直接经过ioctl，交给kernel KMS（kernel mode setting）模块，该模块会控制显示控制器将图像显示到具体的显示设备上。

4. DRM和KMS

DRM是Direct Rendering Module的缩写，是DRI框架在kernel中的实现，负责管理GPU（或显卡，graphics card）及相应的graphics memory，主要功能有二：

1）统一管理、调度多个应用程序向显卡发送的命令请求，能够类比为管理CPU资源的进程管理（process management）模块。

2）统一管理显示有关的memory（memory能够是GPU专用的，也能够是system ram划给GPU的，后一种方法在嵌入式系统比较经常使用），该功能由GEM（Graphics Execution Manager）模块实现，主要包括：

a） 容许用户空间程序建立、管理、销毁video memory对象（称做“"GEM objects”，以handle为句柄）。

b）容许不一样用户空间程序共享同一个"GEM objects”（须要将不惟一的handle转换为同一个driver惟一的GEM name，后续使用dma buf）。

c）处理CPU和GPU之间内存一致性的问题。

d）video memory都在kernel管理，便于给到display controller进行送显（Application只须要把句柄经过Wayland Compositor递给kernel便可，kernel会自行获取memory及其内容）。

KMS是Kernel Mode Setting的缩写，也称做Atomic KMS，它是一个在linux 4.2版本的kernel上，才最终定性的技术。从字面意义上理解，它要实现的功能比较简单，即：显示模式（display mode）的设置，包括屏幕分辨率（resolution）、颜色深的（color depth）、屏幕刷新率（refresh rate）等等。通常来讲，是经过控制display controller的来实现上述功能的。

也许你们会有疑问：这些功能和DRI有什么关系？说实话，关系不大，之因此要在DRI框架里面说起KMS，彻底是历史缘由，致使KMS的代码，放到DRM中实现了。目前的kernel版本（如4.2以后），KMS和DRM基本上没有什么逻辑耦合（除了代码位于相同目录，以及经过相同的设备节点提供ioctl以外），能够当作独立模块看待。

继续上面的话题，只是简单的display mode设置的话，代码实现不复杂吧？还真不必定！相反，KMS有关的技术背景、软件实现等，是至关复杂的，所以也就不能三言两语说得清，我会在单独的文章中重点分析KMS。

5. 参考文档

[1]: https://en.wikipedia.org/wiki/Direct_Rendering_Infrastructure

[2]: https://en.wikipedia.org/wiki/Wayland_(display_server_protocol)

[3]: http://wayland.freedesktop.org/architecture.html

[4]: Linux_kernel_and_daemons_with_exclusive_access.svg

[5]: Wayland_display_server_protocol.svg