OpenGL ES 2.0 ——一张胶片的纹理渲染之旅

前面的博客没有过多的涉及代码，这篇博客就聊聊渲染纹理，和OpenGL ES2.0 API的使用 和 步骤。

什么是纹理？ 纹理能够是一张图片也能够是颜色，就好像咱们穿着的那一层衣服，他就是纹理；你在赤裸的身体上用一种或多种颜料画满了画，这层画也是纹理，他就是最外层的包装。

什么是纹理渲染？，就是在将那层纹理转换成famebuffer内带颜色的像素点，显示在屏幕上，错落不一样的颜色像素点，构成了咱们看到的画面。因此说，纹理就是以不一样颜色的形式呈如今屏幕上。

纹理图片
相机：哈苏500cm
胶片：Kodak Ektar100
环境
操做系统：macOS 10.15.5
IDE：Xcode 11.5
运行设备：Simulator iPhone SE 2nd
执行结果

接下来按照这个流程来进行代码编写，从 开始设置图层CAEAGLLayer->完成FrameBuffer 看成是渲染的准备工做，最后一步渲染会继续拆分

引入必要的库——OpenGL ES2.0

#import <OpenGLES/ES2/gl.h>

定义须要用到的变量属性

@interface DrawView()

/// 在iOS和tvOS上绘制OpenGL ES内容的图层，CAEAGLLayer继承于CALayer
@property(nonatomic,strong)CAEAGLLayer *myEagLayer;

/// 建立的上下文
@property(nonatomic,strong)EAGLContext *myContext;

/// 渲染缓存区 （实际上是该缓存区的ID，经过ID能够访问该缓存区，类比指针）
@property(nonatomic,assign)GLuint myColorRenderBuffer;
/// 帧缓存区 （同上）
@property(nonatomic,assign)GLuint myColorFrameBuffer;

/// 自定义的可编程管线，编译并附着了顶点着色器和片元着色器，能够将CPU内的顶点等其余数据传入自定义着色器
@property(nonatomic,assign)GLuint myPrograme;

@end
复制代码

1、设置渲染的图层CAEAGLLayer

重写layerClass 将self.layer从CALayer变成->CAEAGLLayer

// 代码
+ (Class)layerClass
{
    return [CAEAGLLayer class];
}
复制代码

开始设置图层

// 代码
- (void)setupLayer
{
    //1.建立特殊图层
    self.myEagLayer = (CAEAGLLayer *)self.layer;
    
    //2.设置scale
    [self setContentScaleFactor:[[UIScreen mainScreen]scale]];

    //3.设置描述属性，这里设置不维持渲染内容以及颜色格式为RGBA8
    NSDictionary *drawableProperties = @{
        kEAGLDrawablePropertyRetainedBacking: @false,
        kEAGLDrawablePropertyColorFormat    : kEAGLColorFormatRGBA8
    };
    
    self.myEagLayer.drawableProperties = drawableProperties;
  
}
复制代码

CAEAGLLayer是Apple在QuartzCore里为咱们提供的绘制图层，咱们绘制的纹理等能够绘制在这个图层，他继承于CALayer，而且继承了协议EAGLDrawable

drawableProperties中kEAGLDrawablePropertyRetainedBacking表示绘图表面显示后，是否保留其内容
drawableProperties中的kEAGLDrawablePropertyColorFormat表示绘制表面的内部颜色缓存区格式 下面这是Apple给出的定义

/************************************************************************/
/* Values for kEAGLDrawablePropertyColorFormat key                      */
/************************************************************************/
EAGL_EXTERN NSString * const kEAGLColorFormatRGBA8;	// 32位RGBA的颜色，4*8=32位
EAGL_EXTERN NSString * const kEAGLColorFormatRGB565;// 16位RGB的颜色
EAGL_EXTERN NSString * const kEAGLColorFormatSRGBA8 // sRGB表明了标准的红、绿、蓝，即CRT显示器、LCD显示器、投影机、打印机以及其余设备中色彩再现所使用的三个基本色素。sRGB的色彩空间基于独立的色彩坐标，可使色彩在不一样的设备使用传输中对应于同一个色彩坐标体系，而不受这些设备各自具备的不一样色彩坐标的影响。NS_AVAILABLE_IOS(7_0);
复制代码

2、建立上下文EAGLContext

-(void)setupContext
{
    //1.指定OpenGL ES 渲染API版本，咱们使用2.0
    EAGLRenderingAPI api = kEAGLRenderingAPIOpenGLES2;
    
    //2.建立图形上下文
    EAGLContext *context = [[EAGLContext alloc]initWithAPI:api];
    
    //3.判断是否建立成功
    if (!context) {
        NSLog(@"Create context failed!");
        return;
    }
    
    //4.设置图形上下文
    if (![EAGLContext setCurrentContext:context]) {
        NSLog(@"setCurrentContext failed!");
        return;
    }
    
    //5.将局部context，变成全局的
    self.myContext = context;  
}
复制代码

3、清空缓存区

-(void)deleteRenderAndFrameBuffer
{
    /*
     buffer分为frame buffer 和 render buffer2个大类。
     其中frame buffer 至关于render buffer的管理者。
     frame buffer object即称FBO。
     render buffer则又可分为3类。colorBuffer、depthBuffer、stencilBuffer。
     */
    
    glDeleteBuffers(1, &_myColorRenderBuffer);
    self.myColorRenderBuffer = 0;
    
    glDeleteBuffers(1, &_myColorFrameBuffer);
    self.myColorFrameBuffer = 0;
}
复制代码

在这里，出现了两个缓存区：framebuffer 、 renderbuffer

framebuffer 和 renderbuffer

framebuffer在离屏渲染的时候曾提到过，这是一个最终绘制完成的缓存区，当屏幕刷新控制器刷新（60Hz）时，从framebuffer交给屏幕显示。 一个framebuffer object 对象又被称为FBO，下面均使用FBO

renderbuffer是什么呢？下图是苹果官方提供的framebuffer和renderbuffer的关系图。renderbuffer有三种：colorbuffer（颜色）、depthbuffer（深度）、texture（纹理）。这三种分别用来存放color、depth、texture。FBO则提供了三个附着点 GL_COLOR_ATTACHMENT0 、 GL_DEPTH_ATTACHMENT 、GL_STENCIL_ATTACHMENT 分别用来挂载（绑定） colorbuffer object 、depthbuffer object 、 texture。

图中只画出了GL_COLOR_ATTACHMENT0和GL_DEPTH_ATTACHMENT

4、设置缓存区RenderBuffer

- (void)setupRenderBuffer
{
    //1.定义一个缓存区ID
    GLuint buffer;
    
    //2.申请一个缓存区标志
    glGenRenderbuffers(1, &buffer);
    
    //3.
    self.myColorRenderBuffer = buffer;
    
    //4.将标识符绑定到GL_RENDERBUFFER
    glBindRenderbuffer(GL_RENDERBUFFER, self.myColorRenderBuffer);
    
    //5.将可绘制对象drawable object's  CAEAGLLayer的存储绑定到OpenGL ES renderBuffer对象
    [self.myContext renderbufferStorage:GL_RENDERBUFFER fromDrawable:self.myEagLayer];
}
复制代码

苹果官方文档也讲的很清楚：申请、绑定、 存储到self.myEagLayer

5、设置缓存区FrameBuffer

- (void)setupFrameBuffer
{
    //1.定义一个缓存区ID
    GLuint buffer;
    
    //2.申请一个缓存区标志
    glGenBuffers(1, &buffer);
    
    //3. 
    self.myColorFrameBuffer = buffer;
    
    //4. 将申请的缓存区标志和缓存区绑定，ID即该缓存区，经过使用ID就是在使用缓存区
    glBindFramebuffer(GL_FRAMEBUFFER, self.myColorFrameBuffer);
    
    /*生成帧缓存区以后，则须要将renderbuffer跟framebuffer进行绑定，
     调用glFramebufferRenderbuffer函数进行绑定到对应的附着点上，后面的绘制才能起做用
     */
    
    //5.将渲染缓存区myColorRenderBuffer 经过glFramebufferRenderbuffer函数绑定到 GL_COLOR_ATTACHMENT0上。
    glFramebufferRenderbuffer(GL_FRAMEBUFFER, GL_COLOR_ATTACHMENT0, GL_RENDERBUFFER, self.myColorRenderBuffer);
    
}
复制代码

步骤和前面的renderbuffer差很少

• 使用函数：glGenBuffers 申请缓存区标志
• 使用函数：glBindFramebuffer 绑定缓存区标志和真实的缓存区，后面能够直接使用此标志，类别指针来理解。
• 可是接下来不一样于renderbuffer，framebuffer是将renderbuffer绑定到framebuffer本身的GL_COLOR_ATTACHMENT0位置，GL_COLOR_ATTACHMENT0是一个位置。

6、渲染

这一步算是比较核心，须要准备绘制图形的编译着色器->使用program->坐标——顶点数据->图片解码->加载纹理->提交framebuffer显示。

这一步的方法，咱们命名为- (void)renderDraw {}, 下面的代码块和用到完整方法均是在此方法内执行或调用

- (void)renderDraw
{
	// 常规基础操做：清除背景色、设置视口
    
    // 读取顶点着色器、片元着色器
    
    // 加载编译后的顶点、片元着色器
    
    // 连接、使用附着了两大着色器的program
    
    // 设置顶点坐标和纹理坐标
    
    // 处理顶点：申请顶点缓存区、
    
    // 加载纹理：（图片解码）
    
    // 绘制、提交显示
}
复制代码

一、常规基础操做：清除背景色、设置视口

// renderDraw的代码
//设置清屏颜色
glClearColor(0.3f, 0.45f, 0.5f, 1.0f);
//清除屏幕
glClear(GL_COLOR_BUFFER_BIT);
    
//1.设置视口大小
CGFloat scale = [[UIScreen mainScreen]scale];
glViewport(self.frame.origin.x * scale, self.frame.origin.y * scale, self.frame.size.width * scale, self.frame.size.height * scale);
复制代码

二、读取顶点着色器、片元着色器

咱们熟悉的美颜相机的各类滤镜，其实就是用GLSL语言自定义顶点或者片元着色器，在GPUImage的代码里，能看到不一样滤镜的着色器代码。可是怎样用GLSL去写一个自定义滤镜，后面开专题案例，也能够参考GPUImage，它里面有很是丰富的GLSL滤镜代码。

// renderDraw的代码
// 读取自定义的两个着色器文件
NSString *vertFile = [[NSBundle mainBundle]pathForResource:@"shaderv" ofType:@"vsh"];
    NSString *fragFile = [[NSBundle mainBundle]pathForResource:@"shaderf" ofType:@"fsh"];
复制代码

这里须要说明一下，由于Xcode不支持编译GLSL，因此顶点着色器和片元着色器就是两段字符串文本，我只是将他们单独写在两个文件里，再读取。事实上这两段文本也能够以其余的形态存在，在GPUImage中，这两个着色器就是以C字符串的形式同时定义在.m文件里，只要拿到的是字符串，能知足OpenGL指定的方法去编译便可

三、加载编译后的顶点、片元着色器

上面也讲了，Xcode不支持编译着色器，咱们须要OpenGL本身去编译，而后附着到program上，点到为止，剩下的事情，由program继续完成。因此这一步，咱们的任务是：将着色器字符串编译->附着到program。

咱们先封装一个着色器编译方法compileShader：type：file：

// 着色器编译
//shader：编译完存储的底层地址
//type：编译的类型，GL_VERTEX_SHADER（顶点）、GL_FRAGMENT_SHADER(片元)
//file：文件路径
- (void)compileShader:(GLuint *)shader type:(GLenum)type file:(NSString *)file
{
    
    //1.读取文件路径字符串
    NSString* content = [NSString stringWithContentsOfFile:file encoding:NSUTF8StringEncoding error:nil];
    const GLchar* source = (GLchar *)[content UTF8String];
    
    //2.建立一个shader（根据type类型）
    *shader = glCreateShader(type);
    
    //3.将着色器源码附加到着色器对象上。
    //参数1：shader,要编译的着色器对象 *shader
    //参数2：numOfStrings,传递的源码字符串数量 1个
    //参数3：strings,着色器程序的源码（真正的着色器程序源码）
    //参数4：lenOfStrings,长度，具备每一个字符串长度的数组，或NULL，这意味着字符串是NULL终止的
    glShaderSource(*shader, 1, &source,NULL);
    
    //4.把着色器源代码编译成目标代码
    glCompileShader(*shader);
}
复制代码

这段代码就干了三件事：

• 建立shader——————————————glCreateShader
• 附着shader的GLSL源码————-glShaderSource
• 编译shader——————————————glCompileShader

回到renderDraw方法，这是咱们整个渲染模块的主函数。

// renderDraw的代码
// 一、定义两个着色器 
GLuint verShader, fragShader;

// 二、编译顶点和片元着色器
[self compileShader:&verShader type:GL_VERTEX_SHADER file:vert];
[self compileShader:&fragShader type:GL_FRAGMENT_SHADER file:frag];

// 三、建立program
self.myPrograme = glCreateProgram();

// 四、将编译的着色器附着到program
glAttachShader(program, verShader);
glAttachShader(program, fragShader);

// 5.释放不须要的shader
glDeleteShader(verShader);
glDeleteShader(fragShader); 
复制代码

此刻咱们就已经拿到了附着了编译好着色器的program——self.myPrograme。 在拿到编译好的shader后，这段代码其实就干了两件事，目的是获取program：

• 建立program
• 附着shader到program

四、连接、使用附着了两大着色器的program

上面已经提到Program，Program干什么，打个比方：她就像是拥有了两项已经练成（编译附着）的绝世武功（着色器），而咱们又不会，那咱们只有经过告诉她作什么，间接地使用了这两项绝世武功（着色器）。因此program更像是一个OC/swift和GLSL通讯的桥梁。 就像是JSCoreBridge的做用!!!

// renderDraw的代码
// 一、连接program
glLinkProgram(self.myPrograme);
GLint linkStatus;
// 2.获取连接状态
glGetProgramiv(self.myPrograme, GL_LINK_STATUS, &linkStatus);
if (linkStatus == GL_FALSE) {
    // 连接异常处理
    return;
}
// 3.使用program
glUseProgram(self.myPrograme);
复制代码

值得注意的是———— 到这一步为止，咱们已经完成开始使用program，目的是为了将顶点数据等其余传入顶点和片元着色器，因此咱们也能够先作接下来的 设置顶点坐标和纹理坐标 和 设置顶点数据 ，只要在经过program将数据传入着色器以前完成使用program就能够。

五、设置顶点坐标和纹理坐标

// renderDraw的代码
GLfloat attrArr[] =
    {
        0.5f, -0.5f, -1.0f,     1.0f, 0.0f,
        -0.5f, 0.5f, -1.0f,     0.0f, 1.0f,
        -0.5f, -0.5f, -1.0f,    0.0f, 0.0f,
        
        0.5f, 0.5f, -1.0f,      1.0f, 1.0f,
        -0.5f, 0.5f, -1.0f,     0.0f, 1.0f,
        0.5f, -0.5f, -1.0f,     1.0f, 0.0f,
    };
复制代码

attAr存放了红色虚线分割的两个三角形，共计六个顶点和纹理坐标。 前3个是顶点坐标，后边2个是映射的纹理坐标

这里的坐标系是物体坐标系，即物体中心点是坐标中心点，以下图所示：左边是按照数组映射了纹理的顶点坐标系，右边是纹理坐标系。

补充： 咱们在贴图的时候，纹理的坐标系以左下角为原点。长宽均为1，和纹理图片的实际宽高无关。咱们要作的就是将纹理对应的映射到顶点上，完成贴图。

六、处理顶点数据

这一步，咱们的目的很简单：就是申请一块顶点缓存区存放刚刚的顶点数据，再将缓存区内的顶点经过program传给顶点着色器。

（1）首先：申请顶点缓存区，存入数据

又是缓存三步曲：申请glGenBuffers、绑定glBindBuffer、放数据glBufferData

// renderDraw的代码
GLuint attrBuffer;
// 一、申请一个缓存区标识符
glGenBuffers(1, &attrBuffer);
// 二、将attrBuffer绑定到GL_ARRAY_BUFFER标识符上
glBindBuffer(GL_ARRAY_BUFFER, attrBuffer);
// 三、把顶点数据从CPU内存复制到GPU上
glBufferData(GL_ARRAY_BUFFER,sizeof(attrArr),attrArr,GL_DYNAMIC_DRAW);
复制代码

（2）将顶点数据经过myPrograme中的传递到顶点着色程序的position

• glGetAttribLocation/glGetUniformLocation 获取着色器中定义的变量

// renderDraw的代码
// “position”是着色器中定义的变量名，先经过glGetAttribLocation获取着色器中这个变量标志，若是position是用uniform定义，则使用glGetUniformLocation
GLuint position = glGetAttribLocation(self.myPrograme, "position");
// 设置合适的格式从buffer里面读取数据
glEnableVertexAttribArray(position);
// 设置读取方式
glVertexAttribPointer(position, 3, GL_FLOAT,GL_FALSE,sizeof(GLfloat) * 5, NULL);
复制代码

这也是OC和着色器的数据传递的固定格式。其中的glVertexAttribPointer

//参数1：index 顶点数据的索引
//参数2：size 每一个顶点属性的组件数量，1，2，3，或者4.默认初始值是4.
//参数3：type 数据中的每一个组件的类型，经常使用的有GL_FLOAT,GL_BYTE,GL_SHORT。默认初始值为GL_FLOAT
//参数4：normalized 固定点数据值是否应该归一化，或者直接转换为固定值。（GL_FALSE）
//参数5：stride 连续顶点属性之间的偏移量，默认为0；
//参数6：指定一个指针，指向数组中的第一个顶点属性的第一个组件。默认为0
glVertexAttribPointer (GLuint indx, GLint size, GLenum type, GLboolean normalized, GLsizei stride, const GLvoid* ptr)
复制代码

（3）将纹理数据经过myPrograme中的传递到顶点着色程序的textCoordinate

// renderDraw的代码

GLuint textCoor = glGetAttribLocation(self.myPrograme, "textCoordinate");
glEnableVertexAttribArray(textCoor);
glVertexAttribPointer(textCoor, 2, GL_FLOAT, GL_FALSE, sizeof(GLfloat)*5, (float *)NULL + 3);
复制代码

七、加载纹理

咱们封装一个方法setupTexture从图片中获取纹理

// renderDraw的代码

[self setupTexture:@"bali"];
复制代码

setupTexture方法展开：

- (GLuint)setupTexture:(NSString *)fileName {
    
    //一、将 UIImage 转换为 CGImageRef
    CGImageRef spriteImage = [UIImage imageNamed:fileName].CGImage;
    
    //判断图片是否获取成功
    if (!spriteImage) {
        NSLog(@"Failed to load image %@", fileName);
        exit(1);
    }
    
    //二、读取图片的大小，宽和高
    size_t width = CGImageGetWidth(spriteImage);
    size_t height = CGImageGetHeight(spriteImage);
    
    //3.获取图片字节数 宽*高*4（RGBA）
    GLubyte * spriteData = (GLubyte *) calloc(width * height * 4, sizeof(GLubyte));
    
    //4.建立上下文
    /*
     参数1：data,指向要渲染的绘制图像的内存地址
     参数2：width,bitmap的宽度，单位为像素
     参数3：height,bitmap的高度，单位为像素
     参数4：bitPerComponent,内存中像素的每一个组件的位数，好比32位RGBA，就设置为8
     参数5：bytesPerRow,bitmap的没一行的内存所占的比特数
     参数6：colorSpace,bitmap上使用的颜色空间  kCGImageAlphaPremultipliedLast：RGBA
     */
    CGContextRef spriteContext = CGBitmapContextCreate(spriteData, width, height, 8, width*4,CGImageGetColorSpace(spriteImage), kCGImageAlphaPremultipliedLast);
    

    //五、在CGContextRef上--> 将图片绘制出来
    /*
     CGContextDrawImage 使用的是Core Graphics框架，坐标系与UIKit 不同。UIKit框架的原点在屏幕的左上角，Core Graphics框架的原点在屏幕的左下角。
     CGContextDrawImage 
     参数1：绘图上下文
     参数2：rect坐标
     参数3：绘制的图片
     */
    CGRect rect = CGRectMake(0, 0, width, height);
   
    //6.使用默认方式绘制
    CGContextDrawImage(spriteContext, rect, spriteImage);
   
    //七、画图完毕就释放上下文
    CGContextRelease(spriteContext);
    
    //八、绑定纹理到默认的纹理ID（
    glBindTexture(GL_TEXTURE_2D, 0);
    
    //9.设置纹理属性
    /*
     参数1：纹理维度
     参数2：线性过滤、为s,t坐标设置模式
     参数3：wrapMode,环绕模式
     */
    glTexParameteri( GL_TEXTURE_2D, GL_TEXTURE_MIN_FILTER, GL_LINEAR );
    glTexParameteri( GL_TEXTURE_2D, GL_TEXTURE_MAG_FILTER, GL_LINEAR );
    glTexParameteri( GL_TEXTURE_2D, GL_TEXTURE_WRAP_S, GL_CLAMP_TO_EDGE);
    glTexParameteri( GL_TEXTURE_2D, GL_TEXTURE_WRAP_T, GL_CLAMP_TO_EDGE);
    
    float fw = width, fh = height;
    
    //10.载入纹理2D数据
    /*
     参数1：纹理模式，GL_TEXTURE_1D、GL_TEXTURE_2D、GL_TEXTURE_3D
     参数2：加载的层次，通常设置为0
     参数3：纹理的颜色值GL_RGBA
     参数4：宽
     参数5：高
     参数6：border，边界宽度
     参数7：format
     参数8：type
     参数9：纹理数据
     */
    glTexImage2D(GL_TEXTURE_2D, 0, GL_RGBA, fw, fh, 0, GL_RGBA, GL_UNSIGNED_BYTE, spriteData);
    
    //11.释放spriteData
    free(spriteData);   
    return 0;
}
复制代码

八、绘制、提交显示

设置纹理采样器 sampler2D

glUniform1i(glGetUniformLocation(self.myPrograme, "colorMap"), 0);

绘图

glDrawArrays(GL_TRIANGLES, 0, 6);

从渲染缓存区显示到屏幕上

[self.myContext presentRenderbuffer:GL_RENDERBUFFER];

总结

代码的核心在于文章的 渲染 一大段的分析内。

第一个点：缓存区的使用

// 一、申请标志
glGenBuffers (GLsizei n, GLuint* buffers);
// 二、绑定标志和缓存区
glBindBuffer (GLenum target, GLuint buffer);// 普通buffer绑定
glBindFramebuffer (GLenum target, GLuint framebuffer);//Framebuffer绑定
glBindRenderbuffer (GLenum target, GLuint renderbuffer);//Renderbuffer的绑定
复制代码

第二个点：着色器的编译和编写

// 一、建立
glCreateShader (GLenum type); 
// 二、附着GLSL源码字符串
glShaderSource (GLuint shader, GLsizei count, const GLchar* const *string, const GLint* length); 
// 三、编译
glCompileShader (GLuint shader); 
复制代码

第三个点：program的建立和使用

// 一、建立
glCreateProgram (void) ; 
// 二、附着着色器
glAttachShader (GLuint program, GLuint shader); // 附着顶点着色器
glAttachShader (GLuint program, GLuint shader); // 附着片元着色器
// 三、连接
glLinkProgram (GLuint program); 
// 四、使用
glUseProgram (GLuint program);
复制代码

第四个点：CPU与GPU的数据传递，经过program，将数据传给着色器

// 一、从program中得到着色器的输入变量
glGetAttribLocation; // 得到attribute定义的输入变量
glGetUniformLocation;// 得到uniform定义的输入变量
// 二、设置合适的格式从buffer里面读取数据
glEnableVertexAttribArray
// 三、设置读取方式
glVertexAttribPointer;
复制代码

第五个点：图片的解码 就是setupTexture方法

这个案例只是简单以一张静态图片为例。可是遗留了一个小问题：咱们在构造顶点数据时，Y轴正向是向上的，而通过一系列坐标系转换后，获得iOS手机屏幕坐标系截然相反，Y轴是向下的，最终呈现了图片倒置的状况。就须要对图片作反转处理，这个能够在顶点着色器内完成，也能够在OC代码里完成。