探讨iOS 中图片的解压缩到渲染过程

一.图像从文件到屏幕过程

一般计算机在显示是CPU与GPU协同合做完成一次渲染.接下来咱们了解一下CPU/GPU等在这样一次渲染过程当中,具体的分工是什么?

• CPU: 计算视图frame，图片解码，须要绘制纹理图片经过数据总线交给GPU
• GPU: 纹理混合，顶点变换与计算,像素点的填充计算，渲染到帧缓冲区。
• 时钟信号：垂直同步信号V-Sync / 水平同步信号H-Sync。
• iOS设备双缓冲机制：显示系统一般会引入两个帧缓冲区，双缓冲机制

图片显示到屏幕上是CPU与GPU的协做完成

对应应用来讲，图片是最占用手机内存的资源，将一张图片从磁盘中加载出来，并最终显示到屏幕上，中间其实通过了一系列复杂的处理过程。

二.图片加载的工做流程

1. 假设咱们使用 +imageWithContentsOfFile: 方法从磁盘中加载一张图片，这个时候的图片并无解压缩；

2. 而后将生成的 UIImage 赋值给 UIImageView ；

3. 接着一个隐式的 CATransaction 捕获到了 UIImageView 图层树的变化；

4. 在主线程的下一个 runloop 到来时，Core Animation 提交了这个隐式的 transaction ，这个过程可能会对图片进行 copy 操做，而受图片是否字节对齐等因素的影响，这个 copy 操做可能会涉及如下部分或所有步骤：

   • 分配内存缓冲区用于管理文件 IO 和解压缩操做；
   • 将文件数据从磁盘读到内存中；
   • 将压缩的图片数据解码成未压缩的位图形式，这是一个很是耗时的 CPU 操做；
   • 最后 Core Animation 中CALayer使用未压缩的位图数据渲染 UIImageView 的图层。
   • CPU计算好图片的Frame,对图片解压以后.就会交给GPU来作图片渲染

5. 渲染流程

   • GPU获取获取图片的坐标
   • 将坐标交给顶点着色器(顶点计算)
   • 将图片光栅化(获取图片对应屏幕上的像素点)
   • 片元着色器计算(计算每一个像素点的最终显示的颜色值)
   • 从帧缓存区中渲染到屏幕上

咱们提到了图片的解压缩是一个很是耗时的 CPU 操做，而且它默认是在主线程中执行的。那么当须要加载的图片比较多时，就会对咱们应用的响应性形成严重的影响，尤为是在快速滑动的列表上，这个问题会表现得更加突出。

三.为何要解压缩图片

既然图片的解压缩须要消耗大量的 CPU 时间，那么咱们为何还要对图片进行解压缩呢？是否能够不通过解压缩，而直接将图片显示到屏幕上呢？答案是否认的。要想弄明白这个问题，咱们首先须要知道什么是位图

其实，位图就是一个像素数组，数组中的每一个像素就表明着图片中的一个点。咱们在应用中常常用到的 JPEG 和 PNG 图片就是位图

你们能够尝试

UIImage *image = [UIImage imageNamed:@"text.png"];
CFDataRef rawData = CGDataProviderCopyData(CGImageGetDataProvider(image.CGImage));

复制代码

打印rawData,这里就是图片的原始数据.

事实上，不论是 JPEG 仍是 PNG 图片，都是一种压缩的位图图形格式。只不过 PNG 图片是无损压缩，而且支持 alpha 通道，而 JPEG 图片则是有损压缩，能够指定 0-100% 的压缩比。值得一提的是，在苹果的 SDK 中专门提供了两个函数用来生成 PNG 和 JPEG 图片：

// return image as PNG. May return nil if image has no CGImageRef or invalid bitmap format
UIKIT_EXTERN NSData * __nullable UIImagePNGRepresentation(UIImage * __nonnull image);

// return image as JPEG. May return nil if image has no CGImageRef or invalid bitmap format. compression is 0(most)..1(least)                           
UIKIT_EXTERN NSData * __nullable UIImageJPEGRepresentation(UIImage * __nonnull image, CGFloat compressionQuality);

复制代码

所以，在将磁盘中的图片渲染到屏幕以前，必须先要获得图片的原始像素数据，才能执行后续的绘制操做，这就是为何须要对图片解压缩的缘由。

四.解压缩原理

既然图片的解压缩不可避免，而咱们也不想让它在主线程执行，影响咱们应用的响应性，那么是否有比较好的解决方案呢？

咱们前面已经提到了，当未解压缩的图片将要渲染到屏幕时，系统会在主线程对图片进行解压缩，而若是图片已经解压缩了，系统就不会再对图片进行解压缩。所以，也就有了业内的解决方案，在子线程提早对图片进行强制解压缩。

而强制解压缩的原理就是对图片进行从新绘制，获得一张新的解压缩后的位图。其中，用到的最核心的函数是 CGBitmapContextCreate ：

CG_EXTERN CGContextRef __nullable CGBitmapContextCreate(void * __nullable data,
    size_t width, size_t height, size_t bitsPerComponent, size_t bytesPerRow,
    CGColorSpaceRef cg_nullable space, uint32_t bitmapInfo)
    CG_AVAILABLE_STARTING(__MAC_10_0, __IPHONE_2_0);

复制代码

• data ：若是不为 NULL ，那么它应该指向一块大小至少为 bytesPerRow * height 字节的内存；若是 为 NULL ，那么系统就会为咱们自动分配和释放所需的内存，因此通常指定 NULL 便可；
• width 和height ：位图的宽度和高度，分别赋值为图片的像素宽度和像素高度便可；
• bitsPerComponent ：像素的每一个颜色份量使用的 bit 数，在 RGB 颜色空间下指定 8 便可；
• bytesPerRow ：位图的每一行使用的字节数，大小至少为 width * bytes per pixel 字节。当咱们指定 0/NULL 时，系统不只会为咱们自动计算，并且还会进行 cache line alignment 的优化
• space ：就是咱们前面提到的颜色空间，通常使用 RGB 便可；
• bitmapInfo ：位图的布局信息.kCGImageAlphaPremultipliedFirst

五.YYImage\SDWebImage开源框架实现

• 用于解压缩图片的函数 YYCGImageCreateDecodedCopy 存在于 YYImageCoder 类中，核心代码以下

CGImageRef YYCGImageCreateDecodedCopy(CGImageRef imageRef, BOOL decodeForDisplay) {
    ...

    if (decodeForDisplay) { // decode with redraw (may lose some precision)
        CGImageAlphaInfo alphaInfo = CGImageGetAlphaInfo(imageRef) & kCGBitmapAlphaInfoMask;

        BOOL hasAlpha = NO;
        if (alphaInfo == kCGImageAlphaPremultipliedLast ||
            alphaInfo == kCGImageAlphaPremultipliedFirst ||
            alphaInfo == kCGImageAlphaLast ||
            alphaInfo == kCGImageAlphaFirst) {
            hasAlpha = YES;
        }

        // BGRA8888 (premultiplied) or BGRX8888
        // same as UIGraphicsBeginImageContext() and -[UIView drawRect:]
        CGBitmapInfo bitmapInfo = kCGBitmapByteOrder32Host;
        bitmapInfo |= hasAlpha ? kCGImageAlphaPremultipliedFirst : kCGImageAlphaNoneSkipFirst;

        CGContextRef context = CGBitmapContextCreate(NULL, width, height, 8, 0, YYCGColorSpaceGetDeviceRGB(), bitmapInfo);
        if (!context) return NULL;

        CGContextDrawImage(context, CGRectMake(0, 0, width, height), imageRef); // decode
        CGImageRef newImage = CGBitmapContextCreateImage(context);
        CFRelease(context);

        return newImage;
    } else {
        ...
    }
}

复制代码

它接受一个原始的位图参数 imageRef ，最终返回一个新的解压缩后的位图 newImage ，中间主要通过了如下三个步骤：

• 使用 CGBitmapContextCreate 函数建立一个位图上下文；
• 使用 CGContextDrawImage 函数将原始位图绘制到上下文中；
• 使用 CGBitmapContextCreateImage 函数建立一张新的解压缩后的位图。

事实上，SDWebImage 中对图片的解压缩过程与上述彻底一致，只是传递给 CGBitmapContextCreate 函数的部分参数存在细微的差异

性能对比:

• 在解压PNG图片,SDWebImage>YYImage
• 在解压JPEG图片,SDWebImage<YYImage

总结

1. 图片文件只有在确认要显示时,CPU才会对齐进行解压缩.由于解压是很是消耗性能的事情.解压过的图片就不会重复解压,会缓存起来.

2. 图片渲染到屏幕的过程: 读取文件->计算Frame->图片解码->解码后纹理图片位图数据经过数据总线交给GPU->GPU获取图片Frame->顶点变换计算->光栅化->根据纹理坐标获取每一个像素点的颜色值(若是出现透明值须要将每一个像素点的颜色*透明度值)->渲染到帧缓存区->渲染到屏幕

3. 面试中若是能按照这个逻辑阐述,应该没有大的问题.不过,若是细问到离屏渲染和渲染中的细节处理.就须要掌握OpenGL ES/Metal 这个2个图形处理API. 面试过程可能会遇到不在本身技术能力范围问题,尽可能知之为知之不知为不知.

github.com/SDWebImage/… github.com/ibireme/YYI…

原文地址