相机摄像原理与过程

相机拍摄物体的大体过程为：物体反射（或照射）的光线通过镜头，到达图像传感器，图像传感器把光信号转换为电信号，而后模数转换器件把电荷信号转换成数字信号，数字信号通过放大电路进入微处理器，数字信号通过ISP运算处理以后传输到存储器中存储为图像。 示意图以下：

1. 图像传感器

图像传感器是相机的主要组件之一，对成像质量影响很大。

传感器将从镜头上传导过来的光线转换为电信号，再经过内部的DA转换为数字信号。因为传感器的每一个pixel只能感光R光或者B光或者G光，以下图，所以每一个像素此时存贮的是单色的，咱们称之为RAW DATA。要想将每一个像素的RAW DATA还原成三基色，就须要信号处理器ISP来处理。

 图像传感器主要分两种，CCD（charge-coupled device，电荷耦合器件）和CMOS（complementary meta-oxide semiconductor，互补金属氧化物半导体）。CCD传感器成像质量好，图像明锐通透，细节丰富，色彩还原度好，可是成本较高，耗电功率高。CMOS传感器成像质量稍差，但耗电功率较低，成本也比DDC低。当今手机中主要仍是采用CMOS传感器。CMOS传感器中集成了模数转换器，CCD传感器没有集成了模数转换器。

 

2. 图像信号处理器

图像信号处理器（Image Signal Processing，ISP）的做用就是对图像传感器传输过来的信号进行运算处理，最终得出通过线性纠正、噪点去除、坏点修补、颜色插值、白平衡校订、曝光校订等处理后的结果。ISP可以在很大程度上决定相机最终的成像质量。

ISP 的主要功能特性包括^[3]：

• DEMOSAIC

  DEMOSAIC 是 ISP 的主要功能之一。SENSOR 的像素点上覆盖着 CFA，光线经过 CFA 后照射到像素上。CFA 由 R、G、B 三种颜色的遮光罩组成，每种遮光罩只容许一种颜色经过，所以每一个像素输出的信号只包含 R、G、B 三者中的一种颜色信息。SENSOR 输出的这种数据就是 BAYER 数据，即一般所说的 RAW 数据。显而易见，RAW 数据所反映的颜色信息不是真实的颜色信息。DEMOSAIC 就是经过插值算法将将每一个像素所表明的真实颜色计算出来。

• FOCUS

  根据光学知识，景物在传感器上成像最清晰时处于合焦平面上。经过更改 LENS 的位置，使得景物在传感器上清晰的成像，是 ISP FOCUS 功能所须要完成的任务。FOCUS 分为手动和自动两种模式。ISP 能够运行 CONTRAST AF、PDAF、LASER AF 等算法实现自动对焦。

• EXPOSURE

  曝光。EXPOSURE 主要影响图像的明暗程度。ISP 须要实现 AE 功能，经过控制曝光程度，使得图像亮度适宜。

• WB

  白平衡。白平衡与色温相关，用于衡量图像的色彩真实性和准确性。ISP须要实现 AWB 功能，力求在各类复杂场景下都能精确的还原物体原本的颜色。

• LSC

  用于消除图像周边和图片中心的不一致性，包含亮度和色度两方面。ISP 须要借助 OTP 中的校准数据完成 LSC 功能。

• GAMMA CORRECTION

  伽玛校订。传感器对光线的响应和人眼对光线的响应是不一样的。伽玛校订就是使得图像看起来符合人眼的特性。

• CROP/RESIZE

  图像剪裁，即改变图像的尺寸。可用于输出不一样分辨率的图像。

• VRA

  视觉识别。用于识别特定的景物，例如人脸识别，车牌识别。ISP 经过各类 VRA 算法，准确的识别特定的景物。

• DRC

  动态范围校订。动态范围即图像的明暗区间。DRC 可使得暗处的景物不至于欠曝，而亮处的景物不至于过曝。ISP 须要支持 DRC 功能。

• CSC

  颜色空间转换。例如，ISP 会将 RGB 信号转化为 YUV 信号输出。

• IS

  图像稳定。IS 的主要做用是使得图像不要由于手持时轻微的抖动而模糊不清。IS 有不少种，例如 OIS、DIS、EIS。ISP 能够实现 DIS 和 EIS。

 除了上面提到的功能外，ISP还须要支持 DENOISE、CONTRAST、SATURATION、SHARPNESS 等功能。

 

【参考文献】

[1] 手机摄像头的技术结构与原理：http://www.sohu.com/a/229372898_257861

[2] 手机摄像头的组成结构与工做原理：http://www.javashuo.com/article/p-txaioqka-mx.html

[3] 相机系统综述--ISP：https://blog.csdn.net/xiangz_csdn/article/details/53172741