在此之前,小米和vivo等品牌也推出了各自研发的ISP芯片。对于现今的手机厂商来说,对ISP研发的热衷度不减,那么这个模块在手机成像中到底扮演了怎样的角色呢?
简单来说,ISP(Image Signal Process,即图像信号处理器,又常被称作成像引擎)是手机拍照和摄像流程中的核心环节。照片或视频的最终色彩和细节呈现都依赖于ISP的处理。
当我们通过手机相机APP按下快门进行拍照或录像时,就开启了一场“视觉处理的接力赛”。
在镜头和CMOS将光学信号转化为由0、1组成的数字信号的过程中,可能会存在一些细节上的遗漏和错误。而ISP的主要任务就是对这些潜在问题进行“纠错”、“校验”和“补偿”。
就如同翻译官在翻译中文成语或谚语时需要具备足够的文学素养来确保翻译的准确性一样,ISP在这里扮演着“翻译官”的角色。
具体而言,智能手机的镜头由多片镜片、滤光装置等部件构成,而透光率是衡量镜头性能的重要指标。CMOS作为核心部件,其传感器尺寸、像素值大小等都会影响其性能。换句话说,镜头和传感器本身都存在物理缺陷,这意味着由它们转化而来的数字信号原始数据(raw data)都是不完美的。
作为“翻译官”的ISP,其主要任务就是对这些存在物理缺陷的原始数据进行优化补偿,还原出最符合我们预期的明暗效果。例如,防止在逆光时过曝,以及在暗光环境下看清画面细节等。
ISP是由多个功能模块构成的。下面我们将简要介绍ISP的功能模块以及需要补偿的部分内容。
C:黑电平校正用于矫正CMOS输出的原始数据中的非零值,通过对所有像素减去特性的矫正值来获得一个成功的矫正结果。
LSC:镜头阴影校正用于解决镜头阴影问题,通过检测并计算周围区域需要补偿的因子来确保图像中间和周围区域的亮度均匀。
Bayer Denoise:降噪模块通过多级滤波来显著降低信号中的噪声,减少成像噪点。
BPC:坏点校正用于检测并纠正CMOS传感器现的坏点。
Demosaic:颜色插值用于将Bayer色彩滤波阵列输出的数据进行插值处理,从而得到完整的色彩信息。
AWB:自动白平衡用于在不同光源下自动校准白色物体的颜色。
CCM:颜色校正用于校准图像中其他颜色的准确度。
AEC:自动曝光用于根据光照强度自动调节曝光时间。
HDR:高动态范围用于显露出高亮和极暗部分丢失的画面细节。