首页 » 通讯 » 常识 | CMOS 成像事理彩色滤片选择与相机标定简介_暗记_旗子

常识 | CMOS 成像事理彩色滤片选择与相机标定简介_暗记_旗子

落叶飘零 2024-12-19 19:37:03 0

扫一扫用手机浏览

文章目录 [+]

要说清楚这次P30Pro用的RYYB和之前RGGB有什么差异,首先我们要理解CMOS是怎么事情的。

我们都知道打算机不能处理仿照旗子暗记,只能处理数字旗子暗记,以是现实天下的光影也不能直接被打算机处理,以是要记录数字影像,那么我们必须把真实的影像通过数字化转变为打算性能读取写入的格式。

常识 | CMOS 成像事理彩色滤片选择与相机标定简介_暗记_旗子 常识 | CMOS 成像事理彩色滤片选择与相机标定简介_暗记_旗子 通讯

因此我们就须要一种东西,能够把光旗子暗记转换为电旗子暗记,这也便是 CCD 和CMOS 的由来,由于本钱和功耗等等缘故原由我们现在看到的数字相机和手机都是 CMOS, 详细缘故原由展开太麻烦以是也就不详细说了。

常识 | CMOS 成像事理彩色滤片选择与相机标定简介_暗记_旗子 常识 | CMOS 成像事理彩色滤片选择与相机标定简介_暗记_旗子 通讯
(图片来自网络侵删)

每一个 CMOS 像素都包括感光二极管(Photodiode)、浮动式扩散层(Floating diffusion layer)、传输电极门 (Transfer gate)、起放大浸染的MOSFET、起像素选择开关浸染的M0SFET。

在 CMOS 的曝光阶段,感光二极管完成光电转换,产生旗子暗记电荷,曝光结束后,传输电极门打开,旗子暗记电荷被传送到浮动式扩散层,由起放大浸染的MOSFET电极门来拾取,电荷旗子暗记转换为电压旗子暗记。

以是这样的 CMOS 也就完成了光电转换、电荷电压转换、仿照数字转换的三大浸染,通过它我们就能把光旗子暗记转化为电旗子暗记,终极得到数字旗子暗记被打算机读取,这样,我们就已经拥有了记录光芒明暗的能力,但这还不足,由于我们须要色彩。

当代彩色CMOS 的事理也很大略,直接在黑白图像传感器的根本上增加色彩滤波阵列(CFA),从而实现从黑白到彩色的成像。
很著名的一种设计便是Bayer CFA(拜耳色彩滤波阵列)。

一个很有趣的事便是,我们用来记录光影的 CMOS, 和我们用来输出光影的显示器,事理也刚好是向相反的,CMOS 把光转化为电旗子暗记末了以数字格式记录,显示器把解码的数字格式从电旗子暗记重新转化为光。

光电之间的转换也就构成了我们人类数字影像的根本。

好了回到正题,为什么是 RGB 三种颜色?为什么 G 的占比要高于 R 和 B 呢?

这是由于人视网膜上的感光细胞分为两种:视锥细胞和视杆细胞,分别对应人眼的明视觉和暗视觉。

视锥细胞又分三种:赤色感光细胞、绿色感光细胞、蓝色感光细胞,它们对照明的明暗条件敏感度较低,只有当光照强度达到一定条件锥细胞才能够起浸染。

而视杆细胞对光照的敏感度较高,可以在光照条件很暗的情形下对景物成像,却不能感想熏染颜色。
这也阐明了为什么在晚上的时候人仍旧能够看到物体,却不能有效地分辨物体的颜色的征象

跟颜色有关的三种视锥细胞,每一种都对 RGB 三种颜色最敏感。

把稳,是最敏感,以是蓝视锥细胞不仅能感应蓝色,也可以感应到绿和一部分赤色,绿视锥细胞不仅能感应绿,也可以感应一部份蓝和红,末了红视锥细胞也是如此。

以是通过三种视锥细胞感应到不同波长光谱的比例,人类就能识别出视觉上除了红绿蓝之外的其他颜色。

人造的大部分显示器,也都是利用这个特性来欺骗人类看到红绿蓝之外的颜色,比如上图便是我的显示器在显示黄色时实际发出的光谱,根本就没有黄色,这便是一个骗子显示器,但是通过对人眼视觉特性的利用,我们看到的便是黄色。

1931年,CIE(国际标准照明委员会)建立了一系列表示可见光谱的颜色空间标准,定义了CIE-RGB基色系统。
规定了RGB系统的三原色光波长分别为700nm,546.1nm,435.8nm的红光(R)、绿光(G)、蓝光(B)。

通过混色实验可以得到上图的一组曲线,它们表示在380nm-780nm范围内当各个光谱能量一样时,某一波长的光谱色与

混色结果一样,并称这三条曲线为 CIE1931 RGB 系统光谱三刺激值曲线。

由于打算颜色三刺激值时会涌现负值,以是 CIE 又设计出了一套 CIE-XYZ 系统,用 X, Y, Z 来代表红绿蓝三原色,上图也便是 CIE1931 XYZ 系统光谱三刺激值曲线。

著名的 CIE 1931 xy 色度图也便是从此而来,我们可以用它描述出任意的一种人眼可见色彩。
当然后来为了更精确的改动,还有 CIE 1976 u'v 色度图,我们的很多评测也都利用了这个标准。

因此,在理论上只须要记录 RGB, 也就能还原出我们眼睛看到的所有颜色了。

另一个事实是:皮皮虾拥有 16 种视锥细胞,以是如果让它看我们的显示器,它只会以为你给我看的这是个什么玩意???

好了我们回到滤镜颜色的问题上。
对付基于 Bayer CFA 的设计,当我们拍摄右侧图 1 的场景时,CMOS 所有像素传回来的图像直接组合的结果便是右侧图 2, 当我们将滤镜颜色加到像素上会得到图 3, 很明显这也不应该是我们末了看到的图像。
以是由 3 到 4 的过程,就须要插值算法来补足,之前真假 4800 万像素的辩论也便是在这一步。

对付 Bayer CFA 设计的 CMOS, 有常用的插值算法,比如相邻像素插值、双线性插值、三次多项式插值等,它们的目的都是为了还原出全部的 RGB 三个通道分量,比如双线性插值便是这么算的:

对付只有赤色分量的像素:例如 R32:

对付只有绿色分量的像素:例如 G33

对付只有蓝色分量的像素:例如 B43

通过还原得到完全的 RGB 分量,我们就能得到一幅没有缺损的图像了,但是这便是终点了吗?并不是,我们不能直接把这样的图像存储,由于这个中有一个很主要的问题:

Bayer CFA 经由插值之后,CFA 的色特性与人眼的视觉特性并不一定重合,以是图像中的像素颜色可能都是偏色的,这里可能是光学透镜的光谱特性导致,也可能是 Bayer CFA 上的彩色滤镜光谱特性导致,跟拍摄的环境光也有很大关系。

以是还有一步,那便是校正标定。
校正标定之中最主要的则是伽马校正和颜色校正,先看伽马校正:

在现实天下中,险些所有的显示器、拍照胶片以及很多电子摄影机的光电转换特性都是非线性的。
这些非线性部件的输出与输入之间的关系常日用幂函数表示。

空想状态下,色彩强度 (Intensity)与电子束的电压旗子暗记之间成线性关系,但实际情形刚好想法,色彩强度与输入的电压旗子暗记之间是非线性关系。

显示器的输出强度和输出电压的相应大致成幂指数关系,下办法子表示输出的强度随着输入电压的增长成指数增长,常日我们就把这个幂指数称为伽马(Gamma):

为了使图像在显示器上的效果和实际环境更为靠近,在摄像机获取图像后, 必须进行伽马校正,把上边式子的非线性关系校正为线性关系:

个中, Pnew是经由校正处理后的图像的像素值; Pold是没有经由校正的像素值; 伽马值 γ 表示校正的程度, γ =1 时,不进行校正,γ 值越大,像素灰度值的校正程度越大。

颜色校正:

由于不同厂家在制造 CMOS 时利用的彩色滤光片不同,CMOS 对不同波段的光电相应度不同,都会导致相机的光谱相应曲线不同,比如这是某一个 CMOS 的光谱相应曲线:

很随意马虎的就会创造彩色相机 RGB 三刺激值曲线图和之前我们提到过的 CIE 1931-RGB 系统有很大差别。

想减小这种差异,就要对原始图像的像素灰度值(R,G,B)进行必要的补偿,带来和人眼感知附近的颜色,这个中的事情便是颜色标定。

好了,铺垫了这么久,终于讲到那当我们把 RGGB 换成 RYYB, 用黄色滤镜替代绿色会怎么样了。

黄光的光谱主波是 570-590 纳米,刚好被夹在红绿主波之间,以是只要彩色滤镜的光谱特性设计得足够好,那么理论上黄色也就能记录红+绿,下图便是一个我假象的光谱相应示意图:

在这种非常空想的条件下,RYYB 的感光总量肯定可以超过 RGGB, 不过这也给插值算法补全 RGB 的那一步带来了一定困难,插值不理想的话后期色彩标定也会涌现问题。

而且现实情形也是要繁芜得多,我找到了一篇论文:Raj Shrestha, V. et al. Polarization-tuned Dynamic Color Filters Incorporating a Dielectric-loaded Aluminum Nanowire Array. Sci. Rep. 5, 12450; doi: 10.1038/srep12450 (2015). 在这之中就有相称多的彩色滤镜,乃至有直接将黄光主波压制,保留红绿蓝光谱的彩色滤片设计。

末了的末了,既然 P30 系列在宣扬的时候提到了 RYYB 设计能带来 40% 的进光量提升,这一点我以为没什么值得疑惑,在没有真机之前,可能大众理解 RYYB 设计之后的疑虑该当是色准问题。

而这统统,都要靠华为自己的色彩标定,伽马标定,以及自动白平衡算法了,4 月 11 日海内发布会见。

Mobile Device Talks

泛科技的炉边发言

标签:

相关文章