01 從Bayer Filter到圖片

數(shù)碼相機(jī)中的圖像傳感器實(shí)際上是分區(qū)域記錄RGB三種顏色的光強(qiáng)，然后通過對這些數(shù)據(jù)進(jìn)行整合，得到完整的圖像。

我們就來詳細(xì)講講這個(gè)過程。

a 傳感器的Bayer Filter

在上文中，我們說了圖像傳感器會(huì)分區(qū)域計(jì)算RGB三種顏色的光強(qiáng)信息，最后根據(jù)每個(gè)小區(qū)域的位置和信息整理出最后的圖像。

那么，這個(gè)RGB區(qū)域是怎么排列的呢？

這就要說一下柯達(dá)公司的布賴斯·拜爾。使用單個(gè)傳感器記錄三種顏色的信息，就是他提出的方案。

如圖所示，在圖像傳感器前面設(shè)置一個(gè)濾光層，如圖所示：

這個(gè)濾光層上，布滿了和下面?zhèn)鞲衅飨袼匾灰粚?yīng)的濾光點(diǎn)，保證每個(gè)像素都只能接受到單一顏色的光強(qiáng)信息：

而從上圖中我們可以看出，不同顏色的濾光點(diǎn)是按照一定的規(guī)律排列的。每個(gè)綠點(diǎn)的四周，分布著2個(gè)紅點(diǎn)、2個(gè)藍(lán)點(diǎn)、4個(gè)綠點(diǎn)——這是由于人眼對綠色比較敏感，因此綠色的傳感器比較多。

事實(shí)上在很多地方都有用到這個(gè)知識(shí)點(diǎn)，例如顏色空間RGB565，用兩個(gè)Byte表示RGB三種顏色的情況下，把多余的1Bit給了綠色…

這種排列方式，我們叫Bayer Pattern（拜耳模式）或Bayer Filters（拜耳濾光法）

b 去馬賽克Demosaicing

按照上文的說法，每個(gè)像素只可能有四種顏色，紅綠藍(lán)黑（光強(qiáng)為0）。

那么，我們就需要從每個(gè)像素和它周圍的顏色點(diǎn)的分布規(guī)律和光強(qiáng)來還原光線原本的顏色。

舉個(gè)例子，黃光由紅光和綠光混合而成。黃光通過濾光層以后，紅點(diǎn)和綠點(diǎn)下面的像素都會(huì)有值，但是藍(lán)點(diǎn)下面的像素沒有值。

因此，如果一個(gè)像素周圍的顏色分布有紅色和綠色，但是沒有藍(lán)色，那么就可以推測出來這個(gè)像素點(diǎn)的本來顏色應(yīng)該是黃色。

這種計(jì)算顏色的方法，就叫做去馬賽克（Demosaic）

如下圖的3和4，3就是處理前的效果，4就是去馬賽克后生成的圖像。

c 傳感器的RAW輸出

在上文中，經(jīng)過去馬賽克算法的調(diào)整后，就得到了我們想要的圖片。

不過，有些時(shí)候我們會(huì)需要通過其他方法對傳感器數(shù)據(jù)進(jìn)行加工調(diào)整，這種時(shí)候就需要保存?zhèn)鞲衅鞯脑紨?shù)據(jù)。這一過程我們稱之為傳感器的RAW輸出。

02 多合一傳感器的那些事

很多手機(jī)在宣傳的時(shí)候 ，都會(huì)宣稱自己有XXXX像素，甚至XX億像素。

但是實(shí)際拍攝的時(shí)候就會(huì)發(fā)現(xiàn)，如果不進(jìn)行專門的設(shè)置（例如進(jìn)入高清模式等），實(shí)際拍攝的照片就沒有宣傳的那么大的像素。

這就要說說這里的“幕后黑手”——多合一傳感器了。

a 何為多合一傳感器

多合一的“多”，一般指4合1（4 Cell 1）或9合一（9 Cell 1）。

為了方便講解，我們接下來會(huì)以4 Cell 1的傳感器作為例子。

從實(shí)現(xiàn)上來說，就是相鄰的4個(gè)或9個(gè)像素，組成一個(gè)像素組接收同一種顏色；每個(gè)像素組在按照前文中提到的Bayer Filter排列，如下圖所示：

b 暗光或快拍下的Binning Mode

弱光情況下，四合一傳感器會(huì)以Binning Mode進(jìn)行工作。

在上圖2中，我們可以看到，每個(gè)像素組包含4個(gè)像素（2×2）。

在Binning Mode下，每個(gè)像素組的4個(gè)像素點(diǎn)的光強(qiáng)取平均值，作為這個(gè)像素組的光強(qiáng)值。

這樣，我們就以縮小分辨率作為代價(jià)，得到了弱光成像效果更好，單位像素面積更大的傳感器。

從上圖我們可以看到。對于四合一傳感器而言：

Binning Mode時(shí)，長寬各縮小一倍，總像素?cái)?shù)變?yōu)樵械?/4，（等效）單位像素面積變?yōu)樵瓉淼?倍。

單位像素面積下一篇文章會(huì)講，這里先記住一般單位像素面積越大的傳感器，暗光拍攝效果越好。

事實(shí)上，這種技術(shù)有如下的應(yīng)用：

改善在低光環(huán)境拍攝表現(xiàn)

降低圖像數(shù)據(jù)量以獲得更高幀率

減小圖像輸出分辨率需求以節(jié)省處理資源

c 正常光下或高像素的Remosaic算法
在正常光線下，一般不需要這么大的單位像素面積時(shí)，可以使用Remosaic算法，將4合1排布的像素組的光強(qiáng)信息轉(zhuǎn)換成Bayer Filter排布的光強(qiáng)信息，以此實(shí)現(xiàn)最大像素輸出。

但是，由于這種情況下的圖像是經(jīng)過軟件算法得到的，因此這時(shí)候的成像效果相對于同樣規(guī)格的非多合一傳感器模組會(huì)差一些。

d 小結(jié)

總之，多合一傳感器的特點(diǎn)是：

暗光下犧牲分辨率，換來更大的等效單位像素面積、更好的成像效果。

強(qiáng)光下犧牲一定的成像效果，輸出高分辨率照片。

03 總結(jié)

簡單總結(jié)一下。

Bayer Filter排布（RAW格式）的數(shù)據(jù)，可以通過Demosaic算法轉(zhuǎn)換成RGB的圖片。

四合一芯片可以在暗光下使用Binning Mode合并成像，也可以在亮光下通過Remosaic轉(zhuǎn)換成高分辨率圖像。