圖像傳感器的去馬賽克方法及裝置的制造方法
【技術領域】
[0001] 本發(fā)明設及圖像信號處理領域，特別是設及一種基于W2X2為最小采樣周期的 圖像傳感器的去馬賽克方法及裝置。
【背景技術】
[0002] 最常見的W2x2為最小采樣周期的圖像傳感器為Bayer格式，其在每個像素位置 上只采樣紅綠藍S原色中的一種。紅綠藍S種顏色在Bayer格式傳感器中的采樣率分別為 1/4,1/2和1/4。將圖像傳感器的輸出未加工（RAW)圖像內(nèi)插至全分辨率的多顏色通道圖 像的過程稱之為去馬賽克。一般而言，針對Bayer格式圖像傳感器的內(nèi)插算法通常首先利 用綠色采樣率高的特性先內(nèi)插出全分辨率的綠色，再利用綠色內(nèi)插紅色和藍色。
[0003] 在實際應用中，為了提升圖像傳感器的低光效果，會將Bayer格式中的一個綠色 通道換成白色通道，此時圖像傳感器為RGBW格式。而某些應用要求成像設備能夠同時提供 被攝場景的RGB圖像和紅外圖像，在現(xiàn)有Bayer格式傳感器基礎上最簡單的一種改進方法 是將現(xiàn)有2x2最小采樣周期對角線上的一個綠色濾鏡換成紅外濾鏡。此時圖像傳感器為 RGBIR格式。后續(xù)為了說明方便，將運種W2x2為最小采樣周期并且至少包含紅綠藍=種顏 色的圖像傳感器統(tǒng)稱為RGBX。
[0004] 而不難看出，將Bayer格式傳感器的一個綠色通道替換成了紅外通道或者白色通 道之后，四個通道的采樣率一致，均為1/4。所W針對Bayer格式的運種先內(nèi)插高采樣率的 綠色通道再內(nèi)插低采樣率紅藍通道的去馬賽克方法顯然不再適用于RGBX圖像傳感器。
[0005] 將雙線性bilinear、雙立次bicubic等普通的內(nèi)插方法分別作用于RGBIR傳感器 的四個通道可W完成RGBX的去馬賽克操作，輸出四個全分辨率的圖像。但是運類將每個通 道獨立內(nèi)插的做法完全沒有利用通道間的信息，去馬賽克后輸出圖像的效果會存在分辨率 低、銀齒嚴重、亮色混疊等問題。
[0006]專利號為US6476865的美國專利《SparselySampledImageSensingDevice WithColorandLuminance陸otosites》中提到的去馬賽克方法在內(nèi)插當前采樣點之外的 =個分量時只判斷了當前點對角線上對應分量的方向并自適應選擇內(nèi)插方式，其他兩個分 量的內(nèi)插只能固定采用水平或者垂直方向上相關RAW數(shù)據(jù)內(nèi)插，該方法必然會導致內(nèi)插輸 出圖像的分辨率和主觀質(zhì)量的降低。
[0007] 申請?zhí)枮镃N201410855583. 6的中國專利申請《圖像傳感器的去馬賽克方法及裝 置》中提到的方法中內(nèi)插出自定義的亮度以色度分量Cl,C2,C3,然后通過矩陣變換成全分 辨率的顏色輸出，運種去馬賽克方法利用了通道之間的信息，但是其輸出性能很大程度上 依賴于濾波器參數(shù)的選擇，并且其定義的亮度和色度分量與圖像傳感器輸出的原始RAW數(shù) 據(jù)并不存在直接對應關系，因此經(jīng)過矩陣變換后的最終輸出相對理想的去馬賽克方法輸出 可能會存在偏色、假邊等現(xiàn)象。

【發(fā)明內(nèi)容】

[0008] 為克服上述現(xiàn)有技術存在的不足，本發(fā)明之目的在于提供一種圖像傳感器的去馬 賽克方法及裝置，其能夠很好的兼容多種格式圖像傳感器，解決去馬賽克后輸出圖像分辨 率低、亮色混疊嚴重等問題。
[0009] 為達上述及其它目的，本發(fā)明提出一種圖像傳感器的去馬賽克方法，包括如下步 驟：
[0010] 步驟一，計算當前點與鄰近像素的亮度初始估計值，計算當前點與鄰近像素點在 各方向上的梯度，獲得相應方向上的權重，將權重與所獲得的亮度初始估計值進行加權，得 到中屯、點亮度的低頻信號估計值；
[0011] 步驟二，計算鄰域內(nèi)特定像素與中屯、點的亮度差及色度差，并將亮度差及色度差 加權獲得中屯、點亮度的高頻信號估計值；
[0012] 步驟=，將獲得的低頻信號估計值與高頻信號估計值相加，得到中屯、點的亮度增 強信號；
[0013] 步驟四，利用亮度增強信號、原始數(shù)據(jù)和權重計算得到每個點不同通道與亮度之 間的亮度-色差信號；
[0014] 步驟五，利用亮度增強信號與亮度-色差信號得到逐點的顏色分量信號。
[0015] 進一步地，該亮度初始估計值通過FIR濾波器與當前點周圍像素點的原始數(shù)據(jù)做 卷積運算得到，或自適應地通過由水平、垂直方向梯度得到的權重與周圍像素點的RAW數(shù) 據(jù)加權運算得到。
[0016] 進一步地，步驟一包括：
[0017] 按照預定義的內(nèi)插參數(shù)與當前點周圍原始數(shù)據(jù)做卷積運算，得到當前點的亮度初 始估計值，并采用相同方法得到鄰近像素的亮度初始估計值；
[0018] 計算當前點在水平、垂直W及斜方向上的梯度，查表得到相應方向上的權重，將權 重與亮度初始估計值加權，得到中屯、點亮度的低頻估計值，并采用相同方法得到鄰近像素 的亮度低頻估計值。
[0019] 進一步地，步驟二包括：
[0020] 分別計算鄰域內(nèi)與中屯、點RAW相同采樣通道的亮度低頻估計與中屯、點亮度低頻 估計之差；
[0021] 分別計算鄰域內(nèi)與中屯、點RAW相同采樣通道的點與中屯、點的色度差；
[0022] 分別將亮度差及色度差加權，再通過預定義拉格朗日因子累加，得到中屯、點亮度 高頻信號估計值。
[0023] 進一步地，于步驟四中，將獲得亮度增強信號與RAW數(shù)據(jù)之差加權內(nèi)插得到當前 中屯、點的亮度-色差信號。
[0024] 進一步地，于步驟五中，利用獲得亮度增強信號與步驟四中內(nèi)插出的亮度-色度 差信號相減得到當前點所有缺失的色度信號。
[00巧]進一步地，所述權重的獲取包括如下步驟：
[0026] 計算W當前像素為中屯、的化N鄰域中四個通道在水平、垂直和對角線1、對角線2 方向上的局部梯度值；
[0027] 將上述四個通道在水平、垂直、對角線1，對角線2上的梯度值分別累加取均值，得 到當前像素鄰域四個方向上的梯度值VH，VV,VDl, 7 02,將梯度值送入預設查找表得 到對應的權重。
[0028] 為達到上述目的，本發(fā)明還提供一種圖像傳感器的去馬賽克裝置，包括：
[0029] 低頻亮度計算單元，根據(jù)預設內(nèi)插參數(shù)計算當前點與鄰近像素的亮度初始估計， 計算當前點與鄰近像素點在水平、垂直W及斜方向上的梯度，并獲得相應方向上的權重，將 權重與所獲得的亮度初始估計進行加權，得到中屯、點亮度的低頻信號估計值；
[0030] 亮度增強計算單元，計算鄰域內(nèi)特定像素與中屯、點的亮度差及色度差，將亮度差 及色度差加權獲得中屯、點亮度的高頻信號估計值，并將獲得的亮度高頻分量累加到亮度低 頻分量上，得到增強的亮度信號；
[0031] 色度計算單元，利用該亮度增強計算單元的輸出和原始RAW數(shù)據(jù)經(jīng)過內(nèi)插得到缺 失的色度信號；
[0032] 輸出單元，輸出最終全幅面的圖像。
[0033] 進一步地，該低頻亮度計算單元包括：
[0034] 原始RAW圖像輸入單元，輸入內(nèi)插前的數(shù)據(jù)；
[0035] 權值計算單元，用于統(tǒng)計當前點與鄰域像素在各方向的梯度繼而得到權重；
[0036] 亮度初值計算單元；按照預定義的內(nèi)插參數(shù)與當前點周圍RAW數(shù)據(jù)做卷積運算得 到亮度初始估計；
[0037] 第一加權累加輸出單元，將周邊的亮度初始估計值及通過權值計算單元輸出的權 重加權得到當前點的亮度低頻分量估計。
[0038] 進一步地，該亮度增強計算單元進一步包括：
[0039] 亮度差計算單元，將周圍點亮度低頻估計與當前點亮度低頻估計經(jīng)過亮度差計 算單兀求得見度差；
[0040] 色度差計算單元，將鄰域內(nèi)與中屯、點RAW相同采樣通道的點與中屯、點RAW數(shù)據(jù)經(jīng) 過色度差計算單兀求得色度差；
[0041] 權重計算單元，輸出周圍點的權重；
[0042] 第二加權累加輸出單元，將亮度差、色度差及權重進行加權得到當前點的亮度增 強后的估計值。
[0043] 與現(xiàn)有技術相比，本發(fā)明一種圖像傳感器的去馬賽克方法及裝置引入了亮度通道 的概念，通過將亮度劃分為低頻和高頻分量，先內(nèi)插低頻分量，再用鄰近信息估計亮度高頻 分量，利用亮度分量和RAW數(shù)據(jù)去內(nèi)插色度分量，解決了去馬賽克后輸出圖像分辨率低、亮 色混疊等問題，本發(fā)明之去馬賽克裝置的輸出并不會更改已經(jīng)采樣到的RAW數(shù)據(jù)，不會額 外引入偏色問題，且能夠兼容多種格式圖像傳感器。
【附圖說明】
[0044] 圖1為本發(fā)明一種圖像傳感器的去馬賽克方法的步驟流程圖；
[0045] 圖2為本發(fā)明一種圖像傳感器的去馬賽克方法之具體實施例的流程圖；
[0046]圖3為本發(fā)明較佳實施例中W X為中屯、的5巧鄰域的