專利名稱：一種新型邊緣自適應(yīng)cfa彩色圖像插值方法
技術(shù)領(lǐng)域：
本申請(qǐng)涉及應(yīng)用于數(shù)碼相機(jī)或數(shù)碼攝像機(jī)等便攜數(shù)碼成像設(shè)備的從經(jīng)過(guò)Bayer 型彩色濾波陣列采集的每個(gè)像素只有紅、綠、藍(lán)其中一種顏色分量的馬賽克彩色圖像原本的全彩色圖像的方法。
背景技術(shù)：
由于物理結(jié)構(gòu)的限制，CXD和CMOS彩色圖像傳感器在一個(gè)像素上智能采集RGB顏色的一個(gè)分量，并且是通過(guò)使用彩色濾波陣列(Color FilterArray，或稱CFA)來(lái)實(shí)現(xiàn)的。 為了恢復(fù)出另外兩個(gè)顏色分量，必須使用插值的方法，通常稱這種插值為彩色插值(Color Interpolation)或者彩色去馬賽克(Color Demosaicing)處理。目前業(yè)界應(yīng)用最為普遍的是Bayer型彩色濾波陣列。關(guān)于demosaicing算法的研究在過(guò)去二十年來(lái)一直是研究熱點(diǎn)，文獻(xiàn)中報(bào)道了大量有價(jià)值的算法，一般可分為兩類(lèi)一類(lèi)是插值在R、G、B三通道內(nèi)獨(dú)立進(jìn)行；另一類(lèi)則是結(jié)合通道間的相關(guān)性進(jìn)行插值。前者中典型方法有最近鄰法、雙線性法、雙立方法和基于樣條的插值方法，這種算法簡(jiǎn)單，易于硬件實(shí)現(xiàn)，但用這些方法插值得到的圖像的質(zhì)量并不理想，主要是圖像邊緣的失真比較明顯，包括邊緣模糊效應(yīng)和顏色失真效應(yīng)。后一類(lèi)算法利用了各個(gè)顏色分量之間的相關(guān)性，在一定程度上提高了得到的插值圖像的質(zhì)量。早期有基于色度比恒定的算法，它采用在圖像的小平滑區(qū)域內(nèi)，色度(定義為 R/G，B/G, G^O)基本保持恒定的理論，實(shí)現(xiàn)時(shí)首先恢復(fù)綠色分量，然后利用色度恒定的原則對(duì)紅色和藍(lán)色通道進(jìn)行插值。在此基礎(chǔ)上，發(fā)展出了基于色度差恒定的算法，它利用了在圖像的小平滑區(qū)域內(nèi)色差(定義為R-G，B-G)基本保持恒定的理論。這兩種方法都比較簡(jiǎn)單有效，但對(duì)邊界區(qū)域并不支持。為合理解決邊界插值問(wèn)題，發(fā)展出了基于邊界的插值算法。為避免插值跨越邊界， 在恢復(fù)綠色分量時(shí)，首先計(jì)算方向算子來(lái)檢測(cè)邊界，從而選擇不同的插值方向。為進(jìn)一步減小圖像邊緣的顏色失真，基于色度比恒定原則或色度差恒定原則，通過(guò)增加顏色校正過(guò)程進(jìn)一步降低了邊緣的顏色失真。文獻(xiàn)提出了基于協(xié)方差特征的通用圖像插值算法，并將其應(yīng)用于彩色插值領(lǐng)域， 其主要思想是用基于協(xié)方差特征的插值來(lái)代替線性插值，由于這種方法具有良好的邊緣自適應(yīng)特性，從而獲得了比普通的基于色差空間的線性插值方法更好的效果，其缺點(diǎn)是計(jì)算量比較大。文獻(xiàn)提出了一種基于有理函數(shù)的通用圖像插值方法，并將其推廣到通用的彩色圖像插值領(lǐng)域。由于基于有理函數(shù)的插值算子是一種非線性算子，其本具有保持邊界和保持細(xì)節(jié)的特性，因而用這種方法可以獲得比普通的線性插值更好的效果。本申請(qǐng)綜合考慮以上各種算法的優(yōu)缺點(diǎn)，提出了一種新型邊緣自適應(yīng)的CFA彩色圖像插值方法。申請(qǐng)內(nèi)容
本申請(qǐng)的目的在于提供一種用于數(shù)碼相機(jī)或數(shù)碼攝像機(jī)等移動(dòng)數(shù)碼成像設(shè)備的， 快速有效的從經(jīng)過(guò)Bayer型彩色濾波陣列采集的每個(gè)像素只有紅、綠、藍(lán)其中一種顏色分量的馬賽克彩色圖像出高質(zhì)量的全彩色圖像的彩色插值方法。下面詳細(xì)介紹本申請(qǐng)的具體技術(shù)方案一種新型邊緣自適應(yīng)CFA彩色圖像插值方法，該方法包括在紅色/藍(lán)色采樣點(diǎn)上恢復(fù)綠色分量；在紅色/藍(lán)色采樣點(diǎn)上恢復(fù)藍(lán)色/紅色分量；在綠色采樣點(diǎn)上恢復(fù)紅色/藍(lán)色分量；校正在紅色/藍(lán)色采樣點(diǎn)上恢復(fù)的綠色分量。其特征在于本申請(qǐng)所述方法在紅色/藍(lán)色采樣點(diǎn)上恢復(fù)綠色分量時(shí)，首先計(jì)算得到該采樣點(diǎn)在十二個(gè)不同方向上的梯度，然后根據(jù)計(jì)算結(jié)果判斷該采樣點(diǎn)是位于平滑區(qū)域還是邊緣區(qū)域，最終根據(jù)采樣點(diǎn)所處的不同區(qū)域采取不同的插值方案在色差空間(R-G or B-G)進(jìn)行插值恢復(fù)綠色分量。本申請(qǐng)所述方法在上述步驟計(jì)算色差值時(shí)，綠色分量都是原始采樣點(diǎn)，而紅色/ 藍(lán)色分量遵循如下的規(guī)則如果參與計(jì)算的采樣點(diǎn)區(qū)域的紅色/藍(lán)色分量已經(jīng)通過(guò)插值恢復(fù)，則用恢復(fù)的分量參與色差計(jì)算；如果參與計(jì)算的采樣點(diǎn)區(qū)域的紅色/藍(lán)色分量尚未通過(guò)插值恢復(fù)，則通過(guò)最近兩個(gè)鄰域相同顏色分量線性插值恢復(fù)采樣點(diǎn)紅色/藍(lán)色分量，并參與色差計(jì)算。本申請(qǐng)所述方法在紅色/藍(lán)色采樣點(diǎn)上恢復(fù)藍(lán)色/紅色分量時(shí)，僅考慮待恢復(fù)分量四個(gè)最近相同顏色的采樣點(diǎn)，計(jì)算得到相應(yīng)的方向上的梯度，并判斷該采樣點(diǎn)的區(qū)域，采取不同的插值方案在色差空間(R-G or B-G)進(jìn)行插值恢復(fù)藍(lán)色/紅色分量。本申請(qǐng)所述方法在綠色采樣點(diǎn)上恢復(fù)紅色/藍(lán)色分量時(shí)，與在紅色/藍(lán)色采樣點(diǎn)上恢復(fù)綠色分量類(lèi)似，考慮與待恢復(fù)分量十二個(gè)最近先同顏色的采樣點(diǎn)(包括原始采樣點(diǎn)以及插值恢復(fù)得到的采樣點(diǎn))，計(jì)算不同方向的梯度，判斷采樣點(diǎn)的區(qū)域，并采取不同的插值方案在色差空間(R-G or B-G)插值恢復(fù)待恢復(fù)分量。本申請(qǐng)所述方法在校正紅色/藍(lán)色采樣點(diǎn)上恢復(fù)的綠色分量時(shí)，根據(jù)已經(jīng)通過(guò)插值恢復(fù)的紅色/藍(lán)色分量，在色差空間(R-G or B-G)上重新插值恢復(fù)綠色分量，從而得到經(jīng)過(guò)校正的綠色分量。本申請(qǐng)所述方法在實(shí)現(xiàn)時(shí)，由于考慮了平滑區(qū)域與邊緣區(qū)域的劃分，并針對(duì)不同的區(qū)域采取了不同的插值方案，對(duì)平滑區(qū)域的插值采用運(yùn)算簡(jiǎn)單的線性插值方案，對(duì)邊緣區(qū)域的插值采用可以保持邊緣細(xì)節(jié)的有理函數(shù)插值方案，從而可以通過(guò)增加有限的計(jì)算復(fù)雜度和資源需求，最大限度的提高插值恢復(fù)得到的全彩色圖像的質(zhì)量。
以下結(jié)合附圖和具體實(shí)施方式
來(lái)進(jìn)一步說(shuō)明本申請(qǐng)。

圖1為典型的Bayer彩色濾波陣列模式。圖2為在紅色采樣點(diǎn)上恢復(fù)綠色分量的高分辨率邊緣方向示意圖。圖3為恢復(fù)全彩色圖像的插值區(qū)域示意圖。
圖4為在紅色采樣點(diǎn)上恢復(fù)綠色分量的流程示意圖。圖5為恢復(fù)全彩色圖像的流程示意圖。圖6為單元像素及Line Buffer的數(shù)據(jù)結(jié)構(gòu)示意圖。
具體實(shí)施例方式下面將結(jié)合附圖進(jìn)一步闡述本申請(qǐng)。如圖1所示為典型的Bayer彩色濾波陣列模式。絕大部分商用數(shù)碼相機(jī)、數(shù)碼攝像機(jī)通過(guò)覆蓋著一層彩色濾波陣列的單個(gè)CCD或CMOS圖像傳感器捕獲圖像，從而得到每個(gè)像素只有紅、綠、藍(lán)其中一種顏色分量的原始全彩色圖像的降采樣圖像，必須通過(guò)彩色插值來(lái)恢復(fù)每個(gè)像素上的其他兩種顏色分量來(lái)得到全彩色圖像。如圖1所示是目前應(yīng)用最為廣泛的一種Bayer型彩色濾波陣列，本申請(qǐng)所述的方法主要針對(duì)經(jīng)過(guò)該彩色濾波陣列濾波得到的馬賽克圖像的恢復(fù)，但是經(jīng)過(guò)簡(jiǎn)單的變化也可以應(yīng)用于經(jīng)過(guò)其他模式的彩色濾波陣列濾波得到的馬賽克圖像的恢復(fù)，這種變化顯然應(yīng)該在權(quán)利要求書(shū)的保護(hù)范圍內(nèi)。單元像素的數(shù)據(jù)結(jié)構(gòu)如圖6(a)所示，Line Buffer的數(shù)據(jù)結(jié)構(gòu)如圖6(b)所示。單元像素的每個(gè)顏色分量均對(duì)應(yīng)一個(gè)標(biāo)志位flag :flag = 2’b00表示缺失相應(yīng)的顏色分量； flag = 2’ b01表示已經(jīng)預(yù)插值恢復(fù)相應(yīng)的顏色分量；flag = 2’ blO表示已經(jīng)最終插值恢復(fù)相應(yīng)的顏色分量；flag = 2’bll表示相應(yīng)的顏色分量為原始的采樣顏色分量。單元像素以行為單位緩存在Line Buffer中，Line Buffer的大小根據(jù)實(shí)際的應(yīng)用而決定。如圖4所示為在紅色采樣點(diǎn)上恢復(fù)綠色分量的流程示意圖。從Line Buffer中讀取5X5的像素?cái)?shù)據(jù)塊，如圖2所示。分別計(jì)算12個(gè)方向的梯度In (i，j) = Kn(abs (P (i+vn, j+hn) -P (i-vn, j_hn)) +abs (P (i+2vn, j+2hn) -P (i，j))) 其中p(i，j)表示位置(i，j)的原始采樣顏色的顏色值，11 和Vn的值如下表
權(quán)利要求
1.一種高分辨率邊緣方向梯度計(jì)算方法，其特征在于(1)在傳統(tǒng)的4方向梯度基礎(chǔ)上，增加了8個(gè)不同的方向梯度；(2)由于參與增加的8個(gè)方向梯度計(jì)算的采樣顏色點(diǎn)之間的距離比參與傳統(tǒng)的4個(gè)方向梯度計(jì)算的采樣顏色點(diǎn)之間的距離遠(yuǎn)，所以計(jì)算得到的值需要乘上一個(gè)小于1的系數(shù)以抵消不同的距離帶來(lái)的影響。
2.一種新型邊緣自適應(yīng)CFA彩色圖像插值方法，其特征在于包括以下步驟(1)采用5X5的窗口掃描待恢復(fù)的CFA馬賽克圖像；(2)根據(jù)權(quán)利要求1，在紅色/藍(lán)色采樣點(diǎn)上計(jì)算相應(yīng)的高分辨率方向梯度，并在色差空間恢復(fù)綠色分量；(3)在紅色/藍(lán)色采樣點(diǎn)上計(jì)算相應(yīng)的4方向梯度，并恢復(fù)藍(lán)色/紅色分量；(4)根據(jù)權(quán)利要求1，在綠色采樣點(diǎn)上計(jì)算相應(yīng)的高分辨率方向梯度，并在色差空間恢復(fù)藍(lán)色/紅色分量；(5)根據(jù)權(quán)利要求1和已經(jīng)插值恢復(fù)的藍(lán)色/紅色分量，在紅色/藍(lán)色采樣點(diǎn)上計(jì)算相應(yīng)的高分辨率方向梯度，并在色差空間校正綠色分量。
3.根據(jù)權(quán)利要求2所述的新型邊緣自適應(yīng)CFA彩色圖像插值方法，其特征在于(1)步驟2、4、5計(jì)算色差值時(shí)，綠色分量都是原始采樣點(diǎn)，而紅色/藍(lán)色分量遵循如下的規(guī)則如果參與計(jì)算的采樣點(diǎn)區(qū)域的紅色/藍(lán)色分量已經(jīng)通過(guò)插值恢復(fù)，則用恢復(fù)的分量參與色差計(jì)算；如果參與計(jì)算的采樣點(diǎn)區(qū)域的紅色/藍(lán)色分量尚未通過(guò)插值恢復(fù)，則通過(guò)最近兩個(gè)鄰域相同顏色分量線性插值恢復(fù)采樣點(diǎn)紅色/藍(lán)色分量，并參與色差計(jì)算；(2)步驟2、4、5根據(jù)權(quán)利要求1計(jì)算12個(gè)方向梯度，并計(jì)算12個(gè)方向梯度的和值，如果和值大于某個(gè)閾值，則該點(diǎn)位于邊緣區(qū)域，根據(jù)12個(gè)方向梯度計(jì)算各個(gè)方向插值的權(quán)重值，采用有理函數(shù)插值恢復(fù)待恢復(fù)的顏色分量；否則該店位于平滑區(qū)域，采用雙線性插值或雙立方插值等線性插值方法恢復(fù)待恢復(fù)的顏色分量；(3)步驟3計(jì)算色差值時(shí)，紅色/藍(lán)色分量是原始采樣點(diǎn)，綠色分量是通過(guò)步驟2插值恢復(fù)的值；(4)步驟3計(jì)算4個(gè)方向的方向梯度，并根據(jù)不同的區(qū)域(邊緣區(qū)域或平滑區(qū)域)選擇不同的插值方法(有理函數(shù)插值或線性插值)插值恢復(fù)待恢復(fù)的顏色分量。
全文摘要
本申請(qǐng)公開(kāi)了一種用于從Bayer型彩色濾波陣列濾波得到的馬賽克圖像恢復(fù)得到全彩色圖像的彩色圖像插值方法。所述方法可以分為在紅色/藍(lán)色采樣點(diǎn)恢復(fù)綠色分量、在紅色/藍(lán)色采樣點(diǎn)恢復(fù)藍(lán)色/紅色分量、在綠色采樣點(diǎn)恢復(fù)藍(lán)色/紅色分量和校正綠色分量四個(gè)主要步驟，其中第一個(gè)和最后一個(gè)步驟在硬件上可以采用相同的單元實(shí)現(xiàn)。在恢復(fù)遺失顏色分量的過(guò)程中，應(yīng)用高分辨率的邊緣檢測(cè)算子，通過(guò)計(jì)算不同方向的梯度的和來(lái)判別待恢復(fù)顏色分量處于邊緣區(qū)域還是平滑區(qū)域，對(duì)于不同區(qū)域的待恢復(fù)顏色分量采取不同的插值策略對(duì)于邊緣區(qū)域采取能夠保持邊緣細(xì)節(jié)的有理函數(shù)插值，對(duì)于平滑區(qū)域選取計(jì)算結(jié)構(gòu)簡(jiǎn)單的線性插值。
文檔編號(hào)H04N9/04GK102170572SQ20101020680
公開(kāi)日2011年8月31日 申請(qǐng)日期2010年6月22日 優(yōu)先權(quán)日2010年6月22日
發(fā)明者李興仁, 林錦麟, 石亞飛 申請(qǐng)人:上海盈方微電子有限公司