專利名稱：基于邊緣方向插值的cfa圖像去馬賽克方法
技術(shù)領(lǐng)域：
本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，更進(jìn)一步涉及圖像恢復(fù)技術(shù)領(lǐng)域的基于邊緣方向插值的CFA圖像去馬賽克方法。本發(fā)明是對(duì)有馬賽克效應(yīng)的CFA圖像進(jìn)行插值，以獲得具有紅、綠、藍(lán)三個(gè)通道全部信息的彩色圖像。本發(fā)明可用于單傳感相機(jī)中，作為后處理算法對(duì)CCD或CMOS傳感器捕獲的CFA圖像進(jìn)行處理，恢復(fù)出完整的數(shù)字彩色圖像，從而彌補(bǔ)由于減少相機(jī)硬件成本所帶來的圖像彩色信息的丟失。
背景技術(shù)：
數(shù)字彩色圖像通常用紅、綠、藍(lán)三基色來表示顏色值。出于成本考慮，目前大部分相機(jī)采用的是單個(gè)C⑶或CMOS傳感器，通過在傳感器前加一個(gè)顏色濾波陣列(color filer array，CFA)，只用一個(gè)矩陣來表示彩色圖像。每個(gè)像素點(diǎn)上只有一個(gè)顏色值，而另外兩個(gè)顏色值則根據(jù)其鄰域信息來插值，這一插值技術(shù)被稱為“去馬賽克”(demosaicking)。CFA圖像去馬賽克實(shí)質(zhì)上是一個(gè)病態(tài)逆問題，即由已知的原圖1/3的信息恢復(fù)出全部的信息。拜耳(Bayer)模式的CFA由于簡(jiǎn)單而高效，是目前應(yīng)用最為廣泛的一種。在Bayer模式的CFA 中，每相鄰的四個(gè)像素中有兩個(gè)像素只有綠色值，其它兩個(gè)分別只有紅色值、藍(lán)色值。現(xiàn)有的CFA圖像去馬賽克技術(shù)可以簡(jiǎn)單地分為線性插值技術(shù)和非線性插值技術(shù)。線性插值最簡(jiǎn)單也最具代表性的有雙線性插值和雙立方插值。雙線性插值和雙立方插值技術(shù)的優(yōu)點(diǎn)在于其實(shí)現(xiàn)簡(jiǎn)單，速度快；但其缺點(diǎn)也是顯而易見的在圖像中會(huì)產(chǎn)生嚴(yán)重的人工痕跡(如彩色鑲邊，即虛假顏色效應(yīng))，尤其在圖像的高頻部分更為突出。相比線性插值技術(shù)，非線性插值技術(shù)更復(fù)雜，由于考慮了 RGB通道間的相關(guān)性，其插值效果明顯要優(yōu)于線性插值技術(shù)。這一類技術(shù)有很多，例如，S. Pei和I. Tam在文章“Effective color interpolation in CCD color filter array using signal correlation" (Proc. Int. Conf. Image Process.，Sep. 2000，PP. 488-491)中提出的利用信號(hào)校正的高效插值技術(shù)。非線性插值技術(shù)還包括一些基于迭代算法的去馬賽克技術(shù)，如B. Gunturk,等人在文章中 iiColor plane interpolation using alternating projections" (IEEE Trans. Image Process.，vol. 11，no. 9，pp. 997-1013，Sep. 2002)中提出的交替投影方法，又如 Wenmain Lu 禾口 Yap-peng Tan 在文章中 “Color filter array demosaicing :new method and performance measures，，(IEEE Trans. Image Process. , vol. 12,no. 10,pp. 1194-1210， Oct. 2003)中提出的去馬賽克方法。近年來提出了一種基于稀疏表示的彩色圖像去馬賽克技術(shù)，如 Julien Mairal 等人在文章“Sparse representation for color image restoration，，(IEEE Trans. Image Process. , vol. 17, no. 1, Jan. 2008)中描述的方法。這種方法需要對(duì)大量數(shù)據(jù)進(jìn)行學(xué)習(xí)和訓(xùn)練出相應(yīng)的稀疏字典，然后根據(jù)字典重構(gòu)彩色圖像， 算法更為復(fù)雜?？傊?，非線性插值技術(shù)雖然可以獲得優(yōu)質(zhì)彩色圖像，但其復(fù)雜度高，計(jì)算代價(jià)大。微軟公司提出的專利申請(qǐng)“用于彩色圖像去馬賽克的優(yōu)質(zhì)梯度校正線性插值”(申請(qǐng)日:2005年03月15日，申請(qǐng)?zhí)?00510055929. 5，公開號(hào)CN1722852)中公開了一種用于彩色圖像去馬賽克的梯度校正線性插值方法和系統(tǒng)。該方法和系統(tǒng)首先使用現(xiàn)有的線性插值技術(shù)如雙線性插值技術(shù)來估算所需顏色的值，然后通過計(jì)算當(dāng)前像素上所需色彩的梯度來計(jì)算校正項(xiàng)，最后線性組合該插值和校正項(xiàng)以產(chǎn)生像素上遺漏色彩值。該方法直接使用梯度來影響和校正由現(xiàn)有插值技術(shù)估計(jì)的色彩值。該方法的不足之處是僅僅利用了梯度來校正雙線性插值的結(jié)果，雖然相比于雙線性插值有了一定改進(jìn)，但對(duì)圖像細(xì)節(jié)部分處理效果仍然不太理想，虛假顏色效應(yīng)依然嚴(yán)重。Zhang等人在文章“Color demosaicking via directional linear minimum mean square-error estimation，，(IEEE Trans. Image Process. , vol. 14,no. 12,pp. 2167-2178， Dec. 2005.)中提出一種基于方向線性均方誤差估計(jì)的去馬賽克方法。該方法利用線性均方誤差估計(jì)(LMMSE)對(duì)紅綠和藍(lán)綠的差信號(hào)從水平和豎直兩個(gè)方向進(jìn)行估計(jì)，然后對(duì)每個(gè)像素點(diǎn)的將兩個(gè)綠色估計(jì)值優(yōu)化融合使得其與鄰域像素的方差最小，最后通過對(duì)差信號(hào)線性均方誤差估計(jì)重構(gòu)出三個(gè)通道的全部信息。該方法的不足之處是該方法需要進(jìn)行多次估計(jì)和融合，雖然對(duì)圖像的細(xì)節(jié)處理有所改善，但算法復(fù)雜度高，程序運(yùn)行時(shí)間長(zhǎng)。

發(fā)明內(nèi)容
本發(fā)明針對(duì)現(xiàn)有去馬賽克算法對(duì)圖像的高頻部分插值效果不佳的缺陷，提出了一種基于邊緣方向插值的CFA圖像去馬賽克方法，通過以精確估計(jì)的亮度為指導(dǎo)對(duì)綠色通道沿邊緣方向插值以及插值后的修正，使得圖像的高頻部分的插值結(jié)果有明顯提高，有效抑制了虛假顏色效應(yīng)。為實(shí)現(xiàn)上述目的，本發(fā)明包括如下主要步驟(1)輸入一幅待去馬賽克的CFA圖像；(2)估計(jì)亮度2a)設(shè)計(jì)一個(gè)9X9濾波器Γ i和一個(gè)5 X 5濾波器Γ 2 ；2b)分別用濾波器^和Γ2對(duì)輸入CFA圖像濾波，得到與輸入CFA圖像大小一致的濾波后圖像Iri和Ir2，將兩幅圖像融合得到一幅亮度圖像t ；(3)對(duì)綠色通道插值3a)計(jì)算亮度圖像￡水平和垂直兩個(gè)方向上的梯度ΔΗ、AV ；3b)比較ΔΗ與Δ V大小，獲得水平和垂直方向的邊緣矩陣&和Ev ；3c)根據(jù)水平和垂直方向邊緣矩陣&和Ev判斷插值方向并對(duì)綠色通道插值；(4)對(duì)紅色和藍(lán)色通道分別進(jìn)行雙線性插值；(5)分別對(duì)紅、綠、藍(lán)通道進(jìn)行修正；(6)輸出彩色圖像。本發(fā)明與現(xiàn)有的技術(shù)相比具有以下優(yōu)點(diǎn)第一，本發(fā)明通過以精確估計(jì)的亮度為指導(dǎo)對(duì)綠色通道沿邊緣方向插值以及插值后修正，使得圖像的高頻部分的插值效果有明顯提高，視覺效果好，有效抑制了虛假顏色效應(yīng)；第二，本發(fā)明的插值采用線性方法，計(jì)算量小，運(yùn)行速度快，與現(xiàn)有技術(shù)基于線性均方誤差估計(jì)的算法和一些現(xiàn)有迭代算法相比，運(yùn)行時(shí)間短，縮短了相機(jī)成像時(shí)間。CN 102254301 A
說明書
3/8頁(yè)


圖1為本發(fā)明的流程圖；圖2為現(xiàn)有技術(shù)去馬賽克效果圖；圖3為本發(fā)明去馬賽克效果圖。
具體實(shí)施例方式下面結(jié)合附圖1，對(duì)本發(fā)明實(shí)現(xiàn)的步驟作進(jìn)一步的詳細(xì)描述步驟1，輸入一幅待去馬賽克的CFA圖像Is待去馬賽克的CFA圖像為拜耳(Bayer)模式的CFA圖像，該圖像中每個(gè)像素點(diǎn)都只有三基色中的一個(gè)顏色值已知，其余兩個(gè)顏色值未知；CFA圖像每相鄰2X2圖像塊的四個(gè)像素點(diǎn)中有兩個(gè)像素點(diǎn)已知綠色值，另外兩個(gè)像素點(diǎn)分別已知紅色值、藍(lán)色值。步驟2，估計(jì)亮度2a)根據(jù)下式設(shè)計(jì)一個(gè)9 X 9濾波器Γ :和一個(gè)5 X 5濾波器Γ 權(quán)利要求
1. 一種基于邊緣方向插值的CFA圖像去馬賽克方法，包括如下步驟(1)輸入一幅待去馬賽克的CFA圖像；(2)估計(jì)亮度2a)設(shè)計(jì)一個(gè)9X9濾波器Γ i和--個(gè)5X5濾波器Γ:2b)分別用濾波器Γ工和Γ 2對(duì)輸入CFA圖像濾波，得到與輸入CFA圖像大小一致的濾波后圖像Iri和Ir2，將兩幅圖像融合得到一幅亮度圖像t ；(3)對(duì)綠色通道插值3a)計(jì)算亮度圖像乞水平和垂直兩個(gè)方向上的梯度ΔΗ、AV；3b)比較ΔΗ與AV大小，獲得水平和垂直方向的邊緣矩陣&和Ev;3c)根據(jù)水平和垂直方向邊緣矩陣&和Ev判斷插值方向并對(duì)綠色通道插值；(4)對(duì)紅色和藍(lán)色通道分別進(jìn)行雙線性插值；(5)分別對(duì)紅、綠、藍(lán)通道進(jìn)行修正；(6)輸出彩色圖像。
2.根據(jù)權(quán)利要求1所述的基于邊緣方向插值的CFA圖像去馬賽克方法，其特征在于 步驟2a)中所述的濾波器根據(jù)如下公式來設(shè)計(jì)得到
3.根據(jù)權(quán)利要求1所述的基于邊緣方向插值的CFA圖像去馬賽克方法，其特征在于 步驟2b)中所述的圖像融合規(guī)則如下當(dāng)像素位置索引i和j均為奇數(shù)或均為偶數(shù)時(shí)， L(U) =Irl(U)主(/,7·)為像素點(diǎn)⑴J')的亮度值，In(i，j)為圖像Iri中像素點(diǎn)(i，j)的值，否則，￡^,_/)=Ir2(^)，Ir2(i，j)為圖像Ir2中像素點(diǎn)(i，j)的值。
4.根據(jù)權(quán)利要求1所述的基于邊緣方向插值的CFA圖像去馬賽克方法，其特征在于 步驟3a)中所述水平和垂直方向上的梯度計(jì)算公式如下
5.根據(jù)權(quán)利要求1所述的基于邊緣方向插值的CFA圖像去馬賽克方法，其特征在于 步驟北)中所述的水平和垂直方向的邊緣矩陣&和民按照下列公式獲得
6.根據(jù)權(quán)利要求1所述的基于邊緣方向插值的CFA圖像去馬賽克方法，其特征在于 步驟3c)中所述的插值方法如果矩陣&第士行第j列元素&(i，j)的值大于等于2.5時(shí)， 對(duì)像素點(diǎn)(i，j)進(jìn)行水平方向插值；如果矩陣Ev第i行第j列元素Ev(i，j)的值大于等于 2. 5時(shí)，對(duì)像素點(diǎn)(i，j)進(jìn)行垂直方向插值。
7.根據(jù)權(quán)利要求1所述的基于邊緣方向插值的CFA圖像去馬賽克方法，其特征在于 步驟(5)中所述的修正方法對(duì)綠色通道中插值的像素點(diǎn)分別計(jì)算水平和垂直梯度，如果水平梯度小于垂直梯度，對(duì)此像素綠色值進(jìn)行水平鄰域加權(quán)修正，如果水平梯度大于垂直梯度，對(duì)此像素綠色值進(jìn)行垂直鄰域加權(quán)修正，如果水平梯度等于垂直梯度，對(duì)此像素綠色值進(jìn)行水平垂直鄰域加權(quán)修正；對(duì)插值像素點(diǎn)的紅色值和藍(lán)色值均進(jìn)行水平垂直鄰域加權(quán)修正。
全文摘要
本發(fā)明公開了一種基于邊緣方向插值的顏色濾波陣列(color filter array，CFA)圖像去馬賽克方法，主要解決了現(xiàn)有的去馬賽克方法對(duì)圖像高頻部分插值效果不佳虛假顏色效應(yīng)嚴(yán)重的問題。其實(shí)現(xiàn)步驟是(1)輸入一幅待去馬賽克的CFA圖像；(2)估計(jì)亮度；(3)對(duì)綠色通道插值；(4)對(duì)紅色和藍(lán)色通道分別進(jìn)行雙線性插值；(5)分別對(duì)紅、綠、藍(lán)通道進(jìn)行修正；(6)輸出彩色圖像。本發(fā)明具有能較好的保持圖像高頻信息的優(yōu)點(diǎn)，能有效抑制虛假顏色效應(yīng)，改善CFA圖像去馬賽克后視覺效果，且運(yùn)行時(shí)間短。
文檔編號(hào)G06T3/40GK102254301SQ20111020761
公開日2011年11月23日 申請(qǐng)日期2011年7月22日 優(yōu)先權(quán)日2011年7月22日
發(fā)明者侯彪, 公茂果, 張小華, 朱同華, 焦李成, 王桂婷, 王爽, 田小林, 鐘樺 申請(qǐng)人:西安電子科技大學(xué)