專利名稱：使用全色圖像的噪聲降低彩色圖像的制作方法
技術(shù)領(lǐng)域：
本發(fā)明總地來說涉及從具有全色和彩色像素的圖像產(chǎn)生全彩色噪 聲降低全分辨率圖像的數(shù)字圖像處理操作的領(lǐng)域。
背景技術(shù)：
最普遍和經(jīng)常必不可少的圖像處理操作之一是噪聲降低。這對于可 能在不充足的光照條件下捕獲的數(shù)字靜態(tài)和視頻照相機圖像尤其是如 此。 一種解決在低于最佳光照條件下的數(shù)字圖像捕獲的方法是獲取或合 成對低的或不足的場景光照特別敏感的一個或多個色彩通道。來自具有 增加的光敏感度的通道的數(shù)據(jù)一般用來引導(dǎo)來自附隨的標(biāo)準(zhǔn)色彩通道 的數(shù)據(jù)的隨后圖像處理。噪聲降低是用于從該另外的圖像數(shù)據(jù)中獲益的
首選。在文獻(xiàn)資料中存在若干例子。美國專利No.6,646,246(Gindele等) 教導(dǎo)使用具有慢速和快速像素的擴(kuò)展動態(tài)范圍濾色器陣列(CFA )模式， 僅使用慢速像素數(shù)據(jù)對慢速像素數(shù)據(jù)進(jìn)行噪聲消減且僅使用快速像素 數(shù)據(jù)對快速像素數(shù)據(jù)進(jìn)行噪聲消減。該方案以圖像分辨率為代價實現(xiàn)了 噪聲降低，因為每個色彩通道現(xiàn)在被細(xì)分成快速通道和慢速通道，且隨 后的合并可產(chǎn)生比解決的原始噪聲更讓人煩惱的圖像處理偽影。美國專 利No.7,065,246 ( Xiaomang等)代表了相當(dāng)數(shù)量的相似地公開的發(fā)明， 其中它揭示了從直接感測的色彩通道數(shù)據(jù)(在這種情況下為青色、品紅、 黃和綠)來構(gòu)造亮度信號。構(gòu)造的亮度的高頻分量用來代替原始色彩通 道信號的高頻分量以影響圖像數(shù)據(jù)的凈噪聲降低。盡管稍微有效，但是
該方案的主要不利在于從有噪聲色彩通道分量構(gòu)造合成的亮度通道，這 導(dǎo)致基本上等同的有噪聲的合成通道。
在美國專利No.5,264,924 (Cok)中可找到更好的方案的提議。Cok 公開了直接測量在每個像素位置處的紅、綠、藍(lán)和亮度值。被設(shè)計為固 有地比對應(yīng)的高頻紅、綠和藍(lán)數(shù)據(jù)噪聲更小的高頻亮度數(shù)據(jù)用來替代所 述高頻紅、綠和藍(lán)數(shù)據(jù)以產(chǎn)生噪聲消減的紅、綠和藍(lán)信號。由于絕大部 分?jǐn)?shù)字靜態(tài)和視頻照相機使用裝備有每像素僅感測 一個色彩通道的CFA的單傳感器，所以Cok不能在這樣的系統(tǒng)中直接實施。
盡管Xiaomang和Cok描述了亮度信號，但是具有符合人視覺系統(tǒng) 的亮度通道的光度敏感度的色彩通道可能被不必要地限制了 。

發(fā)明內(nèi)容
本發(fā)明的目的是從具有全色和彩色像素的數(shù)字圖像產(chǎn)生噪聲降低 的全分辨率全彩色圖像。
該目的通過用于產(chǎn)生噪聲降低的數(shù)字彩色圖像的方法來實現(xiàn)，該方 法包括
a. 提供具有對應(yīng)于至少兩個彩色光響應(yīng)的全色像素和彩色像素的圖
像；
b. 從該圖像提供全色圖像和至少一個彩色圖像；以及
c. 通過在每個彩色像素位置處將多個彩色特征設(shè)置為等于對應(yīng)的全 色特征，來使用全色圖像和彩色圖像以產(chǎn)生噪聲降低的數(shù)字彩色圖像。
本發(fā)明的特征是可采用具有全色和彩色像素的傳感器在低光條件 下捕獲圖像且處理降低了從全色和彩色像素產(chǎn)生的全彩色圖像中的噪 聲?？刹捎酶话愕娜ǖ啦东@更有用的信號，其比人視覺系統(tǒng)的亮 度通道在所有波長處具有更高的敏感度。


圖1是包括用于實現(xiàn)本發(fā)明的數(shù)字照相機的計算機系統(tǒng)的透視圖2是本發(fā)明的優(yōu)選實施例的框圖3是本發(fā)明替代實施例的框圖4是本發(fā)明替代實施例的框圖5是本發(fā)明替代實施例的框圖6是圖2中的框202中使用的像素的區(qū)域；
圖7是圖2中的框206中使用的像素的區(qū)域；
圖8是圖3中的框210中使用的像素的區(qū)域；以及
圖9是圖4中的框204中使用的像素的區(qū)域。
具體實施例方式
在以下說明中，將按照 一般會作為軟件程序?qū)崿F(xiàn)來描述本發(fā)明的優(yōu)
5選實施例。本領(lǐng)域技術(shù)人員將容易理解該軟件的等同物還可用硬件來構(gòu) 造。由于圖像處理算法和系統(tǒng)是已知的，所以本說明書將具體針對形成 根據(jù)本發(fā)明的系統(tǒng)和方法的 一部分或與本發(fā)明的系統(tǒng)和方法更直接協(xié) 作的算法和系統(tǒng)。本文未具體示出或描述的、用于產(chǎn)生且以其它方式處 理與其有關(guān)的圖像信號的該算法和系統(tǒng)以及硬件或軟件的其他方面可 從該領(lǐng)域中已知的該系統(tǒng)、算法、組件和元件中選才奪。假定以下材料中 的根據(jù)本發(fā)明所述的系統(tǒng)、用于實現(xiàn)本發(fā)明的本文未具體示出、提議或 描述的軟件是傳統(tǒng)的且在本領(lǐng)域普通技術(shù)人員的范圍內(nèi)。
進(jìn)一步地，如本文所使用的，計算才幾程序可纟皮存儲到計算機可讀存 儲介質(zhì)中，該計算機可讀存儲介質(zhì)可包括例如磁存儲介質(zhì)如磁盤(如硬 盤或軟盤)或磁帶，光存儲介質(zhì)如光盤、光帶或機器可讀條形碼，固態(tài)
電子存儲裝置如隨機存取存儲器(RAM)或只讀存儲器(ROM)或任 何其他用來存儲計算機程序的物理裝置或介質(zhì)。
在描述本發(fā)明之前，注意以下內(nèi)容可便于理解本發(fā)明本發(fā)明優(yōu)選 地用在任何已知的計算機系統(tǒng)如個人計算機上。因此，本文不再詳細(xì)討 論計算機系統(tǒng)。注意下述內(nèi)容也是有益的圖像可直接被輸入到計算機 系統(tǒng)(例如通過數(shù)字照相機)或在被輸入到計算機系統(tǒng)之前被數(shù)字化(例 如通過掃描原件，如卣化銀膜)。
參考圖1,示出了用于實現(xiàn)本發(fā)明的計算機系統(tǒng)110。盡管示出計 算機系統(tǒng)110是為了舉例說明優(yōu)選實施例的目的，但是本發(fā)明不限于所 示的計算機系統(tǒng)110，而是可用在任何電子處理系統(tǒng)上，該電子處理系 統(tǒng)諸如從家庭計算機、信息亭(kiosk)、零售或批發(fā)照片沖洗、或用于 處理數(shù)字圖像的任何其他系統(tǒng)中尋找。計算機系統(tǒng)110包括用于接收和 處理軟件程序并執(zhí)行其他處理功能的基于微處理器的單元112。顯示器 114例如通過圖形用戶接口電連接到基于微處理器的單元112以顯示與 軟件相關(guān)聯(lián)的用戶相關(guān)信息。鍵盤116也連接到基于微處理器的單元 112以允許用戶將信息輸入到軟件。作為使用鍵盤116輸入的替代，可 使用鼠標(biāo)118在顯示器114上移動選擇器120并選擇選擇器120覆蓋于 其上的項，如本領(lǐng)域中眾所周知的那樣。
一般包括軟件程序的只讀光盤存儲器(CD-ROM) 124被插入到基 于微處理器的單元中以提供將軟件程序和其他信息輸入到基于微處理 器的單元112的方式。另外，軟盤126還可包括軟件程序，且被插入到基于微處理器的單元112中以輸入軟件程序。只讀光盤存儲器
(CD-ROM) 124或軟盤126可替代地可插入到連接到基于微處理器的 單元112的外部放置的盤驅(qū)動單元122中。進(jìn)一步地，如本領(lǐng)域中眾所 周知的那樣，基于微處理器的單元112可被編程以內(nèi)部地存儲軟件程序。 基于微處理器的單元112還可具有到外部網(wǎng)絡(luò)(如局域網(wǎng)或因特網(wǎng))的 諸如電話線之類的網(wǎng)絡(luò)連接127。打印機128還可連接到基于微處理器 的單元112以打印來自計算機系統(tǒng)110的輸出的硬拷貝。
還可通過個人計算機卡(PC卡)130 (如之前已知的PCMCIA卡)
(基于個人計算機存儲卡國際協(xié)會的規(guī)范)在顯示器114上顯示圖像， 該個人計算機卡130包括電子式地包含在PC卡130中的數(shù)字化圖像。 PC卡130最終被插入到基于微處理器的單元112中以允許在顯示器114 上的圖像的視覺顯示?？商娲?，PC卡130可被插入到連接到基于微 處理器的單元112的外部放置的PC卡讀取器132。還可通過光盤124、 軟盤126或網(wǎng)絡(luò)連接127輸入圖像。存儲在PC卡130、軟盤126或光 盤124或通過網(wǎng)絡(luò)連接127輸入的圖像可從各種源(如數(shù)字照相機(未 示出)或掃描器(未示出))獲得。還可經(jīng)由連接到基于微處理器的單 元112的照相機對接(docking )端口 136直接從數(shù)字照相機134輸入圖 像或經(jīng)由到基于微處理器的單元112的電纜連接138或經(jīng)由到基于微處 理器的單元112的無線連接140直接從數(shù)字照相機134輸入圖像。
根據(jù)本發(fā)明，算法可存儲在迄今提及的任何存儲裝置中且可應(yīng)用于 圖像以插入稀散地分布的圖像。
圖2是優(yōu)選實施例的高層次圖。數(shù)字照相機134負(fù)責(zé)產(chǎn)生原始數(shù)字 紅綠藍(lán)全色(red-green-blue-panchromatic, RGBP )濾色器陣列(CFA ) 圖像200，也稱作數(shù)字RGBPCFA圖像或RGBPCFA圖像。在這點上應(yīng) 注意，在以下說明中可使用其他色彩通道組合(如青-品紅-黃-全色)來 代替紅綠藍(lán)全色。關(guān)鍵點是包括全色通道。該圖像被認(rèn)為是稀疏地采樣 的圖像，因為圖像中的每個像素包含紅、綠、藍(lán)或全色數(shù)據(jù)的僅一個像 素值。全色圖像插值框202產(chǎn)生全分辨率全色圖像204。在圖像處理鏈 中的該點上每個彩色像素位置具有相關(guān)聯(lián)的全色值以及或者是紅、綠或 者是藍(lán)值。通過全分辨率全色圖像的幫助，現(xiàn)在在RGB CFA圖像噪聲 降低框210中降低了與紅、綠和藍(lán)像素值相關(guān)聯(lián)的噪聲，從而產(chǎn)生噪聲 降低的RGB CFA圖像212。 RGB CFA圖像插值框214隨后產(chǎn)生噪聲降低的全分辨率全彩色圖像226。
圖3是第二優(yōu)選實施例的高層次圖。數(shù)字照相機134負(fù)責(zé)生成原始 數(shù)字紅綠藍(lán)全色(RGBP)濾色器陣列(CFA)圖像200，也稱作數(shù)字 RGBPCFA圖像或RGBPCFA圖像。在該點應(yīng)注意的是，在以下說明中 可使用如青-品紅-黃-全色的其他色彩通道組合代替紅綠藍(lán)全色。關(guān)鍵是 包括全色通道。因為圖像中的每個像素包含紅、綠、藍(lán)或全色數(shù)據(jù)的僅 一個像素值，所以該圖像被認(rèn)為是稀疏地采樣的圖像。全色圖像插值框 202產(chǎn)生全分辨率全色圖像204。在圖像處理鏈中的該點每個彩色像素 位置具有相關(guān)聯(lián)的全色值以及或者是紅、綠或者是藍(lán)值。通過全分辨率 全色圖像的幫助，現(xiàn)在在RGB CFA圖像噪聲降低框210中降低了與紅、 綠、藍(lán)像素值相關(guān)聯(lián)的噪聲以產(chǎn)生噪聲降低的RGB CFA圖像212。 RGB CFA圖像插值框214隨后產(chǎn)生噪聲降低的全分辨率全色圖像216 。最后， 全分辨率全彩色噪聲降低框218產(chǎn)生最終的噪聲降低的全分辨率全彩色 圖像框224。
圖4是優(yōu)選實施例的高層次圖。數(shù)字照相機134負(fù)責(zé)生成原始數(shù)字 紅綠藍(lán)全色(RGBP)濾色器陣列(CFA)圖像200，也稱作數(shù)字RGBP CFA圖像或RGBPCFA圖像。在該點注意的是，在以下說明中可使用如 青-品紅-黃-全色的其他色彩通道組合代替紅綠藍(lán)全色。關(guān)鍵點是包括全 色通道。由于圖像中的每個像素包含紅、綠、藍(lán)或全色數(shù)據(jù)的僅一個像 素值，所以該圖像被認(rèn)為是稀疏地采樣的圖像。全色圖像插值框202產(chǎn) 生全分辨率全色圖像204。在圖像處理鏈中的該點處，每個彩色像素位 置具有相關(guān)聯(lián)的全色值以及或者是紅、綠或者是藍(lán)值。接著全分辨率全 色圖像噪聲降低框206產(chǎn)生噪聲降低的全分辨率全色圖像208。通過噪 聲降低的全分辨率全色圖像的幫助，現(xiàn)在在RGB CFA圖像噪聲降低框 210中降低了與紅、綠和藍(lán)像素值相關(guān)聯(lián)的噪聲，從而產(chǎn)生噪聲降低的 RGB CFA圖像212。 RGB CFA圖像插值框214隨后產(chǎn)生噪聲降低的全 分辨率全彩色圖像222。
圖5是優(yōu)選實施例的高層次圖。數(shù)字照相機134負(fù)責(zé)生成原始數(shù)字 紅綠藍(lán)全色(RGBP)濾色器陣列(CFA)圖像200，也稱作數(shù)字RGBP CFA圖像或RGBP CFA圖像。在該點注意的是,在以下說明中可使用如 青-品紅-黃-全色的其他色彩通道組合代替紅綠藍(lán)全色。關(guān)鍵點是包括全 色通道。由于圖像中的每個像素包含紅、綠、藍(lán)或全色數(shù)據(jù)的僅一個像素值，所以該圖像被認(rèn)為是稀疏地采樣的圖像。全色圖像插值框202產(chǎn)
生全分辨率全色圖像204。在圖像處理鏈中的該點處，每個彩色像素位
置具有相關(guān)聯(lián)的全色值以及或者是紅、綠或者是藍(lán)值。接著全分辨率全
色圖像噪聲降低框206產(chǎn)生噪聲降低的全分辨率全色圖像208。通過噪
聲降低的全分辨率全色圖像的幫助，現(xiàn)在在RGB CFA圖像噪聲降低框
210中降低了與紅、綠和藍(lán)像素值相關(guān)聯(lián)的噪聲，從而產(chǎn)生噪聲降低的
RGB CFA圖像212。 RGB CFA圖像插值框214隨后產(chǎn)生噪聲降低的全
分辨率全彩色圖像216。最終，全分辨率全彩色噪聲降低框218產(chǎn)生最
終的噪聲降低的全分辨率全彩色圖像框220。
返回圖2,可以以本領(lǐng)域技術(shù)人員已知的任何適當(dāng)方式4丸行全色圖
像插值框202?，F(xiàn)在給出兩個例子。參考圖6，估計像素Xs的全色值的 一種方式是僅對周圍的六個全色值取平均，即
X5 = (Pi + P2 + b + P + Pg + p9) / 6 在該方法中對像素值的交替加權(quán)(alternate weighting)對本領(lǐng)域技
術(shù)人員也是已知的。作為例子，
X5 = (I>, + 2P2 + P3 + P7 + 2iP8 + Prf / 8 可替代地，可以通過首先計算方向梯度的絕對值(絕對方向梯度) 來4吏用自適應(yīng)方法
b5 = |p， — P9| V5 = fP2 - P8|
s5 = |p3 - p7!
現(xiàn)在X5的值通過三個兩點平均中的一個來確定
VX5 - (P2 + P8) / 2 SX5 = (h + P ) / 2
與絕對方向梯度組的最小值相關(guān)聯(lián)的兩點平均用于計算X5，例如，
^口果V5《B5JL V5《S5,貝'J X5=VX5。
返回圖2,通過在每個彩色像素位置處將多個彩色特征設(shè)置為等于
9對應(yīng)的全色特征來執(zhí)行RGB CFA圖像噪聲降低框210。任何數(shù)目的該特 征為本領(lǐng)域技術(shù)人員所已知。作為例子，參考圖8,可在八個不同的方 向上在所示的鄰域內(nèi)限定與像素R5的第一空間紅色像素差，也稱作方 向梯度
R廣R5 (西北)
R2-R5 (北)
R3-R5 (東北)
R4-R5 (西)
R6-R5 (東)
R7-R5 (西南)
R8-R5 (南)
R9-R5 (東南)。
彩色特征的另一例子是第二空間像素差。再次參考圖8,可以在四
個不同的方向上在所示的鄰域內(nèi)給出與像素R5的第二紅色像素差
2Rs-R廣R9 (反斜線)
2R5-R2-R8 (垂直)
2R5-R3-R7 (斜線) 2R5-R4-R6 (水平)。
現(xiàn)在給出本發(fā)明的四個例子。參考圖7，應(yīng)注意每個像素位置具有 相關(guān)聯(lián)的全色值。還應(yīng)注意介入的非紅像素(即圖7中的空白像素)的 數(shù)目和布置是無關(guān)的。所需要的是具有至少一個或多個相同顏色的鄰近 像素值的中央像素值。還應(yīng)注意盡管圖7描繪了 5個像素高且5個像素 寬的方形像素鄰域，但是可使用任何尺寸和形狀的鄰域。而且，在以下 討論中，當(dāng)清潔(clean)綠或藍(lán)色通道時綠或藍(lán)將替代紅。由于全色通 道比紅色通道快，所以全色通道比紅色通道具有更小的噪聲，且將在有 效像素鄰域上平均的第 一空間紅色像素差設(shè)為等于在相同的像素鄰域 上平均的第一空間全色像素差降低了紅色像素Rs的噪聲。這通過計算 以下加^又平均來完成c4(P4 - P5 + + c5(P5 - P5 + R5) + c6(P6 - P5 + + c7(P7 — P5 + + c8(P8 - P5 + Rs) + C9<P9 - P5 + R9)/
(C| + 'C2 + C3 + 十C5 + C6 + C + Cg + C9) 加權(quán)系數(shù)C到C9限定有效像素鄰域，并且根據(jù)全色值的差以及根
據(jù)紅色值的差來計算該加權(quán)系數(shù)
1如果Pi-p5《tp且R,-R5《tr,否則c「二o
c2=-1如果P2-P5< tp且R2-R5< tr,否則c2==0
c3=1如果p3匿P5《tp且R3-R5《tr,否則c3==0
c4=1如果p4-P5< tp且R4-Rs《tr,否則C4二:0
c5=1如果p5-P5《tp且Rs--R5《tr，否則c5==0
C6=1如果p6.-P5I《tp且Re--Rs<tr,否則:0
C7=1如果p7.-Psi《tp且R7--R5< tr,否則c7==0
c8=1如果p8-"p且R8--R5《tr，否則c8==0
c9=1如果p9--P5I< tp且R9--R5《tr,否則c9==0
在這些表達(dá)式中tp和tr是被選擇以排除由圖7中所示的像素鄰域中 的任何邊緣從中央像素(R5)分離的像素值的預(yù)定正閾值。應(yīng)注意通過
這些定義cs總是l;這是為了保證在總和中總是包括至少一個像素?？?使用用于分布(populate)加權(quán)系數(shù)且用于選擇有效鄰域的替代方案， 且所述替代方案可被適配成使用全分辨率全色數(shù)據(jù)。例如，可計算加權(quán) 系數(shù)從而使得這些加權(quán)系數(shù)采取0和1之間的任何值。
上述方法的替代方法是使用在有效像素鄰域上取平均的第二空間 像素差。再次參考圖7,將在有效像素鄰域上取平均的第二空間紅色像 素差設(shè)置為等于在相同的像素鄰域上取平均的第二空間全色像素差降 低了紅色像素Rs的噪聲<formula>formula see original document page 12</formula>加權(quán)系數(shù)d!到d4限定有效像素鄰域且其根據(jù)全色值的差以及根據(jù) 紅色值的差來加以計算
d產(chǎn)l如果iP廣P5！《tpJL|P9-P5|
iRi-RsI < tr且lRg-R5 d2=l如果lP2-Psl < tpilP8-P5| |R2-R5| < tr且lRf Rs
d3=l如果IP3隱Psl《tpJL|P7_Ps|
|R3-R5| "且lR廣R5
d4=l如果IP4-Psl《tp且IPrP5|
R4-R5|《tr且lRrRs
《tp,且
I《tr,否貝'J山二O
<tp,且
i《tr,否則d2 = 0
"p,且
I《tr,否貝'J d3=0
<tp,且
I《tr，否貝'J d4 = 0c
在這些表達(dá)式中tp和tr是被選擇以排除由圖7中所示的像素鄰域中
的任何邊緣從中央像素(R5)分離的像素值的預(yù)定正閾值。應(yīng)注意的是， 通過這些定義所有的加權(quán)函數(shù)可以同時是零；為了確保在總和中總是包 括至少一個像素，在上述加權(quán)和上R5被加到分子且1被加到分母。一 種替代方法是使用有效像素鄰域中的所有第 一 空間像素差的中值 (median)。再次參考圖7,將有效像素鄰域中的所有第 一空間紅色像 素差的中值設(shè)為等于相同像素鄰域中的所有第 一 空間全色像素差的中 值降低了紅色像素Rs的噪聲。首先，計算一個全色和一個紅色9點中 值<formula>formula see original document page 12</formula>Rm-中值[(R廣R5),(R2-R5),(R3畫R5), (R4-R5),(R5-R5),(R6-R5), (R7-R5),(R8-R5),(R9-R5)]
RM被設(shè)為等于PM且注意對中值算子內(nèi)的所有項加上常數(shù)或從其減
去常數(shù)不會改變項的順序，對R5求解該表達(dá)式 R^中值(Rb R2, R3 ， R4， R5， R6 ， R ， Rs ， R9) — 中值(P,, P2， P3, P4, P5， 3P6 ， P7> P8 ， P9) + P5
替代方法是同時使用在有效像素鄰域上取平均的第 一 和第二空間 像素差。再次參考圖7,將在有效像素鄰域上取平均的第一和第二空間 紅色像素差的平均值設(shè)為等于在相同像素鄰域上取平均的第一和第二 空間全色像素差的平均值降低了紅色像素R5的噪聲
R5 = [c,(P, - P5 + R,) + c2(P2 - P5.+ R2) + c3(P3 - P5 + R3) +
4 - P5 + R4)十C5(P5 — P5 + R5) + C6(P6 — PS + R6) +
c7(P7 — P5 + R》十c8(Ps — P5 + H8>十c9(l>9 — P5 + R9)〗/
2(Ci + C2 + C3 + C4 + C5. + Cfi. + C7 + Cg + C9) +
〖d!(- P, + 2P5 - P9 + Ri + R9)/2 + d2(— P2 + 2P5 — P8 + R2 + Rs)/2 + d3(— P3 + 2P5 — P7 + R3 + R7)/2 + cU(- P4 + 2P5 — P6 + R4 + R&)/2 1 R5j / 2(d| +d2 + d3 + d4 + 1)
加權(quán)系數(shù)d到C9和山到dt與上述相同。第一和第二空間像素差的 平均值還可由加權(quán)平均值來替代，且權(quán)重可以是固定的或根據(jù)例如R5
到邊緣有多近來計算。
上述四個例子的替代方法包括使用第 一空間像素差的最大值，第一
空間像素差的最小值以及自適應(yīng)定向中值濾波器。通過結(jié)合其他已知的 噪聲降低方法(例如但不限于無限脈沖響應(yīng)(IIR)濾波和奇異值分解 (SVD))來利用本領(lǐng)域技術(shù)人員已知的其他全色特征，更多的替代方 法是有可能的。
本領(lǐng)域技術(shù)人員還熟知的是如圖7中所描繪的像素鄰域可來自于圖寸象數(shù)據(jù)的4立普4立斯或高斯》荅式分解(Gaussian pyramid decomposition ) 或小波分解。通過同時將相同的分解方法應(yīng)用到全分辨率全色數(shù)據(jù)，每 個RGB圖像分解分量內(nèi)的每個所產(chǎn)生的像素仍將具有相關(guān)聯(lián)的全色值。 因此前述討論和例子保持相關(guān)且不變。
返回圖2, RGB CFA圖像插值框214可使用現(xiàn)有技術(shù)中描述的任何 公知的CFA插值或反馬賽克(demosaicking )技術(shù)來執(zhí)行。美國專利 No.5,852,468 ( Okada )描述了 一種典型的非自適應(yīng)方法，而美國專利 No.5,506,619 ( Adams等)教導(dǎo)了 一種代表性的自適應(yīng)方法。
在圖3中，全分辨率全彩色噪聲降低框216可以以與RGB CFA圖 像噪聲降低框210相似的方式執(zhí)行，只是在框216中在每個像素位置處 存在紅、綠、藍(lán)和全色值。因此，可使用如圖8中所描繪的鄰接的像素 鄰域來執(zhí)行噪聲降低。當(dāng)參考圖8時，平均第一空間像素差、平均第二 空間像素差和中值第一空間像素差的上面給出的例子可以直接適用。
在圖4中，全分辨率全色圖像噪聲降低框206將使用現(xiàn)有技術(shù)中用
于灰階或單通道圖像噪聲降低的任何公知的方法來執(zhí)行。參考圖9,可
使用西格瑪(sigma)濾波器來完成全色像素Ps的噪聲降低。這通過計
算如下加權(quán)平均值來完成
P5 = (C|Pt + c2P2 + c3P3 + "P4 + c5P5十c6P6 ， c P + c8P8 + /
加權(quán)系數(shù)d到C9根據(jù)全色值的差來計算
Cl=1如果Pr■P5I《t，否則=0
C2=1如果-P5I< t,否則c2==0
C3=1如果P3.-P5I< t,否則c3=:0
C4=1如果P4. 《t,否則=0
C5=1如果P5-P5I《t，否則c5==0
c6=1如果P6-P5I《t,否則C6::0
c7=1如果P7-P5I《t，否則c7==0
c8=1如果p8-P5I"，否則c8==0
c9=1如果p9-P5I《t,否則C9:=0。
在這些表達(dá)式中t是被選擇以排除由圖9所示的像素鄰域中的任何邊從中央像素(P5)分離的像素值的預(yù)定閾值。應(yīng)注意通過這些定義Cs
總是1;這是為了保證在總和中總是包括至少一個像素。在本領(lǐng)域中公
知用于分布西格瑪濾波器加權(quán)系數(shù)的替代方案。 一種替代方法是使用自
適應(yīng)中值濾波器。再次參考圖9，計算四個全色 Ph:中但(P4,P5,P6)
Pf中值(P!,Ps,P9)
Pf中值(p2,p5,p8) Pf中值(p3,p5,p7)。
P5的噪聲降低的值對應(yīng)于最接近與Ps相關(guān)聯(lián)的原始全色值的全色
中值
P5=PH如果IPH-P51《{IPB-P51, 1 pv-p51, I ps-p51}
P5=PB如果IPB-P51 < {I PH-P5 i , I Pv-P51 , i Ps-P51} P5=PV如果I Pv-P51 < {IPH-P51 , IPB-P51 , i Ps-P51}
p5=ps如果I ps-p5 i《{IPH-P51, i PB-P51, I pv-p51}。
采用自適應(yīng)中值濾波器的替代方案在本領(lǐng)域中已公知且可使用。
除了上述方法之外，可使用其他公知的噪聲降低方法，例如但不限
于無限脈沖響應(yīng)(IIR)濾波和奇異值分解(SVD)。
本領(lǐng)域技術(shù)人員還熟知的是，如圖9中所描繪的像素鄰域可來自于 圖像數(shù)據(jù)的拉普拉斯或高斯塔式分解或小波分解。因此前述討論和例子 保持相關(guān)和不變。
在本發(fā)明的優(yōu)選實施例中公開的噪聲降低算法可被用于各種用戶 上下文和環(huán)境中。示例性的上下文和環(huán)境包括但不限于批發(fā)數(shù)字照片沖 洗(其涉及諸如上底片、數(shù)字處理、打印出來之類的典型處理步驟或階 段)、零售數(shù)字照片沖洗(上底片、數(shù)字處理、打印出來)、家庭打印 (家庭掃描底片或數(shù)字圖像、數(shù)字處理、打印出來)、桌上型軟件(將 算法應(yīng)用到數(shù)字打印以使其更好或甚至僅是改變數(shù)字打印的軟件)、數(shù) 字實現(xiàn)(數(shù)字圖像輸入-從介質(zhì)或通過網(wǎng)絡(luò)，數(shù)字處理，圖像輸出-以介 質(zhì)上的數(shù)字形式、網(wǎng)絡(luò)上的數(shù)字形式或打印在硬拷貝印刷品上)、信息 亭(數(shù)字或掃描的輸入，數(shù)字處理，數(shù)字或掃描的輸出)、移動裝置(例 如可用作處理單元、顯示單元或給出處理指示的單元的PDA或手才幾)， 且作為通過萬維網(wǎng)提供的服務(wù)。
在每種情況下，噪聲降低算法可以是獨立的或可以是更大的系統(tǒng)解決方案的部分。而且，與算法的接口 (例如掃描或輸入、數(shù)字處理、對 用戶的顯示(如果需要)、用戶請求的輸入或處理指示(如果需要)、 輸出)可每個在相同或不同的裝置和物理位置上，且裝置和位置之間的 通信可經(jīng)由公共或私人網(wǎng)絡(luò)連接或基于介質(zhì)的通信。在與本發(fā)明的上述 公開一致的情況下，算法自身可以是完全自動的，可具有用戶輸入(完 全或部分手動)，可讓用戶或操作員瀏覽以接受/拒絕結(jié)果，或可通過元 數(shù)據(jù)輔助(元數(shù)據(jù)可由用戶提供，由測量裝置(例如在照相機中)提供 或由算法確定)。而且，算法可與各種工作流用戶接口方案接口連接。
根據(jù)本發(fā)明在此公開的噪聲降低算法可具有利用各種數(shù)據(jù)檢測和 降^f氐技術(shù)(例如面部沖企測、眼部才全測、皮膚沖全測、閃光才全測)的內(nèi)部組 件。
已具體參考了本發(fā)明的特定優(yōu)選實施例詳細(xì)說明了本發(fā)明，但是應(yīng) 理解的是，在本發(fā)明的精神和范圍內(nèi)可實現(xiàn)變化和修改。
零件列表
110計算機系統(tǒng)
112基于微處理器的單元
114顯示器
116鍵盤
118鼠標(biāo)
120顯示器上的選擇器 122盤驅(qū)動單元
124只讀光盤存儲器(CD-ROM) 126軟盤 127網(wǎng)絡(luò)連才妾 128打印機
130個人計算機卡(PC卡) 132 PC卡讀取器 134數(shù)字照相枳』
16136照相纟幾對纟妻端口
138電纜連接
140無線連接
200 RGBPCFA圖像
202全色圖像插值
204全分辨率全色圖像
206全分辨率全色圖像噪聲降低
208噪聲降低的全分辨率全色圖像
210 RGB CFA圖像噪聲降低
212噪聲降低的RGB CFA圖像
214 RGB CFA圖像插值
216噪聲降低的全分辨率全彩色圖像
218全分辨率全彩色噪聲降低
220最終的噪聲降低的全分辨率全彩色圖像
222噪聲降低的全分辨率全彩色圖像
224最終的噪聲降低的全分辨率全彩色圖像
226噪聲降低的全分辨率全彩色圖像
權(quán)利要求
1.一種用于產(chǎn)生噪聲降低的數(shù)字彩色圖像的方法，包括a.提供具有對應(yīng)于至少兩個彩色光響應(yīng)的全色像素和彩色像素的圖像；b.從所述圖像提供全色圖像和至少一個彩色圖像；以及c.通過在每個彩色像素位置處將多個彩色特征設(shè)為等于對應(yīng)的全色特征，使用全色圖像和彩色圖像來產(chǎn)生噪聲降低的數(shù)字彩色圖像。
2. 根據(jù)權(quán)利要求1所述的方法，其中步驟c)的特征包括在有效像 素鄰域上取平均的第 一 空間像素差。
3. 根據(jù)權(quán)利要求1所述的方法，其中步驟c)的特征包括在有效像 素鄰域上取平均的第二空間像素差。
4. 根據(jù)權(quán)利要求1所述的方法，其中步驟c)的特征包括在有效像 素鄰域中的所有所述第 一 空間像素差的中值。
5. 根據(jù)權(quán)利要求1所述的方法，其中步驟c)的特征包括在有效像 素鄰域中的所有所述第二空間像素差的中值。
6. 根據(jù)權(quán)利要求1所述的方法，其中步驟c)的特征包括在有效像 素鄰域中的所有所述第 一 空間像素差的最大值。
7. 根據(jù)權(quán)利要求1所述的方法，其中步驟c)的特征包括在有效像 素鄰域中的所有所述笫二空間像素差的最大值。
8. 根據(jù)權(quán)利要求1所述的方法，其中步驟c)的特征包括在有效像 素鄰域中的所有所述第 一 空間像素差的最小值。
9. 根據(jù)權(quán)利要求1所述的方法，其中步驟c)的特征包括在有效像 素鄰域中的所有所述第二空間像素差的最小值。
10. 根據(jù)權(quán)利要求1所述的方法，其中步驟a)包括具有紅、綠和 藍(lán)的以下光敏感度的彩色像素。
11. 根據(jù)權(quán)利要求1所述的方法，其中步驟a)包括具有青、品紅和 黃的以下光敏感度的彩色像素。
12. —種用于產(chǎn)生噪聲降低的數(shù)字彩色圖像的方法，包括a. 提供具有對應(yīng)于至少兩個彩色光響應(yīng)的全色像素和彩色像素的圖 像；b. 從所述圖像提供全色圖像和至少一個彩色圖像；以及C.通過將多個彩色特征設(shè)為等于對應(yīng)的全色特征，使用鄰近全色像 素值來產(chǎn)生對應(yīng)于有效鄰域中的每個彩色像素的全色值，且使用所計算 的全色像素值和鄰近的相同彩色像素值來產(chǎn)生噪聲降低的彩色像素，且 對于每個彩色像素重復(fù)該步驟，從而產(chǎn)生噪聲降低的數(shù)字彩色圖像。
13. 根據(jù)權(quán)利要求12所述的方法，其中步驟c)進(jìn)一步包括i)對彩 色噪聲降低的像素進(jìn)行插值以產(chǎn)生插值的彩色像素，從而提供噪聲降低 的數(shù)字彩色圖像。
14. 根據(jù)權(quán)利要求12所述的方法，進(jìn)一步包括對全彩色插值圖像提 供進(jìn) 一 步的噪聲降低以產(chǎn)生最終的噪聲降低的數(shù)字彩色圖像。
15. 根據(jù)權(quán)利要求12所述的方法，進(jìn)一步包括在步驟i)之前對包括 插值的全色值的所有全色值進(jìn)行噪聲降低，以產(chǎn)生噪聲降低的全色圖 像。
16. 根據(jù)權(quán)利要求15所述的方法，進(jìn)一步包括對所述全彩色插值圖 像提供進(jìn)一步的噪聲降低，以產(chǎn)生最終的噪聲降低的數(shù)字彩色圖像。
17. 根據(jù)權(quán)利要求12所述的方法，其中步驟a)包括具有紅、綠和 藍(lán)的以下光敏感度的彩色像素。
18. 根據(jù)權(quán)利要求12所述的方法，其中步驟a)包括具有青、品紅 和黃的以下光敏感度的彩色像素。
全文摘要
用于產(chǎn)生噪聲降低的數(shù)字彩色圖像的方法包括提供具有對應(yīng)于至少兩個彩色光響應(yīng)的全色像素和彩色像素的圖像；從圖像提供全色圖像和至少一個彩色圖像；以及通過在每個彩色像素位置處將多個彩色特征設(shè)為等于對應(yīng)的全色特征，使用全色圖像和彩色圖像以產(chǎn)生噪聲降低的數(shù)字彩色圖像。
文檔編號H04N9/04GK101681506SQ200880017148
公開日2010年3月24日 申請日期2008年5月9日 優(yōu)先權(quán)日2007年5月23日
發(fā)明者E·O·莫拉萊斯, J·F·小哈米爾頓 申請人:伊斯曼柯達(dá)公司