專利名稱：消除閃光燈圖像中的贗像的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于消除閃光燈圖像中的贗像的方法、計(jì)算機(jī)可讀 介質(zhì)、計(jì)算機(jī)程序和設(shè)備。
背景技術(shù)：
閃光燈圖像中 一 種公知的且特別惱人的贗像是所謂的"紅眼效 應(yīng)"，其中人類的眼睛看上去是紅色的而不是它們本來的顏色。紅 色是由于閃光燈的光線在血液豐富的視網(wǎng)膜上發(fā)生反射而造成的。 當(dāng)閃光燈布置成靠近照相機(jī)鏡頭的光軸時(shí)，尤其是在使用諸如緊湊 型照相機(jī)或集成在移動(dòng)設(shè)備(例如移動(dòng)電話)中的照相機(jī)之類的小 型照相機(jī)的情況下，此效應(yīng)尤其顯著。
紅眼效應(yīng)可以通過多種方式來防止。
一種特別簡單的方式是移動(dòng)閃光燈以遠(yuǎn)離照相機(jī)鏡頭的光軸， 使得照相機(jī)鏡頭不再接收閃光燈從視網(wǎng)膜的直接反射。然而，由于 尺寸限制，這種方法通常不適用于緊湊型照相機(jī)或集成在移動(dòng)設(shè)備 中的照相機(jī)。
根據(jù)在美國專利No.4,285,588中描述的另一種方法，其使用引 起瞳孔在捕捉實(shí)際圖像之前閉合的預(yù)閃。預(yù)閃和實(shí)際捕捉圖像之間 的時(shí)間必須選擇得足夠大以便允許瞳孔閉合。在美國專利 No.4,285，588中，優(yōu)選大約600 ms的時(shí)間延遲。然而，這增加了圖 像捕捉的等待時(shí)間，而且不適合徹底消除紅眼效應(yīng)，因?yàn)轭A(yù)閃不會(huì) 使瞳孔完全閉合。
此外還可以通過對捕捉的圖像進(jìn)行算法處理以及嘗試標(biāo)識(shí)和^肖 除其中包含的紅眼(例如，基于眼睛形狀規(guī)定的幾何學(xué)約束)來消 除紅眼效應(yīng)。然而，紅眼檢測的錯(cuò)誤和遺漏比率通常非常高。美國專利申請公開文本No.2006/0008171描述了另一種消除紅 眼的方法，其依賴于拍攝圖像對，該圖像對包括在沒有閃光燈時(shí)拍 攝的圖像以及隨后在閃光燈下拍攝的圖像。其中，這兩張圖像在短 時(shí)內(nèi)連續(xù)拍攝，例如在l/30秒內(nèi)。確定無閃光燈圖像與閃光燈圖像 之間的紅色色度差，并基于閾值來確定哪些區(qū)域可能形成潛在的紅 眼。隨后，消除紅眼區(qū)域。然而，這種方法的性能關(guān)鍵取決于閾值 的選擇。而且，如果無閃光燈圖像太暗，則性能還會(huì)嚴(yán)重降低。

發(fā)明內(nèi)容
因此，本發(fā)明的目的之一是提供用于減少閃光燈圖像中的贗像 的方法、計(jì)算機(jī)可讀介質(zhì)、計(jì)算機(jī)程序和設(shè)備。
根據(jù)本發(fā)明的第一方面，描述了一種方法，包括至少接收使 用第 一 閃光燈能量級別捕捉的參考圖像的圖像數(shù)據(jù)以及使用高于第 一閃光燈能量級別的第二閃光燈能量級別捕捉的主圖像的圖像數(shù) 據(jù)；以及至少基于參考圖像的圖像數(shù)據(jù)以及主圖像的圖像數(shù)據(jù)來確 定第三圖像的圖像數(shù)據(jù)，其中第三圖像表示消除了贗像的主圖像。
根據(jù)本發(fā)明的第二方面，描述了 一種其上存儲(chǔ)有計(jì)算機(jī)程序的 計(jì)算機(jī)可讀介質(zhì)，該計(jì)算機(jī)程序包括可操作以使得處理器至少接收 使用第 一 閃光燈能量級別捕捉的參考圖像的圖像數(shù)據(jù)以及使用高于 第 一 閃光燈能量級別的第二閃光燈能量級別捕捉的主圖像的圖像數(shù) 據(jù)的指令；以及可操作以使得處理器至少基于參考圖像的圖像數(shù)據(jù) 以及主圖像的圖像數(shù)據(jù)來確定第三圖像的圖像數(shù)據(jù)的指令，其中第 三圖像表示消除了贗像的主圖像。
根據(jù)本發(fā)明的第三方面，描述了一種計(jì)算機(jī)程序，包括可操作 以使得處理器至少接收使用第 一 閃光燈能量級別捕捉的參考圖像的 圖像數(shù)據(jù)以及使用高于第 一 閃光燈能量級別的第二閃光燈能量級別 捕捉的主圖像的圖像數(shù)據(jù)的指令；以及可操作以使得處理器至少基 于參考圖像的圖像數(shù)據(jù)以及主圖像的圖像數(shù)據(jù)來確定第三圖像的圖 像數(shù)據(jù)的指令，其中第三圖像表示消除了贗像的主圖像。根據(jù)本發(fā)明的第四方面，描述了一種設(shè)備，包括處理器，其配 置用于至少接收使用第 一 閃光燈能量級別捕捉的參考圖像的圖像數(shù) 據(jù)以及使用高于第 一 閃光燈能量級別的第二閃光燈能量級別捕捉的 主圖像的圖像數(shù)據(jù)；以及用于至少基于參考圖像的圖像數(shù)據(jù)以及主 圖像的圖像數(shù)據(jù)來確定第三圖像的圖像數(shù)據(jù)，其中第三圖像表示消 除了贗像的主圖像。
根據(jù)本發(fā)明的第五方面，描述了一種設(shè)備，包括接收裝置， 用于至少接收使用第 一 閃光燈能量級別捕捉的參考圖像的圖像數(shù)據(jù) 以及使用高于第 一 閃光燈能量級別的第二閃光燈能量級別捕捉的主 圖像的圖像數(shù)據(jù)；以及確定裝置，用于至少基于參考圖像的圖像數(shù) 據(jù)以及主圖像的圖像數(shù)據(jù)來確定第三圖像的圖像數(shù)據(jù)，其中第三圖 像表示消除了贗像的主圖像。
根據(jù)本發(fā)明，至少接收參考圖像和主圖像的圖像數(shù)據(jù)并且將其 用于確定第三圖像的圖像數(shù)據(jù)，其中第三圖像表示消除了贗像的主 圖像。同樣地，可以接收多于兩幅圖像的圖像數(shù)據(jù)并且將其用于確 定第三圖像的圖像數(shù)據(jù)。消除贗像可以理解為基本上或者完全消除 贗像。參考圖像是利用比主圖像低的閃光燈能量級別而捕捉的。如 果捕捉多于兩幅圖像，則附加的圖像(也即，第三圖像、第四圖像、 等等)可以在有閃光燈或無閃光燈的情況下進(jìn)行捕捉。
參考圖像可以在主圖像之前、至少部分地與主圖像一起被捕捉 (例如利用兩個(gè)圖像傳感器或利用能夠同時(shí)捕捉兩幅圖像的圖像傳 感器)，或者可以在主圖像之后被捕捉。在高閃光燈級別的主圖像 之后捕捉低閃光燈級別的參考圖像例如可以是有利的，因?yàn)閳D像目 標(biāo)的面部表情可能會(huì)被低級別的預(yù)閃迷惑。如果包含在主圖像中的 贗像包括紅眼效應(yīng)，則例如可以將較低的閃光燈能量級別選擇得足 夠低，使得在參考圖像中沒有或僅有可忽略的紅眼效應(yīng)。然而，在 捕捉參考圖像時(shí)使用閃光燈確保了在示例性地基于參考圖像的圖 像數(shù)據(jù)與主圖像的圖像數(shù)據(jù)之間的差異來確定第三圖像的圖像數(shù)據(jù) 時(shí)能夠得到適當(dāng)?shù)慕Y(jié)果，因?yàn)楸苊饬藚⒖紙D像太暗并且因而惡化參考圖像的圖像數(shù)據(jù)與主圖像的圖像數(shù)據(jù)的比較。通過在捕捉參考圖 像時(shí)也使用閃光燈，提高了對所捕捉圖像中潛在的贗像區(qū)域的檢測 質(zhì)量，從而使得贗像消除更為魯棒。
參考圖像和主圖像可以在使用不同閃光燈的條件下進(jìn)行捕捉， 也即，第一類型的閃光燈用于捕捉參考圖像，而第二類型的閃光燈 用于捕捉主圖像。所使用的閃光燈的類型例如可以包括但不限于氙
氣閃光燈、LED閃光燈或指示燈。
對第三圖像的圖像數(shù)據(jù)的確定由接收參考圖像和主圖像的圖像 數(shù)據(jù)的處理器來執(zhí)行。其中，用于捕捉參考圖像和主圖像的裝置例 如可以集成在也包括該處理器的同一設(shè)備中，或者可以在獨(dú)立的設(shè) 備中。在后一情況下，處理器繼而例如可以配備有用于接收參考圖 像和主圖像的圖像數(shù)據(jù)的接口并且具體化為模塊，該模塊可以集成 在帶有照相機(jī)單元的設(shè)備中以用于捕捉參考圖像和主圖像。處理器 可以從計(jì)算機(jī)可讀介質(zhì)(諸如固定安裝的或可移除的存儲(chǔ)單元)讀 取程序代碼，其中程序代碼包括指令，其可操作以使得處理器接收 參考圖像和主圖像的圖像數(shù)據(jù)以及確定第三圖像的圖像數(shù)據(jù)。
贗^f象例如可以包括由于閃光燈光線在人類眼睛血液豐富的視網(wǎng) 膜上反射而導(dǎo)致的紅眼效應(yīng)。贗像例如還可以包括閃光燈光線在一 大群動(dòng)物(例如包括貓和狗)的光神經(jīng)纖維層上反射產(chǎn)生的效應(yīng)， 其使得這些動(dòng)物的眼睛在閃光燈圖像中以不同的顏色不自然的發(fā)
改變主圖像的自然外觀或惡化其質(zhì)量的任何效應(yīng)。
確定第三圖像的圖像數(shù)據(jù)是基于參考圖像和主圖像的圖像數(shù)據(jù) 的。通過這種方式，所述確定不必僅僅依賴于主圖像的圖像數(shù)據(jù)， 而是還可以考慮這兩個(gè)圖像之間的圖像數(shù)據(jù)的變化。
在此，圖像數(shù)據(jù)可以是模擬圖像數(shù)據(jù)或數(shù)字圖像數(shù)據(jù)。圖像數(shù) 據(jù)例如可以是從照相機(jī)單元獲得的原始圖像數(shù)據(jù)，或者其可以已經(jīng) 根據(jù)特定顏色空間模型(諸如YUV或RGB模型)進(jìn)行了變換，或 者已經(jīng)變換為特定圖像格式。圖像數(shù)據(jù)也可以僅表示色彩空間模型的一個(gè)或多個(gè)分量，例如YUV模型的Y、 U和V分量，或者RGB 模型的R、 G和B分量。
根據(jù)本發(fā)明的第 一示例性實(shí)施方式，在捕捉參考圖像和主圖像 之間的時(shí)間距離不超過100 ms。因此，或者在參考圖像之后不超過 100 ms捕捉主圖像，或者在主圖像之后不超過100 ms捕捉參考圖像。 例如，在前一情況下，由于在捕捉參考圖像時(shí)使用的低級別閃光燈 的目的并不在于適應(yīng)瞳孔，因此在定義此時(shí)間延遲時(shí)不必考慮瞳孔 的動(dòng)態(tài)特性。然而，將時(shí)間延遲按如下方式定義可能是有利的，也 即使得目標(biāo)在捕捉圖像之間不可能有較大的運(yùn)動(dòng)。此時(shí)間延遲的適 當(dāng)值例如可以是30 ms或者更短。根據(jù)此示例性實(shí)施方式，圖像捕 捉的等待時(shí)間可以顯著地減小，同時(shí)仍然能夠消除贗像。當(dāng)然，在 捕捉參考圖像與捕捉主圖像之間的時(shí)間距離也可以超過100 ms。例 如，如果對參考圖像和主圖像中的至少一個(gè)應(yīng)用運(yùn)動(dòng)補(bǔ)償，則可以 允許在捕捉參考圖像與捕捉主圖像之間更大的時(shí)間距離，因?yàn)閳D像 中補(bǔ)償?shù)倪\(yùn)動(dòng)允許正確地將圖像作為基礎(chǔ)進(jìn)行比較以消除贗像。
根據(jù)本發(fā)明的第二示例性實(shí)施方式，第 一 閃光燈能量級別小于 第二閃光燈能量級別的10%。第一閃光燈能量級別例如可以定義得 足夠小，使得特定贗像(諸如紅眼效應(yīng))不會(huì)或者僅僅是很小程度 得出現(xiàn)在參考圖像中，但是第 一 閃光燈能量級別又足夠大以確保參 考圖像不會(huì)太暗并且因而適于與主圖像進(jìn)行比較。用于參考圖像的 閃光燈能量級別和曝光時(shí)間例如可以基于取景器圖像的統(tǒng)計(jì)數(shù)據(jù)來 確定。第 一 閃光燈能量級別的適當(dāng)值例如可以是第二閃光燈能量級 別的百分之5到10，不過也可以小很多。參考圖像和主圖像可以在 使用相同閃光燈的條件下進(jìn)行捕捉，只不過應(yīng)用不同的閃光燈能量 級別。同樣地，對于捕捉參考圖像和主圖像，可以分別使用不同類 型的閃光燈。第 一 閃光燈能量級別和/或第二閃光燈能量級別繼而例 如可以由所采用的閃光燈的類型來確定或限定。例如，對于捕沖足參 考圖像，可以使用比捕捉主圖像的閃光燈產(chǎn)生更低閃光能量級別的 閃光燈。根據(jù)本發(fā)明的第三示例性實(shí)施方式，參考圖像具有以下至少一 個(gè)比主圖像更低的質(zhì)量、更低的采樣率以及更低的分辨率。更低 的質(zhì)量、更低的采樣率或者更低的分辨率是有利的，因?yàn)閰⒖紙D像 就需要更少的存儲(chǔ)容量。此更低的質(zhì)量、更低的采樣率或者更低的 分辨率可以在捕捉參考圖像期間實(shí)現(xiàn)，或者可以在圖像捕捉之后通 過對從照相機(jī)單元獲得的原始圖像進(jìn)行變換來實(shí)現(xiàn)。
根據(jù)本發(fā)明的第四示例性實(shí)施方式，確定第三圖像的圖像數(shù)據(jù)
包括在考慮參考圖像的圖像數(shù)據(jù)與主圖像的圖像數(shù)據(jù)之間的差異 的情況下，檢測主圖像的贗像；以及修正所檢測到的贗像以獲得第 三圖像的圖像數(shù)據(jù)。
根據(jù)本發(fā)明的第四示例性實(shí)施方式，檢測贗像可以包括基于 主圖像的圖像數(shù)據(jù)來標(biāo)識(shí)主圖像中的潛在贗像；在考慮參考圖像的 圖像數(shù)據(jù)與主圖像的圖像數(shù)據(jù)之間的差異的情況下確定所述潛在贗 像中的誤標(biāo)識(shí)；以及從潛在贗像中排除誤標(biāo)識(shí)，其中所述修正僅對 未被排除的潛在贗像執(zhí)行。在此，對潛在贗像的標(biāo)識(shí)例如可以通過 模式識(shí)別算法來執(zhí)行，例如通過在主圖像中搜索臉形或者眼形模型。
此處，參考圖像可以在檢測主圖像中的贗4象之前進(jìn)行處理。對 參考圖像的處理例如可以包括對參考圖像的均tf化，從而補(bǔ)償參考 圖像與主圖像之間的諸如運(yùn)動(dòng)、不同圖像尺寸、不同曝光或其他差 異°
備選地，根據(jù)本發(fā)明的第四示例性實(shí)施方式，檢測贗像可以包 括基于參考圖像的圖像數(shù)據(jù)與主圖像的圖像數(shù)據(jù)之間的差異來標(biāo) 識(shí)主圖像中的潛在贗像；在考慮參考圖像或者主圖像的圖像數(shù)據(jù)的 情況下確定所述潛在贗像中的誤標(biāo)識(shí)；以及從潛在贗像中排除誤標(biāo) 識(shí)，其中所述修正僅對未被排除的潛在贗像執(zhí)行?；趨⒖紙D像和 主圖像二者來執(zhí)行潛在贗像的標(biāo)識(shí)可以有助于減少確定潛在贗像中 的誤標(biāo)識(shí)的復(fù)雜度。
在本發(fā)明的第四示例性實(shí)施方式中，修正檢測到的贗像可以至 少部分地基于參考圖像的圖像數(shù)據(jù)。例如，主圖像的圖像數(shù)據(jù)可以
12由參考圖像的圖像數(shù)據(jù)所代替，以獲得第三圖像的圖像數(shù)據(jù)。
根據(jù)本發(fā)明的第五示例性實(shí)施方式，確定第三圖像的圖像數(shù)據(jù)
包括對根據(jù)參考圖像的圖像數(shù)據(jù)和主圖像的圖像數(shù)據(jù)形成的數(shù)據(jù) 集執(zhí)行因子分析；以及將根據(jù)因子分析獲得的變換應(yīng)用于該數(shù)據(jù)集， 以獲得第四圖像的圖像數(shù)據(jù)，其中第三圖像的圖像數(shù)據(jù)至少基于第 四圖像的圖像數(shù)據(jù)而確定。采用因子分析允許無差別地抑制或消除 參考圖像和主圖像之間的整體差異，從而避免模式識(shí)別步驟。應(yīng)當(dāng)
注意，根據(jù)本發(fā)明的第五示例性實(shí)施方式，對第三圖像的圖像數(shù)據(jù) 的確定也可以應(yīng)用于無閃光燈條件下捕捉參考圖像的情形，也即， 接收第 一無閃光燈圖像的圖像數(shù)據(jù)和第二閃光燈圖像的圖像數(shù)據(jù)的 情形。繼而可以基于第 一無閃光燈圖像的圖像數(shù)據(jù)和第二閃光燈圖 像的圖像數(shù)據(jù)來確定第三圖像的圖像數(shù)據(jù)。同樣地，根據(jù)本發(fā)明的 第五示例性實(shí)施方式，對第三圖像的圖像數(shù)據(jù)的確定也可以在捕捉 超過兩幅圖像并且繼而將其用作確定第三圖像的基礎(chǔ)時(shí)應(yīng)用。此處， 所述參考圖像和所述主圖像可以使用閃光燈來捕捉，而其他圖像可 以在有閃光燈或者無閃光燈的情況下進(jìn)行捕捉。后 一 情形的例子是 使用取景器圖像作為另 一圖像。
因子分析例如可以是對數(shù)據(jù)集的主元分析，該主元分析針對參 考圖像的圖像數(shù)據(jù)和主圖像的圖像數(shù)據(jù)確定公共部分和差異部分。 此處，公共部分表示聯(lián)合信號(hào)的最大可變性，而差異部分表示相應(yīng)
的差異；P 、 、 " ？、，'、、、、 ，
或消除差異部分而確定的修改的變換矩陣來確定。通過對數(shù)據(jù)集應(yīng) 用變換矩陣(轉(zhuǎn)置的形式)，數(shù)據(jù)集因而被變換至新的坐標(biāo)系統(tǒng)， 并且通過應(yīng)用修改的變換矩陣，數(shù)據(jù)集從新的坐標(biāo)系統(tǒng)變換回來， 不過是以抑制或消除差異部分(也即參考圖像的圖像數(shù)據(jù)與主圖像 的圖像數(shù)據(jù)之間的差異)的修改的方式。
在本發(fā)明的第五實(shí)施方式中，可以基于來自參考圖像和主圖像 的信息來確定模糊似然性圖，其中模糊似然性圖指示主圖像的部分中是否包含贗像，并且可以在執(zhí)行因子分析之前利用模糊似然性圖 對參考圖像的圖像數(shù)據(jù)和主圖像的圖像數(shù)據(jù)進(jìn)行加權(quán)。在模糊似然 性圖中，例如可以針對每個(gè)像素，存在一個(gè)在范圍[O, l]中的值，其 中該值的大小表示此像素是否有可能處于贗像區(qū)域(例如，紅眼區(qū) 域)。通過利用模糊似然性圖對參考圖像的圖像數(shù)據(jù)以及主圖像的 圖像數(shù)據(jù)進(jìn)行加權(quán)，相對于未對應(yīng)贗像的圖像數(shù)據(jù)而言，對應(yīng)于贗 像的圖像數(shù)據(jù)被加強(qiáng)，從而在后續(xù)處理中給對應(yīng)于贗像的圖像數(shù)據(jù) 更大權(quán)重。應(yīng)用模糊似然性可以不必使用閱值，并且產(chǎn)生空間上平 滑的結(jié)果，這不同于應(yīng)用閾值的方法，這種方法導(dǎo)致經(jīng)過處理以消 除圖像贗像的區(qū)域與未經(jīng)處理區(qū)域之間的可見邊緣。
在本發(fā)明的第五實(shí)施方式中，在考慮模糊似然性圖的條件下， 第三圖像的圖像數(shù)據(jù)可以至少基于參考圖像的圖像數(shù)據(jù)、主圖像的 圖像數(shù)據(jù)以及第四圖像的圖像數(shù)據(jù)。而且，模糊似然性圖的影響可 以從第三圖像的圖像數(shù)據(jù)中消除。
在本發(fā)明的第五實(shí)施方式中，還可以減小部分第三圖像的強(qiáng)度。 例如，如果贗像包括紅眼效應(yīng)，則根據(jù)本發(fā)明的第五實(shí)施方式的處 理，可以減小與瞳孔有關(guān)的圖像數(shù)據(jù)的色彩飽和度。為了使這些瞳 孔變暗，可以減小強(qiáng)度。
在本發(fā)明的第五實(shí)施方式中，圖像數(shù)據(jù)可以表示色彩空間模型 的分量，對第三圖像的圖像數(shù)據(jù)的確定可以針對色彩空間模型的至 少 一 個(gè)分量而執(zhí)行，并且對第三圖像的圖像數(shù)據(jù)的確定可以分別針 對這些分量而執(zhí)行。
在本發(fā)明的第五實(shí)施方式中，色彩空間模型例如可以是YUV模
型，并且對第三圖像的圖像數(shù)據(jù)的確定可以僅針對U和V分量執(zhí)行。 當(dāng)針對第三圖像的Y分量時(shí)，例如可以使用主圖像的Y分量。
在本發(fā)明的第五實(shí)施方式中，色彩空間模型例如可以是YUV模 型，并且對第三圖像的圖像數(shù)據(jù)的確定可以針對U、 V和Y分量執(zhí)行。
從此后參考實(shí)施方式的描述中，本發(fā)明的這些和其他方面將變得明顯。


在附圖中示出
圖la:根據(jù)本發(fā)明的設(shè)備的示例性實(shí)施方式的示意框圖； 圖lb:根據(jù)本發(fā)明的設(shè)備的另一示例性實(shí)施方式的示意框圖； 圖2:根據(jù)本發(fā)明的方法的示例性實(shí)施方式的流程圖； 圖3:根據(jù)本發(fā)明的示例性實(shí)施方式的閃光燈和圖像捕捉時(shí)序的 示意圖示；
圖4:圖2的流程圖的步驟205的示例性實(shí)施方式的流程圖；以
及
圖5:圖2的流程圖的步驟205的另一示例性實(shí)施方式的流程圖。
具體實(shí)施例方式
圖la示出了根據(jù)本發(fā)明的設(shè)備la的示例性實(shí)施方式的示意框 圖。設(shè)備la包括使用不同的閃光燈能量級別來捕捉圖像的照相機(jī)單 元16。
為此，照相機(jī)單元16包括圖像傳感器，諸如電荷耦合器件(CCD) 或互補(bǔ)金屬氧化物半導(dǎo)體(CMOS)圖像傳感器，該圖像傳感器配置 用于捕捉經(jīng)由照相機(jī)光學(xué)系統(tǒng)投射在其表面上的圖像。圖像傳感器 160捕捉的圖像至少臨時(shí)存儲(chǔ)在幀緩沖器161中，該幀緩沖器可以配 置用于一次存儲(chǔ)多幅圖像。圖像傳感器160還可以配備有模數(shù)轉(zhuǎn)換 器，用于將表示所捕捉圖像的信號(hào)轉(zhuǎn)換為將要存儲(chǔ)在幀緩沖器161 中的數(shù)字信號(hào)。應(yīng)當(dāng)注意，幀緩沖器161同樣可以形成中央處理器 10的功能塊或者照相機(jī)單元16的功能塊。
照相機(jī)單元16還包括閃光燈單元162,其配置用于產(chǎn)生具有不 同閃光燈能量級別的閃光燈光線(例如閃光脈沖)，例如以便允許 使用低閃光燈能量級別來捕捉參考圖像，以及使用高閃光燈能量級 別來捕捉主圖像。閃光燈單元例如可以由閃光用電容器來供電。
15而且，照相機(jī)單元16配備有快門單元163,其控制快門的開啟， 而快門控制圖像投射到圖像傳感器160的表面上。舉幾個(gè)例子來說， 快門例如可以是巻簾快門或者全局快門。而且，快門可以機(jī)械式或 電子式實(shí)現(xiàn)。
本領(lǐng)域技術(shù)人員可以理解，照相機(jī)單元16可以包括其他功能單 元，諸如用于控制照相機(jī)單元16的自動(dòng)對焦操作的自動(dòng)對焦單元， 或者類似的單元。
設(shè)備la還包括用于控制設(shè)備la的整體操作的中央處理器10。 具體地，中央處理器IO配置用于控制圖像傳感器160、幀緩沖器161、 閃光燈單元162以及快門單元163,從而允許利用不同的閃光燈能量 級別來捕捉連續(xù)圖像，例如利用低閃光燈能量級別來捕捉參考圖像， 而利用高閃光燈能量級別來捕捉主圖像。
設(shè)備la還包括顯示器11、用戶接口 15以及用于存儲(chǔ)所捕捉圖 像和已處理圖像的圖像存儲(chǔ)器13。圖像存儲(chǔ)器13可以具體化為固定 內(nèi)置存儲(chǔ)器或可移除存儲(chǔ)器，諸如記憶棒或卡。顯示器ll、用戶接 口 15以及圖像存儲(chǔ)器13全部由中央處理器IO來控制。
中央處理器IO可以運(yùn)行存儲(chǔ)在處理器存儲(chǔ)器12中的程序代碼， 該處理器存儲(chǔ)器12還可以用作中央處理器IO的數(shù)據(jù)存儲(chǔ)器，并且 其例如可以具體化為隨機(jī)存取存儲(chǔ)器(RAM )、只讀存儲(chǔ)器(ROM )， 這只是幾個(gè)示例。處理器存儲(chǔ)器12同樣可以具體化為可從設(shè)備la 移除的存儲(chǔ)器。存儲(chǔ)在處理器存儲(chǔ)器12中的程序代碼例如可以定義 中央處理器IO控制設(shè)備la的各個(gè)單元的方式，尤其可以定義如何 對利用不同閃光燈級別連續(xù)捕捉的圖像進(jìn)行處理以消除其內(nèi)包含的 圖像贗像。
設(shè)備la例如可以代表數(shù)字照相機(jī)，其中顯示器11繼而可以用作 取景器以及用作顯示所捕捉圖像的裝置，并且用戶接口 15可以包括 交互元件，諸如照相機(jī)觸發(fā)器、用于縮放的控制元件以及用于操作 菜單結(jié)構(gòu)的控制元件。其中，顯示器11也可以至少部分地用作用戶 接口，例如通過顯示菜單結(jié)構(gòu)。同樣地，設(shè)備la可以代表附加地具有利用不同的閃光燈能量級
別來捕捉連續(xù)圖像的功能的電子設(shè)備。
例如，設(shè)備la可以代表移動(dòng)設(shè)備，諸如移動(dòng)電話、個(gè)人數(shù)字助 理或膝上型計(jì)算機(jī)。其中，中央處理器IO繼而例如可以是用于控制 移動(dòng)設(shè)備的功能的標(biāo)配處理器，顯示器11可以是其標(biāo)配顯示器，并 且用戶接口 15可以是其標(biāo)配用戶接口 ，諸如鍵盤或小鍵盤。類似地， 存儲(chǔ)器12和13可以是已經(jīng)包含在移動(dòng)設(shè)備中的標(biāo)配組件。為了給 移動(dòng)設(shè)備裝配捕捉圖^象的功能，可以將照相機(jī)單元16添加到移動(dòng)設(shè) 備上，并且處理器存儲(chǔ)器12中的程序代碼可以相應(yīng)地改變以使得處 理器IO能夠控制照相機(jī)單元16利用不同的閃光燈能量級別捕捉連 續(xù)圖像，以及能夠消除包含在其中的圖像贗像。
而且，圖la示出設(shè)備la還可以包括專用贗像消除處理器14， 不過其是可選的，因此用虛線示出。由于圖像贗像消除可能是相當(dāng) 復(fù)雜的計(jì)算任務(wù)，因此由專用處理器架構(gòu)(例如專用集成電路(ASIC) 或現(xiàn)場可編程門陣列(FPGA))來執(zhí)行圖像贗像消除可能是有利的。 專用贗像消除處理器14繼而可以從中央處理器IO接收利用不同閃 光燈能量級別捕捉的圖像的圖像數(shù)據(jù)，并且可以消除包含在其中的 圖像贗像，從而獲得沒有圖像贗像的圖像的圖像數(shù)據(jù)。
圖lb示出了根據(jù)本發(fā)明的設(shè)備lb的另一示例性實(shí)施方式的示 意框圖。相比于圖la的設(shè)備la,在圖lb的設(shè)備lb中，圖像處理部 分地或者完全地從中央處理器IO，外包給圖像處理器17。圖像處理器 17 (其也可以表示為成像和視頻引擎)例如可以通過用于圖像處理 任務(wù)(尤其包括根據(jù)本發(fā)明消除圖像贗像的圖像處理)的硬線和/或 可編程功能塊來具體化。為此，圖像處理器17可以包括用于存儲(chǔ)計(jì) 算機(jī)程序的內(nèi)部或外部存儲(chǔ)器，該計(jì)算機(jī)程序具有可操作以執(zhí)行根 據(jù)本發(fā)明的贗像消除的指令。類似于圖la的設(shè)備la，在圖lb的設(shè) 備lb中，也有例如以模塊形式的專用贗像消除處理器14，可以預(yù)見， 該專用贗像消除處理器14部分地或完全地從圖像處理器17外包圖 像贗像消除。而且，圖像處理器17可以直接與圖像存儲(chǔ)器13對接。設(shè)備lb例如可以代表數(shù)字照相機(jī)，其中設(shè)備lb的各單元繼而 如同上面已經(jīng)參照圖la的設(shè)備la解釋的那樣工作。同樣地，設(shè)備 lb可以代表附加地具有利用不同的閃光燈能量級別來捕捉連續(xù)圖像 的功能的電子設(shè)備；例如，設(shè)備lb可以代表移動(dòng)設(shè)備，諸如移動(dòng)電 話、個(gè)人數(shù)字助理或膝上型計(jì)算機(jī)。
圖2繪出了根據(jù)本發(fā)明的方法的示例性實(shí)施方式的流程圖200。 此流程圖的步驟例如可以由設(shè)備la (參見圖la)的中央處理器IO (和/或可選的專用贗像消除處理器14),或者由設(shè)備lb(參見圖 lb)的中央處理器IO，和圖像處理器17 (和/或可選的專用贗像消除 處理器14)來執(zhí)行。其中，示例性地假設(shè)將使用閃光燈來捕捉人物 圖像，由此，將要從所捕捉圖像中消除的贗像是由于閃光燈光線在 人眼血液豐富的視網(wǎng)膜上反射而導(dǎo)致的紅眼效應(yīng)。盡管如此，本領(lǐng) 域技術(shù)人員應(yīng)當(dāng)理解，本發(fā)明同樣可應(yīng)用于消除閃光燈圖^f象中其他 類型的贗像，諸如閃光燈光線在一大群動(dòng)物(例如包括貓和狗)的 光神經(jīng)纖維層上反射并使得這些動(dòng)物的眼睛在閃光燈圖像中以不同 的顏色不自然的發(fā)光。而且，示例性地假設(shè)在高閃光燈能量級別 的主圖像之前捕捉低閃光燈能量級別的參考圖像。備選地，也可以 在高閃光燈能量級別的主圖像之后捕捉低閃光燈能量級別的參考圖 像。
在流程圖200的第一步驟201中，檢查用戶是否激活了照相機(jī) 觸發(fā)器。如果未激活，則流程圖在無窮循環(huán)中返回步驟201以接收 任何照相機(jī)觸發(fā)器激活。
如果在步驟201中確定照相機(jī)觸發(fā)器已經(jīng)被激活，則在步驟202 中，控制照相機(jī)單元16利用低閃光燈能量級別捕捉參考圖像。此參 考圖像例如可以僅通過用于捕捉主圖像的閃光燈能量的百分之5-10 (或甚至更少)以及短曝光時(shí)間(例如10-50 ms)來拍攝。其中， 以如下方式選擇閃光燈能量級別可能是有利的，即不產(chǎn)生或僅產(chǎn)生 最低限度的紅眼效應(yīng)，但是圖像又不會(huì)太暗，因而允許與隨后將用 較高閃光燈能量級別拍攝的主圖像進(jìn)行適當(dāng)?shù)谋容^。用于參考圖像的閃光燈能量級別和曝光時(shí)間例如可以基于取景器圖像數(shù)據(jù)的統(tǒng)計(jì) 數(shù)據(jù)來確定。應(yīng)當(dāng)注意，在取景器圖像足夠亮的情況下，也可以使 用取景器圖像作為參考圖像，而完全不必要捕捉參考圖像。類似地， 在某些情況下，利用零閃光燈強(qiáng)度捕捉參考圖像可能是有益的。而 且，參考圖像例如可以利用比主圖像更低的質(zhì)量、更低的采樣率以 及更低的分辨率來捕捉。這樣可以有助于節(jié)省幀緩沖器161中臨時(shí) 存儲(chǔ)參考圖像所需的存儲(chǔ)容量，因?yàn)槌酥鲌D像之外還要存儲(chǔ)參考 圖像。
在步驟203中，控制照相機(jī)單元16利用高閃光燈能量來捕捉主 圖像，例如利用可用閃光燈電容器能量的百分之百?？梢岳缛?辨率來捕捉主圖像。閃光燈能量級別以及曝光時(shí)間例如可以基于取
景器圖像的統(tǒng)計(jì)數(shù)據(jù)和/或參考圖像的統(tǒng)計(jì)數(shù)據(jù)來確定。主圖像是實(shí) 際上唯一希望的畫面。然而，由于需要使用高閃光燈能量級別的閃 光燈來充分照亮待拍攝的人物，因此紅眼效應(yīng)的發(fā)生也是不可避免 的。然而，基于來自參考圖像和主圖像二者的信息，可以從主圖像 中消除紅眼效應(yīng)，從而獲得消除了紅眼效應(yīng)的主圖像的圖像。在將 捕捉參考圖像與捕捉主圖像之間的時(shí)間延遲保持為較短以避免較大 的運(yùn)動(dòng)和/或內(nèi)容改變時(shí)，可以簡化紅眼效應(yīng)的消除。因此，在捕扭_ 參考圖像之后盡可能快地捕捉主圖像是有利的，例如不超過100 ms, 在例外情況下也可以在捕捉參考圖像之后不超過200 ms。例如，如 果對這兩幅圖像之一或二者應(yīng)用運(yùn)行補(bǔ)償，則在捕捉這兩幅圖像之 間可以有較大的延遲。應(yīng)當(dāng)注意，主圖像和參考圖像還可以利用不 同的曝光時(shí)間進(jìn)行捕捉，例如較短的曝光時(shí)間可以用于主圖像。此 外，在捕捉參考圖像時(shí)盡可能晚地使用閃光燈而在捕捉主圖像時(shí)盡 可能早地使用閃光燈可能是有利的。圖像捕捉區(qū)間內(nèi)的閃光燈區(qū)間 的定位也可以是固定的或可變的。
在步驟204中，接收所捕捉的參考圖像和所捕捉的主圖像的圖 像數(shù)據(jù)。其中，所述圖像數(shù)據(jù)例如可以是色彩空間模型(例如YUV
模型或RGB模型)的一個(gè)分量(例如，原始數(shù)據(jù)或Y、 U、 V、 R、
19G、 B)或多個(gè)分量。本領(lǐng)域技術(shù)人員很容易理解，參考圖像的圖像 數(shù)據(jù)同樣可以直接在步驟202的捕捉參考圖像之后、在步驟203的 捕捉主圖像之前進(jìn)行接收。在步驟204中，繼而將只接收主圖像的 圖像數(shù)據(jù)。繼而可以無需使用能夠同時(shí)存儲(chǔ)兩幅圖像的圖像數(shù)據(jù)的 幀緩沖器。
在步驟205中，確定消除了紅眼效應(yīng)的主圖像的圖像數(shù)據(jù)。下 文將針對圖4的流程圖400以及圖5的流程圖500詳細(xì)討論此步驟 的具體實(shí)施方式
。所述確定基于參考圖像和主圖像二者的圖像數(shù)據(jù)。 其中，除了其他之外，據(jù)研究，利用低閃光燈能量級別捕捉的參考 圖像很可能不包括紅眼效應(yīng)，并且其僅僅在主圖像之前(或者可選 地之后)不久被拍攝，因此有可能比較兩幅圖像來檢測其中的變化 而不會(huì)遭受太多由于運(yùn)動(dòng)和/或場景改變導(dǎo)致的贗像。
最后，在步驟206中，例如在圖像存儲(chǔ)器13 (參見圖la/lb)中 存儲(chǔ)消除了紅眼效應(yīng)的主圖像的圖像數(shù)據(jù)?？蛇x地，所述消除了紅 眼效應(yīng)的主圖像也可以顯示在顯示器11上。由于紅眼效應(yīng)消除過程 產(chǎn)生的處理等待時(shí)間，也可以在顯示器11上顯示未消除紅眼效應(yīng)的 圖像。流程圖繼而返回到步驟201。
圖3示意性示出根據(jù)本發(fā)明的示例性實(shí)施方式的閃光燈和圖像 捕捉的時(shí)序。上部圖30示出在圖像捕捉期間閃光燈的使用，下部圖 31示出圖像捕捉的周期。很容易看出，在此示例性實(shí)施方式中，在 主圖像之前示例性地捕捉參考圖像，利用短曝光時(shí)間20ms、低能量 的閃光脈沖300來執(zhí)行參考圖像的捕捉310,而利用較長曝光時(shí)間 50ms、高能量的閃光脈沖301來執(zhí)行主圖像的捕捉311。而且，參 考圖像的捕捉310與主圖像的捕捉311之間的延遲僅等于5ms。如 上面已經(jīng)論述的，將激活閃光燈300和301的時(shí)段置于捕捉時(shí)段310 和311之內(nèi)并非強(qiáng)制性的。例如在參考圖像的捕捉310結(jié)束時(shí)激活 低能量閃光脈沖300可能是有利的。類似地，可以利用不同的曝光 時(shí)間來執(zhí)行參考圖像的捕捉310和主圖像的捕捉311。而且，閃光燈 300和301的振幅可以不同。圖4提供了圖2的流程圖的步驟205的示例性實(shí)施方式的流程 圖400,也即，如何確定消除了紅眼效應(yīng)的主圖像的圖像數(shù)據(jù)的示例 性方式。
在第一步驟401中，對參考圖像進(jìn)行均衡化，例如通過執(zhí)行運(yùn) 行補(bǔ)償、色彩調(diào)整、曝光調(diào)整、縮放或其他技術(shù)以使得參考圖像可 與主圖像進(jìn)行比較。不過步驟401是可選的。
在后續(xù)步驟402-404中，比較參考圖像與主圖像之間的變化以檢 測和修正紅眼。在紅眼位置處，紅色級別顯著地變化。在參考圖像 中，瞳孔幾乎是黑色的，而在主圖像中瞳孔是紅色的。有關(guān)圖像變 化的信息可以用來確定紅眼位置。繼而在所檢測的區(qū)域中，需要降 低紅色數(shù)值(例如YUV模型中紅色色度通道V,或者RGB圖像的 R分量)以消除紅眼。
為此，在步驟402中，基于主圖像的圖像數(shù)據(jù)來執(zhí)行紅眼檢測。 采用使用諸如臉形檢測或眼形檢測之類的技術(shù)的紅眼檢測算法來找 出主圖像中的紅眼。作為輸出，此算法產(chǎn)生描述主圖像中的候選紅 眼的信息，諸如潛在紅眼像素的二元圖、或者潛在紅眼像素的坐標(biāo) 組、形狀和大小?？梢詫λ惴ㄟM(jìn)行參數(shù)化，從而以高々i誤率(false positiverate)為代價(jià)而獲得高檢測率。這是可能的，因?yàn)榱鞒虉D400 隨后的步驟403 (即紅眼檢測細(xì)化)關(guān)注于消除々i誤。此處允許較多 的正誤識(shí)可以降低4企測的復(fù)雜性。
在步驟403中，從步驟402的紅眼檢測中獲得的信息中排除假 誤，從而執(zhí)行紅眼檢測細(xì)化。紅眼檢測細(xì)化基于參考圖4象和主圖像 之間的變化，例如通過分析候選紅眼的位置及其周圍的色彩變化。 例如，只有與顯著變化(例如從參考圖像的黑色到主圖像的紅色) 相關(guān)聯(lián)的候選紅眼位置可以-f見為真誤(true positive)。當(dāng)扭^亍紅眼 檢測細(xì)化時(shí)，也可以利用例如臉形檢測信息。如果臉形檢測方法非 常魯棒，則此信息也可以用來限制步驟402的紅眼檢測中候選紅眼 的數(shù)量。
最后，在步驟404中，使用紅眼修正算法來執(zhí)行紅眼修正，其中紅眼修正算法利用從步驟403獲得的候選紅眼的信息并且修正主 圖像中的候選紅眼，從而獲得消除了紅眼效應(yīng)的主圖像。其中，來 自參考圖像的圖像數(shù)據(jù)可以用于修正候選紅眼。本領(lǐng)域技術(shù)人員已 知的是，此處可以應(yīng)用多種紅眼修正方法。此類紅眼修正方法的例
子在下列參考文獻(xiàn)中描述
.Georg Petschnigg, Maneesh Agrawala, Hugues Hoppe， Richard Szelishi， Michael Cohen, Kentaro Toyama. "Digital Photography with Flash and No-Flash Image Pairs". ACM Transactions on Graphics (Proceedings of SIGGRAPH 2004), 2004.
.GAUBATZ, M., AND ULICHNEY， R., 2002. "Automatic red-eye detection and correction". IEEE International Conference on Image Processing, pp. 804-807.
.PATTI, A., KONSTANTINIDES， K,， TRETTER, D. AND LIN, Q., 1998. "Automatic digital redeye reduction". IEEE International Conference on Image Processing, pp. 55-59.
.Huitao Luo， Yen J., Tretter D.. "An efficient automatic redeye
detection and correction algorithm", ICPR 2004. Proceedings of the .17th International Conference on Pattern Recognition, Volume 2, 23-26， Aug. 2004 Page(s): 883-886. 下面將參考圖5的流程圖500來討論可應(yīng)用于步驟404的紅眼
修正算法的另一例子。
應(yīng)當(dāng)注意，代替在步驟402中僅基于主圖像的圖像數(shù)據(jù)來執(zhí)行
紅眼檢測，此紅眼檢測同樣可以基于參考圖像和主圖像二者的圖像
數(shù)據(jù)。而且，步驟403中的紅眼檢測細(xì)化繼而可以基于單個(gè)圖像(參
考圖像或者主圖像)的圖像數(shù)據(jù)來執(zhí)行。由于只需要搜索較少的位
置，因此這可以減少單圖像紅眼檢測細(xì)化(例如，基于臉形/眼形檢
測)所需要的計(jì)算時(shí)間。
圖5示出了圖2的流程圖的步驟205的另一示例性實(shí)施方式的
流程圖500,也即如何確定消除了紅眼效應(yīng)的主圖像的圖像數(shù)據(jù)的另
22一示例性方式。在此示例性實(shí)施方式中，假設(shè)參考圖像和主圖像的
圖像數(shù)據(jù)由YUV色彩空間模型的Y、 U和V分量來表示，其中Y 是亮度分量，U和V是色度分量。當(dāng)然，其他色彩空間也是可行的， 例如原始圖像數(shù)據(jù)域或者RGB域。
在第一步驟501中，基于參考圖像和主圖像的Y、 U和V分量 來確定模糊似然性圖。該圖為每個(gè)像素提供了 一個(gè)
范圍內(nèi)的值， 其中較大的值描述該像素有可能位于紅眼區(qū)域。
在步驟502中，參考圖像和主圖像基于像素乘以模糊似然性圖， 使得潛在的紅眼像素的值被加強(qiáng)，從而在后續(xù)處理中給予更大權(quán)重。 這使得沒必要使用界限分明的閾值，這樣做是有利的，因?yàn)殚撝翟O(shè) 置通常非常困難，因此避免設(shè)置閾值使得紅眼檢測更加魯棒。
至少分別針對參考圖像和主圖像的色度分量U和V執(zhí)行隨后的 步驟503-507,其中對于不同的分量，處理的程度(例如步驟505中 對PCA變換矩陣的修改的量)可以不同。
在步驟503中，根據(jù)從步驟502獲得的加權(quán)參考圖像和加權(quán)主 圖像的色度分量(U或V)來構(gòu)建數(shù)據(jù)集。該數(shù)據(jù)集例如可以包括 加權(quán)參考圖像的整個(gè)v分量以及加權(quán)主圖像的整個(gè)V分量。
在步驟504中，針對(分量特定的)數(shù)據(jù)集，基于數(shù)據(jù)集的協(xié) 方差矩陣(例如主圖像的加權(quán)V分量和參考圖像的加權(quán)V分量)來 計(jì)算主元分析(PCA)。例如，對于紅色色度分量V,可以計(jì)算2x 2的PCA變換矩陣v。 PCA變換矩陣^是供將PCA變換應(yīng)用于數(shù)據(jù)集 的系數(shù)，其中數(shù)據(jù)集被分為兩部分 一部分表示聯(lián)合信號(hào)的最大可 變性或者能量(公共部分)，另一部分表示其余部分，也即圖像之 間的差異(差異部分)?？梢圆粓?zhí)行數(shù)據(jù)集的實(shí)際PCA變換。
在步驟505中，以如下方式修改步驟504中獲得PCA變換矩陣， 使得抑制或者消除較小的PCA分量(差異部分)。例如，對PCA變 換矩陣的修改可以是最大特征值與最小特征值的比率的函數(shù)，或者 是固定參數(shù)。這樣得到修改的PCA變換矩陣vv。
在步驟506中，基于步驟504中獲得的PCA變換矩陣與步驟505中獲得的修改的PCA變換矩陣的組合來確定變換。此變換例如可以
定義為修改的PCA變換矩陣vv與經(jīng)轉(zhuǎn)置的PCA變換矩陣v的矩陣 乘積，其中轉(zhuǎn)置矩陣應(yīng)用正向變換，非轉(zhuǎn)置矩陣應(yīng)用逆變換。在將 轉(zhuǎn)置變換矩陣應(yīng)用于數(shù)據(jù)集時(shí)，數(shù)據(jù)集因而變換到新的坐標(biāo)系統(tǒng)， 并且通過應(yīng)用修改的變換矩陣，數(shù)據(jù)集從新的坐標(biāo)系統(tǒng)變換回來， 然而其方式是抑制或消除差異部分(也即參考圖像的圖像數(shù)據(jù)與主 圖像的圖像數(shù)據(jù)之間的差異)的修改方式。上述兩個(gè)變換可以單獨(dú) 應(yīng)用，而不過作為組合矩陣。組合變換繼而有效地執(zhí)行正向PCA和 -修改的逆向PCA。
當(dāng)利用不同的參數(shù)執(zhí)行時(shí)，此實(shí)施方式不僅可以用于減少紅眼 效應(yīng)，而且可以用于閃光燈和環(huán)境發(fā)光的適應(yīng)性融合(重新打光)。 這可以通過還將Y分量整合到PCA處理中來實(shí)現(xiàn)。
在步驟507中，繼而將步驟506的變換應(yīng)用于數(shù)據(jù)集，以獲得 PCA混合圖像的色度分量。其中，步驟507中獲得的色度分量表示 加權(quán)參考圖像的色度分量與加權(quán)主圖像的色度分量的混合。
針對參考圖像和主圖像的U和V分量分別執(zhí)行步驟503-507。 可選地，步驟503-507也可以針對亮度分量Y來執(zhí)行。如果不處理 Y分量，則主圖像的Y分量可以用于流程圖500的剩余步驟。
在步驟508中，在考慮模糊似然性圖的情況下，組合加權(quán)參考 圖像、加權(quán)主圖像以及PCA混合圖像，以獲得組合圖像。 一種此類 組合可以是對PCA混合圖像、利用模糊似然性圖加權(quán)的參考圖像以 及利用逆模糊似然性圖加權(quán)的主圖像的平均。繼而，潛在的紅眼的 像素值大部分來自PCA混合圖像和參考圖像，而對于紅眼具有小似 然性的像素，其值大部分來自主圖像。
針對主圖像和參考圖像的各個(gè)色彩空間分量，可以利用變化的 參數(shù)重復(fù)過程(尤其步驟503-508 )(例如，強(qiáng)作用于R對，較小作 用于G對和B對；或者強(qiáng)作用于V對，較小作用于U對并且不對Y 對作用)。
在流程圖500的此階段，例如紅色瞳孔已經(jīng)變得不那么紅了 。在步驟509中，將也存在于步驟508的組合圖像中的模糊似然 性圖的影響從組合圖像中去除，以獲得調(diào)整過的組合圖像。
在步驟510中，為了使瞳孔變暗，降低如下像素的強(qiáng)度，在這 些像素處，相對于流程圖500的前述步驟的主圖像而言，經(jīng)處理圖 像的色彩飽和度被降低。這些像素例如可以通過確定已調(diào)整組合圖 像與主圖像之間的差異來標(biāo)識(shí)。這樣最終得到消除了紅眼效應(yīng)的主 圖像的表示。
如上已經(jīng)論述的，應(yīng)當(dāng)注意，根據(jù)圖5的流程圖500的方法也 可以用作圖4的流程圖400中的細(xì)化和/或修正方法(步驟403和 404)。在這種情況下，可以僅針對在流程圖400的步驟402和/或 403中檢測到的區(qū)域進(jìn)行分析和修正。
上述處理中的一個(gè)可選特征是重新打光，在該重新打光中還考 慮亮度分量Y。
在一種簡單的實(shí)現(xiàn)中，代替對Y分量的因子分解，使用參考圖 像的亮度分量Y的高值，其保留在參考圖像中的、在主圖像中不亮 的明亮區(qū)域(例如，燈)。這種實(shí)現(xiàn)例如可以是選擇參考圖像和主 圖像的獨(dú)立縮放Y分量的最大亮度值。在一種更高級的重新打光實(shí) 現(xiàn)中，將亮度分量Y包括在步驟503-507的PCA處理中。
參考圖5的流程圖500描述的本發(fā)明的實(shí)施方式使用通過模糊 似然性圖加權(quán)的參考圖像(利用低閃光燈能量級別捕捉的)和主圖 像(利用較高閃光燈能量級別捕捉的)，從而借助于因子分析方法 無差別地抑制或消除兩幅圖像之間局部加權(quán)的全局色彩差異。這樣 得到紅眼消除而無需設(shè)置閾值或圖形識(shí)別步驟來找出圖像中的眼睛 (眼形)。這使得本實(shí)施方式在遺漏眼睛方面更加魯棒，遺漏眼睛 是某些紅眼消除方法(所謂的哈士奇狗效應(yīng))中非常討厭的方面。
本領(lǐng)域技術(shù)人員很容易清楚，參考圖5的流程圖500描述的本 發(fā)明的實(shí)施方式在參考圖像在沒有閃光燈的條件下捕捉時(shí)，同樣可 以應(yīng)用于贗像消除。例如，通過在沒有閃光燈的條件下捕捉的取景 器圖像可以用作參考圖像。同樣地，可以確定利用閃光燈來捕捉參考圖像不是必須的，因?yàn)闆]有閃光燈的條件下的參考圖像已經(jīng)足夠亮了。
此外，在圖5的流程圖500中描繪的本發(fā)明的實(shí)施方式在計(jì)算 潛在的紅眼像素時(shí)使用模糊加權(quán)，其使得結(jié)果在空間上更平滑，不 像其他方法，在那些方法中應(yīng)用了紅眼消除的區(qū)域與未應(yīng)用紅眼消 除的區(qū)域之間存在可見邊緣。
根據(jù)圖5的流程圖500中描述的本發(fā)明的實(shí)施方式，在遺漏眼 睛和界限分明的色彩邊緣方面獲得健壯性的代價(jià)是可能稍微改變其 他顏色細(xì)節(jié)，而不僅僅是紅眼。例如，當(dāng)將主圖像與消除了紅眼效 應(yīng)的主圖像表示進(jìn)行比較時(shí)，可以看出某些物體(尤其是陰影中的 紅色物體)有點(diǎn)不同的顏色。不過，對于最終用戶來說只要圖像看 起來自然這就不是問題，因?yàn)橛脩粼诓蹲綀D像時(shí)不會(huì)看到主圖像， 而僅僅是(無閃光燈的)取景器圖像。顏色中的細(xì)微變化比遺漏眼 睛更容易忍受。
除了平衡色彩差異(參見步驟503-507 )之外，還可以平衡強(qiáng)度 (亮度)差異，從而可以在重新打光中使用圖5的流程圖500中描 述的本發(fā)明的實(shí)施方式。對于紅眼消除和重新打光二者的優(yōu)勢在于， 此實(shí)施方式基于當(dāng)前圖像數(shù)據(jù)來計(jì)算PCA變換矩陣，并且只有該數(shù) 據(jù)驅(qū)動(dòng)的矩陣的修改量可以由參數(shù)值來設(shè)置，例如由定義最小PCA 分量減小或消除多少的參數(shù)值來設(shè)置。例如，可以為R對設(shè)置強(qiáng)作 用，為G對和B對設(shè)置較小的作用；或者為V對設(shè)置強(qiáng)作用，為U 對設(shè)置較小作用，而為Y對設(shè)置中等作用。因此，參數(shù)并不定義參 考圖像和主圖像的色彩分量組合的量。而且，這些量即時(shí)地計(jì)算， 并且參數(shù)不指定發(fā)生紅眼消除操作所需的紅色差值閾值。
圖5的流程圖500中描繪的本發(fā)明的實(shí)施方式不限于PCA;也 可以使用其他因子分析方法，諸如獨(dú)立元分析(ICA),用于分離參 考圖像和主圖像的公共部分和差異部分。而且，此實(shí)施方式不限于 使用YUV色彩空間。同樣地，可以使用其他色彩空間。例如，此實(shí) 施方式可以在貝葉解拼(Bayer de-mosaicing )之前或之后用在RGB空間中。
盡管已經(jīng)示出、描述和指出應(yīng)用于本發(fā)明的優(yōu)選實(shí)施方式的本 發(fā)明的重要新穎特征，但是可以理解，本領(lǐng)域技術(shù)人員可以在不偏 離本發(fā)明的精神的條件下，對所描述的設(shè)備和方法的形式和細(xì)節(jié)做 出各種刪除、替換和改變。例如，明確的意圖是，以基本上相同方 式執(zhí)行基本上相同功能并獲得相同結(jié)果的這些元件和/或方法步驟的 所有組合都落入本發(fā)明的范圍內(nèi)。而且，應(yīng)該認(rèn)識(shí)到，結(jié)合任何公 開形式或本發(fā)明的實(shí)施方式描述和/或示出的結(jié)構(gòu)和/或元件和/或方 法步驟可以在任何其他7>開的或描述的或建i義的形式或?qū)嵤┓绞街?合并作為設(shè)計(jì)選擇的總體。
權(quán)利要求
1.一種方法，包括-至少接收使用第一閃光燈能量級別捕捉的參考圖像的圖像數(shù)據(jù)以及使用高于所述第一閃光燈能量級別的第二閃光燈能量級別捕捉的主圖像的圖像數(shù)據(jù)；以及-至少基于所述參考圖像的所述圖像數(shù)據(jù)以及所述主圖像的所述圖像數(shù)據(jù)來確定第三圖像的圖像數(shù)據(jù)，其中所述第三圖像表示消除了贗像的所述主圖像。
2. 如權(quán)利要求l的方法，其中捕捉所述參考圖像和所述主圖像 之間的時(shí)間距離不超過100 ms。
3. 如前述任一權(quán)利要求的方法，其中所述第一閃光燈能量級別 小于所述第二閃光燈能量級別的10%。
4. 如前述任一權(quán)利要求的方法，其中所述參考圖像具有至少以 下之一比所述主圖像更低的質(zhì)量、更低的采樣率以及更低的分辨 率。
5. 如前述任一權(quán)利要求的方法，其中所述確定所述第三圖像的 所述圖像數(shù)據(jù)包括-在考慮所述參考圖像的所述圖像數(shù)據(jù)與所述主圖像的所述圖 像數(shù)據(jù)之間差異的情況下，檢測所述主圖像中的贗像；以及-修正所述檢測到的贗像，以獲得所述第三圖像的所述圖像數(shù)據(jù)。
6. 如權(quán)利要求5的方法，其中所述檢測所述贗像包括-基于所述主圖像的所述圖像數(shù)據(jù)來標(biāo)識(shí)所述主圖像中的潛在 贗像；-在考慮所述參考圖像的所述圖像數(shù)據(jù)與所述主圖像的所述圖 像數(shù)據(jù)之間差異的情況下，確定所述潛在贗像中的誤標(biāo)識(shí)；以及-從所述潛在贗像中排除所述誤標(biāo)識(shí)，其中所述修正僅對未被排 除的潛在贗像執(zhí)行。
7. 如權(quán)利要求5-6中任一的方法，還包括在所述檢測所述主圖 像中的所述贗像之前，處理所述參考圖像。
8. 如權(quán)利要求5的方法，其中所述檢測所述贗像包括-基于所述參考圖像的所述圖像數(shù)據(jù)與所述主圖像的所述圖像 數(shù)據(jù)之間的所述差異來標(biāo)識(shí)所述主圖像中的潛在贗像；-在考慮所述參考圖像或者所述主圖像的所述圖像數(shù)據(jù)的情況 下，確定所述潛在贗^f象中的誤標(biāo)識(shí)；以及-從所述潛在贗像中排除所述誤標(biāo)識(shí)，其中所述修正僅對未被排 除的潛在贗像執(zhí)行。
9. 如權(quán)利要求5-8中任一的方法，其中所述修正所述檢測到的 贗像至少部分地基于所述參考圖像的所述圖像數(shù)據(jù)。
10. 如權(quán)利要求1-4中任一的方法，其中所述確定所述第三圖像 的所述圖像數(shù)據(jù)包括-對根據(jù)所述參考圖像的所述圖像數(shù)據(jù)和所述主圖像的所述圖 像數(shù)據(jù)形成的數(shù)據(jù)集執(zhí)行因子分析；以及-將從所述因子分析獲得的變換應(yīng)用于所述數(shù)據(jù)集，以獲得第四 圖像的圖像數(shù)據(jù)，其中所述第三圖像的所述圖像數(shù)據(jù)至少基于所述 第四圖像的所述圖像數(shù)據(jù)而確定。
11. 如權(quán)利要求10的方法，其中所述因子分析是對所述數(shù)據(jù)集 的主元分析，所述主元分析針對所述參考圖像的所述圖像數(shù)據(jù)和所 述主圖像的所述圖像數(shù)據(jù)來確定公共部分和差異部分。
12. 如權(quán)利要求ll的方法，其中基于從所述主元分析獲得的變 換矩陣、以及為了抑制或消除所述差異部分而確定的修改的變換矩 陣，來確定所述變換。
13. 如權(quán)利要求10-12中任一的方法，其中基于來自所述參考圖 像和所述主圖像的信息來確定模糊似然性圖，其中所述模糊似然性 圖指示所述主圖像的部分中是否包含贗像，并且其中在執(zhí)行所述因 子分析之前，利用所述模糊似然性圖對所述參考圖像的所述圖像數(shù) 據(jù)和所述主圖像的所述圖像數(shù)據(jù)進(jìn)行加權(quán)。
14. 如權(quán)利要求13的方法，其中在考慮所述模糊似然性圖的情 況下，基于所述參考圖像的所述圖像數(shù)據(jù)、所述主圖像的所述圖像 數(shù)據(jù)以及所述第四圖像的所述圖像數(shù)據(jù)來確定所述第三圖像的所述 圖像數(shù)據(jù)。
15. 如權(quán)利要求14的方法，還包括將所述模糊似然性圖的影響 從所述第三圖像的所述圖像數(shù)據(jù)中消除。
16. 如權(quán)利要求14-15中任一的方法，還包括減小所述第三圖像 的部分的強(qiáng)度。
17. 如權(quán)利要求10-16中任一的方法，其中所述圖像數(shù)據(jù)表示色 彩空間模型的分量，其中所述確定所述第三圖像的所述圖像數(shù)據(jù)針 對所述色彩空間模型的至少 一個(gè)所述分量而執(zhí)行，并且其中所述確 定所述第三圖像的所述圖像數(shù)據(jù)分別針對所述分量而執(zhí)行。
18. 如權(quán)利要求17的方法，其中所述色彩空間模型是YUV模 型，并且其中所述確定所述第三圖像的所述圖像數(shù)據(jù)僅針對U和V 分量而寺丸行。
19. 如權(quán)利要求17的方法，其中所述色彩空間模型是YUV模 型，并且其中確定所述第三圖像的所述圖像數(shù)據(jù)針對U、 V和Y分 量而執(zhí)行。
20. —種其上存儲(chǔ)有計(jì)算機(jī)程序的計(jì)算機(jī)可讀介質(zhì)，該計(jì)算機(jī) 程序包括-可操作以使得 處理器至少接收使用第 一 閃光燈能量級另ij捕捉 的參考圖像的圖像數(shù)據(jù)以及使用高于所述第 一 閃光燈能量級別的第 二閃光燈能量級別捕捉的主圖像的圖像數(shù)據(jù)的指令；以及-可操作以使得處理器至少基于所述參考圖像的所述圖像數(shù)據(jù) 以及所述主圖像的所述圖像數(shù)據(jù)來確定第三圖像的圖像數(shù)據(jù)的指 令，其中所述第三圖像表示消除了贗像的所述主圖像。
21. 如權(quán)利要求20的計(jì)算機(jī)可讀介質(zhì)，其中捕捉所述參考圖像 和所述主圖像之間的時(shí)間距離不超過100 ms。
22. —種計(jì)算機(jī)程序，包括-可操作以使得處理器至少接收使用第 一 閃光燈能量級別捕捉 的參考圖像的圖像數(shù)據(jù)以及使用高于所述第 一 閃光燈能量級別的第二閃光燈能量級別捕捉的主圖像的圖像數(shù)據(jù)的指令；以及-可操作以使得處理器至少基于所述參考圖像的所述圖像數(shù)據(jù) 以及所述主圖像的所述圖像數(shù)據(jù)來確定第三圖像的圖像數(shù)據(jù)的指 令，其中所述第三圖像表示消除了贗像的所述主圖像。
23. 如權(quán)利要求22的計(jì)算機(jī)程序，其中捕捉所述參考圖像和所 述主圖像之間的時(shí)間距離不超過100 ms。
24. —種設(shè)備，包括處理器，所述處理器配置用于-至少接收使用第 一 閃光燈能量級別捕捉的參考圖像的圖像數(shù) 據(jù)以及使用高于所述第 一 閃光燈能量級別的第二閃光燈能量級別捕 捉的主圖像的圖像數(shù)據(jù)；以及-用于至少基于所述參考圖像的所述圖像數(shù)據(jù)以及所述主圖像 的所述圖像數(shù)據(jù)來確定第三圖像的圖像數(shù)據(jù)，其中所述第三圖像表 示消除了贗像的所述主圖像。
25. 如權(quán)利要求24的設(shè)備，還包括照相機(jī)單元，其配置用于捕 捉所述參考圖像和所述主圖像。
26. 如權(quán)利要求24-25中任一的設(shè)備，其中捕捉所述參考圖像和 所述主圖像之間的時(shí)間距離不超過100 ms。
27. 如權(quán)利要求24-26中任一的設(shè)備，其中所述第一閃光燈能量 級別小于所述第二閃光燈能量級別的10%。
28. 如權(quán)利要求24-27中任一的設(shè)備，其中所述參考圖像具有至 少以下之一比所述主圖像更低的質(zhì)量、更低的采樣率以及更低的 分辨率。
29. 如權(quán)利要求24-28中任一的設(shè)備，其中所述處理器配置用于 在考慮所述參考圖像的所述圖像數(shù)據(jù)與所述主圖像的所述圖像數(shù)據(jù) 之間差異的情況下，檢測所述主圖像中的贗像；以及修正所述檢測到的贗像以獲得所述第三圖像的所述圖像數(shù)據(jù)。
30. 如權(quán)利要求29的設(shè)備，其中所述處理器還配置用于在檢測到所述主圖像中的所述贗像之前，處理所述參考圖像。
31. 如權(quán)利要求24-28中任一的設(shè)備，其中所述處理器配置用于 對根據(jù)所述參考圖像的所述圖像數(shù)據(jù)和所述主圖像的所述圖像數(shù)據(jù) 形成的數(shù)據(jù)集執(zhí)行因子分析；以及將從所述因子分析獲得的變換應(yīng) 用于所述數(shù)據(jù)集以獲得第四圖像的圖像數(shù)據(jù)，其中所述第三圖像的 所述圖像數(shù)據(jù)至少基于所述第四圖像的所述圖像數(shù)據(jù)而確定。
32. 如權(quán)利要求31的設(shè)備，其中所述因子分析是對所述數(shù)據(jù)集 的主元分析，所述主元分析針對所述參考圖像的所述圖像數(shù)據(jù)和所 述主圖像的所述圖像數(shù)據(jù)來確定公共部分和差異部分。
33. 如權(quán)利要求32的設(shè)備，其中基于從所述主元分析獲得的變 換矩陣、以及為了抑制或消除所述差異部分而確定的修改的變換矩 陣，來確定所述變換。
34. 如權(quán)利要求31-33中任一的設(shè)備，其中所述處理器配置用于 基于來自所述參考圖像和所述主圖像的信息來確定模糊似然性圖， 其中所述模糊似然性圖指示所述主圖像的部分中是否包含贗像，并 且其中在執(zhí)行所述因子分析之前，利用所述模糊似然性圖來對所述 參考圖像的所述圖像數(shù)據(jù)和所述主圖像的所述圖像數(shù)據(jù)進(jìn)行加權(quán)。
35. 如權(quán)利要求34的設(shè)備，其中所述處理器還配置用于在考 慮所述模糊似然性圖的情況下，基于所述參考圖像的所述圖像數(shù)據(jù)、 所述主圖像的所述圖像數(shù)據(jù)以及所述第四圖像的所述圖像數(shù)據(jù)來確 定所述第三圖像的所述圖像數(shù)據(jù)。
36. 如權(quán)利要求35的設(shè)備，其中所述處理器還配置用于將所述 模糊似然性圖的影響從所述第三圖像的所述圖像數(shù)據(jù)中消除。
37. 如權(quán)利要求35-36中任一的方法，其中所述處理器還配置用 于減小所述第三圖像的部分的強(qiáng)度。
全文摘要
本發(fā)明涉及一種用于消除閃光燈圖像中的贗像的方法、計(jì)算機(jī)可讀介質(zhì)、計(jì)算機(jī)程序以及設(shè)備。接收使用第一閃光燈能量級別捕捉的參考圖像的圖像數(shù)據(jù)以及使用高于第一閃光燈能量級別的第二閃光燈能量級別捕捉的主圖像的圖像數(shù)據(jù)。繼而基于所述參考圖像的所述圖像數(shù)據(jù)以及所述主圖像的所述圖像數(shù)據(jù)來確定第三圖像的圖像數(shù)據(jù)，其中所述第三圖像是消除了贗像的所述主圖像的表示。
文檔編號(hào)H04N1/62GK101563913SQ200680056660
公開日2009年10月21日 申請日期2006年12月22日 優(yōu)先權(quán)日2006年12月22日
發(fā)明者J·薩爾基雅爾維, O·卡勒沃, S·阿朗伊雨斯 申請人:諾基亞公司