專利名稱：自動(dòng)白平衡統(tǒng)計(jì)數(shù)據(jù)收集的制作方法
技術(shù)領(lǐng)域：
無
背景技術(shù)：
照明源，也稱作照明體或發(fā)光體，可能不是純白色的，而是具有朝著一特定色彩的偏差。所述色彩偏差通常依據(jù)色溫來測(cè)量。人眼可補(bǔ)償不是純白色的照明，因此色彩在各種各樣照明條件下看似相對(duì)一致。換句話說，人眼可適應(yīng)于不同照明條件，使得灰色對(duì)象看似為灰色(本文中灰白色與灰色可互換使用)。
然而，當(dāng)發(fā)光體改變時(shí)，電子傳感器可不同地感知同一場(chǎng)景。電子傳感器捕獲圖像但可能不能夠補(bǔ)償具有不同色溫的不同照明條件。用于電子圖像捕獲裝置(例如，數(shù)字相機(jī)或視頻記錄器)中的典型傳感器可捕獲一展現(xiàn)可歸因于來自非純白色光源的照明的色移的圖像。所捕獲的圖像中所展現(xiàn)的色移可能在人眼看似不自然且產(chǎn)生傳感器或捕獲裝置具有低質(zhì)量即不能夠準(zhǔn)確地捕獲真實(shí)世界圖像的感覺。
可處理一所捕獲的圖像以補(bǔ)償照明條件及發(fā)光體的色溫。白平衡補(bǔ)償視發(fā)光體的色溫而定。經(jīng)配置用于第一色溫的發(fā)光體的白平衡補(bǔ)償可能不校正第二發(fā)光體的色溫，且可由于將額外色移引入圖像中而進(jìn)一步降低圖像質(zhì)量。當(dāng)數(shù)字圖像中的色調(diào)斷開時(shí)，亦即，無白平衡或不正確的白平衡，人對(duì)圖像的感覺可能令人不快。


發(fā)明內(nèi)容
用于檢測(cè)正確發(fā)光體的額外光溫度傳感器可能過于昂貴或沉重而不能在數(shù)字相機(jī)或其它移動(dòng)裝置上實(shí)施。相機(jī)可僅依據(jù)每一幀中所捕獲的像素來正確地估計(jì)照明條件或白色水平。自動(dòng)白平衡(AWB)可能是數(shù)字成像應(yīng)用(例如，數(shù)字相機(jī)及視頻記錄器)的重要任務(wù)。可能需要改善AWB性能。
所捕獲的圖像的AWB可基于灰色世界假設(shè)來執(zhí)行。首先，可針對(duì)一個(gè)或一個(gè)以上參考照明捕獲一平面場(chǎng)灰色圖像。在校準(zhǔn)處理期間針對(duì)每一參考照明確定及存儲(chǔ)所捕獲的灰色圖像的統(tǒng)計(jì)數(shù)據(jù)。對(duì)于每一隨后的所捕獲的圖像，可過濾圖像以確定灰色區(qū)域的子集?？蓪⒒疑珔^(qū)域進(jìn)一步劃分成一個(gè)或一個(gè)以上灰色叢集?？纱_定所述一個(gè)或一個(gè)以上灰色叢集的平均權(quán)重，且可確定從平均權(quán)重到參考發(fā)光體的距離。對(duì)發(fā)光體的估計(jì)可基于所述距離來確定?？苫谒烙?jì)的發(fā)光體對(duì)圖像應(yīng)用白平衡增益。
已開發(fā)的許多不同類型的AWB算法可能具有不完美的性能?；疑澜缂僭O(shè)是一種用于收集用于AWB決策制定的統(tǒng)計(jì)數(shù)據(jù)的廉價(jià)方式?？赡艽嬖诨诨疑澜缂僭O(shè)的不同算法。當(dāng)一場(chǎng)景中不存在灰色像素或一幀平均值不是灰色時(shí)，基于灰色世界假設(shè)的算法可能受到欺騙。因此，許多試探法可輔助AWB。然而，這些試探法僅在所收集的AWB統(tǒng)計(jì)數(shù)據(jù)可靠時(shí)才值得信賴。
因?yàn)橐曨l應(yīng)用中的大量計(jì)算處理能力專用于編碼及/或解碼圖像，所以在軟件上執(zhí)行的AWB算法花費(fèi)盡可能少的時(shí)間是重要的。否則，可能會(huì)因計(jì)算能力的約束而發(fā)生幀損失或幀丟失情形。
本文中描述一種靈活且強(qiáng)大的AWB統(tǒng)計(jì)數(shù)據(jù)收集方法?？赏ㄟ^使用不同組的查找表來配置所述方法以用于任何傳感器。
一方面涉及一種方法，所述方法包含(a)根據(jù)第一像素的紅、綠及藍(lán)(R，G，B)值計(jì)算色彩比率；(b)通過將所述比率與最大值及最小值比較而確定所述色彩比率是否在一范圍以外；(c)如果所述色彩比率在所述范圍以外，則跳過所述第一像素且對(duì)第二像素執(zhí)行(a)及(b)；(d)如果所述色彩比率在范圍中，則將所述色彩比率量化成定點(diǎn)整數(shù)；(e)在表中查找所述定點(diǎn)整數(shù)以尋找叢集索引；(f)確定所述叢集索引是否為零；(g)如果所述叢集索引為零，則對(duì)所述第二像素執(zhí)行(a)及(b)；及(h)如果所述叢集索引大于零，則遞增與叢集索引相關(guān)聯(lián)的色彩比率總和并遞增與叢集索引相關(guān)聯(lián)的像素的數(shù)目。
另一方面涉及一種方法，所述方法包含累加(a)所捕獲的圖像中的用于多個(gè)叢集中的每一叢集的多個(gè)像素的紅/綠及藍(lán)/綠色彩比率值及(b)具有與每一叢集相關(guān)聯(lián)的紅/綠及藍(lán)/綠色彩比率的像素的數(shù)目。所述叢集包含目光、熒光、白熾及戶外綠色區(qū)。所述方法進(jìn)一步確定哪一叢集具有最高累加數(shù)目的像素，且使用具有最高累加數(shù)目的像素的叢集對(duì)所捕獲的圖像執(zhí)行白平衡。
另一方面涉及一種設(shè)備，其包含(a)用于根據(jù)第一像素的紅、綠及藍(lán)(R，G，B)值計(jì)算色彩比率的裝置；(b)用于通過將所述比率與最大值及最小值比較而確定所述色彩比率是否在一范圍以外的裝置；(c)如果所述色彩比率在所述范圍以外，則用于跳過所述第一像素且對(duì)第二像素執(zhí)行(a)及(b)的裝置；(d)如果所述色彩比率在范圍中，則用于將所述色彩比率量化成定點(diǎn)整數(shù)的裝置；(e)用于在表中查找所述定點(diǎn)整數(shù)以尋找叢集索引的裝置；(f)用于確定所述叢集索引是否為零的裝置；(g)如果所述叢集索引為零，則用于對(duì)所述第二像素執(zhí)行(a)及(b)的裝置；及(h)如果所述叢集索引大于零，則用于遞增與叢集索引相關(guān)聯(lián)的色彩比率總和并遞增與叢集索引相關(guān)聯(lián)的像素的數(shù)目的裝置。
另一方面涉及一種設(shè)備，其包含收集模塊及處理器。所述收集模塊經(jīng)配置以累加(a)所捕獲的圖像中的多個(gè)像素的用于多個(gè)叢集中的每一叢集的紅/綠及藍(lán)/綠色彩比率值及(b)具有與每一叢集相關(guān)聯(lián)的紅/綠及藍(lán)/綠色彩比率的像素的數(shù)目，所述叢集包含日光、熒光、白熾及戶外綠色區(qū)。所述處理器經(jīng)配置以確定哪一叢集具有最高累加數(shù)目的像素，且使用具有最高累加數(shù)目的像素的叢集對(duì)所捕獲的圖像執(zhí)行白平衡。
另一方面涉及計(jì)算機(jī)可讀媒體，其經(jīng)配置以存儲(chǔ)一組指令，所述組指令可執(zhí)行以累加(a)所捕獲的圖像中的多個(gè)像素的用于多個(gè)叢集中的每一叢集的紅/綠及藍(lán)/綠色彩比率值及(b)具有與每一叢集相關(guān)聯(lián)的紅/綠及藍(lán)/綠色彩比率的像素的數(shù)目，所述叢集包含日光、熒光、白熾及戶外綠色區(qū)；及確定哪一叢集具有最高累加數(shù)目的像素，且使用具有最高累加數(shù)目的像素的叢集對(duì)所捕獲的圖像執(zhí)行白平衡。



圖1說明具有自動(dòng)白平衡的圖像捕獲裝置的配置。
圖2說明經(jīng)配置用于自動(dòng)白平衡的圖像處理器的配置。
圖3說明用于建立發(fā)光體參考的方法的配置。
圖4說明用于提供自動(dòng)白平衡的方法的配置。
圖5說明用于提供自動(dòng)白平衡的方法的另一配置。
圖6說明灰色過濾配置的實(shí)例。
圖7說明確定灰色叢集與參考發(fā)光體之間的距離的實(shí)例。
圖8說明參考點(diǎn)及戶外綠色區(qū)在紅/綠(R/G)及藍(lán)/綠(B/G)空間上的分布。
圖9說明另一自動(dòng)白平衡(AWB)統(tǒng)計(jì)數(shù)據(jù)收集方法的實(shí)例。
圖10說明指派給可用于圖8中的叢集的橢圓形區(qū)段或劃分區(qū)的不同索引。
圖11說明可用于圖8中的叢集的替代配置，其中多個(gè)索引被指派給一叢集中的大體上矩形的區(qū)段。
圖12說明可通過圖9的方法來使用的一個(gè)或一個(gè)以上查找表的實(shí)例。
圖13A說明用于圖12的叢集索引的累加器寄存器。
圖13B說明用于索引X的具有子劃分的寄存器。
圖14說明傳感器、AWB統(tǒng)計(jì)數(shù)據(jù)收集模塊、膚色檢測(cè)模塊，及使用灰色世界假設(shè)的AWB模塊。

具體實(shí)施例方式 灰色世界假設(shè)可形成用于執(zhí)行數(shù)字?jǐn)z影術(shù)的白平衡的基礎(chǔ)。在大量照片集合當(dāng)中已觀察到圖像中的像素的平均色彩大致為灰色。雖然視場(chǎng)景而存在例外，但灰色世界假設(shè)可良好地適用且提供一用于執(zhí)行白平衡的可靠基礎(chǔ)。本文中所揭示的自動(dòng)白平衡(AWB)方法及設(shè)備是基于結(jié)合離群值移除的灰色世界假設(shè)。數(shù)字相機(jī)或某一其它圖像處理裝置(及/或圖像捕獲裝置)可經(jīng)配置以執(zhí)行本文中所描述的AWB方法。
參考圖像捕獲裝置(例如，數(shù)字相機(jī)或無線攝影電話)描述所述方法。然而，不存在于裝置內(nèi)實(shí)施圖像捕獲傳感器的要求。電子裝置可經(jīng)配置以對(duì)由遠(yuǎn)程傳感器捕獲的圖像執(zhí)行AWB方法。
圖像捕獲裝置最初可將圖像分成多個(gè)區(qū)域(一個(gè)或一個(gè)以上像素)。裝置可過濾圖像以使灰色區(qū)域通過且拒絕非灰色區(qū)域。裝置可使用灰色區(qū)域來確定發(fā)光體且不依賴于非灰色區(qū)域。如本文中所使用，“灰色區(qū)域”及“灰色像素”分別指代灰色及近灰色區(qū)域及像素，其通過過濾約束來選擇且用于確定發(fā)光體。
在過濾圖像從而識(shí)別灰色區(qū)域之后，裝置變換或以其它方式轉(zhuǎn)換灰色區(qū)域的色彩特征以映射到預(yù)定坐標(biāo)空間或柵格上。裝置可在柵格內(nèi)定位對(duì)應(yīng)于一灰色參考的一個(gè)或一個(gè)以上參考點(diǎn)，所述灰色參考是通過捕獲用特定發(fā)光體照明的灰色圖像而獲得。因此，裝置可將用于每一發(fā)光體的參考點(diǎn)定位于柵格上。
在轉(zhuǎn)換灰色區(qū)域以映射到坐標(biāo)系上之后，裝置可針對(duì)灰色區(qū)域中的每一者確定從灰色區(qū)域到發(fā)光體參考點(diǎn)中的每一者的距離。裝置可通過確定不良統(tǒng)計(jì)的灰色區(qū)域且不考慮所述離群值區(qū)域來過濾灰色區(qū)域。裝置可確定(例如)從所述區(qū)域中的每一者到發(fā)光體參考點(diǎn)中的任一者的最小距離。裝置可接著將所述最小距離與預(yù)定閾值進(jìn)行比較，且不對(duì)具有大于預(yù)定閾值的最小距離的那些區(qū)域進(jìn)行進(jìn)一步處理。
裝置接著比較從剩余灰色區(qū)域到發(fā)光體參考點(diǎn)中的每一者的距離。裝置可將發(fā)光體估計(jì)為具有最接近灰色區(qū)域的發(fā)光體參考點(diǎn)的發(fā)光體。
圖1為實(shí)施AWB的圖像捕獲裝置100的功能性方框圖。圖像捕獲裝置100可為(例如)數(shù)字相機(jī)、數(shù)字視頻記錄器、具有數(shù)字相機(jī)的無線電話，或某一其它圖像捕獲裝置。圖像捕獲裝置100可包括一相對(duì)于傳感器120定位的透鏡110，傳感器120可為(例如)經(jīng)配置以將入射光轉(zhuǎn)換成電子表示的光學(xué)傳感器。舉例而言，傳感器可為電荷耦合裝置(CCD)、互補(bǔ)金屬氧化物半導(dǎo)體(CMOS)檢測(cè)器、光電二極管陣列、光生伏打檢測(cè)器等，或用于捕獲光學(xué)圖像的某一其它傳感器。傳感器120可經(jīng)配置以產(chǎn)生光分量的形式的電子表示。舉例而言，傳感器110可產(chǎn)生所捕獲的圖像的相異的R、G及B表示。傳感器120可耦合到色彩處理器130。
色彩處理器130可經(jīng)配置以提供AWB。色彩處理器130可包括一經(jīng)配置以聚集及處理所捕獲的圖像的統(tǒng)計(jì)數(shù)據(jù)的統(tǒng)計(jì)模塊132。色彩處理器130及統(tǒng)計(jì)模塊132可經(jīng)配置以測(cè)量或以其它方式確定為圖像中所捕獲的場(chǎng)景照明的照明條件。色彩處理器130可部分地基于針對(duì)多個(gè)參考發(fā)光體存儲(chǔ)的統(tǒng)計(jì)數(shù)據(jù)而確定一發(fā)光體。色彩處理器130可經(jīng)配置以對(duì)所捕獲的圖像應(yīng)用一校正以校正圖像的色彩平衡。色彩處理器130及統(tǒng)計(jì)模塊132可經(jīng)配置以使用結(jié)合存儲(chǔ)器140操作的處理器150執(zhí)行某些或所有相關(guān)聯(lián)的功能。色彩處理器130及統(tǒng)計(jì)模塊132的某些或所有功能可作為軟件存儲(chǔ)于存儲(chǔ)器140中，作為一個(gè)或一個(gè)以上處理器可用指令。處理器150可經(jīng)配置以存取所述處理器可用指令且對(duì)其操作以執(zhí)行相關(guān)聯(lián)的功能。
色彩處理器130可經(jīng)配置以將參考發(fā)光體統(tǒng)計(jì)數(shù)據(jù)及信息存儲(chǔ)在存儲(chǔ)器140中且也可經(jīng)配置以將所捕獲的圖像或經(jīng)AWB校正的圖像存儲(chǔ)在存儲(chǔ)器140中。存儲(chǔ)器140可在裝置100的內(nèi)部或外部?；蛘呋蛄硗?，色彩處理器130可經(jīng)配置以將原始圖像或經(jīng)AWB校正的圖像傳送到輸出/顯示器160。
輸出/顯示器160可包括一顯示裝置，例如液晶顯示器(LCD)、發(fā)光二極管(LED)陣列、陰極射線管(CRT)，及其類似物，或某一其它顯示裝置。輸出/顯示器160也可包括一個(gè)或一個(gè)以上輸出端口。舉例而言，可將經(jīng)AWB校正的圖像輸出到端口或連接器。色彩處理器130可經(jīng)配置以將經(jīng)AWB校正的圖像直接輸出到輸出/顯示器160或可經(jīng)配置以在將經(jīng)校正的圖像傳送到輸出/顯示器160之前將經(jīng)AWB校正的圖像轉(zhuǎn)換成特定格式(例如，標(biāo)準(zhǔn)顯示格式或文件格式)。舉例而言，色彩處理器130可經(jīng)配置以將經(jīng)AWB校正的圖像格式化成JPEG、GIF或某一其它圖像格式。輸出/顯示器160可為一經(jīng)配置以將經(jīng)AWB校正的圖像傳輸?shù)侥康牡匮b置(未圖示)的通信裝置(例如，調(diào)制解調(diào)器或無線收發(fā)器)。
圖2為在圖像捕獲裝置(例如，圖1的圖像捕獲裝置100)中操作的色彩處理器130及統(tǒng)計(jì)模塊132的功能性方框圖。與圖1中一樣，圖2的圖像捕獲裝置可包括一耦合到處理器150及存儲(chǔ)器140的具有統(tǒng)計(jì)模塊132的色彩處理器130。
色彩處理器130可包括一經(jīng)配置以接收所捕獲的圖像的輸入。可將所捕獲的圖像輸入到統(tǒng)計(jì)模塊132且輸入到白平衡增益模塊210。白平衡增益模塊210可經(jīng)配置以根據(jù)統(tǒng)計(jì)模塊132的輸出而應(yīng)用白平衡增益。
統(tǒng)計(jì)模塊132可經(jīng)配置以將所捕獲的圖像輸入到灰色過濾器220，灰色過濾器220可處理所捕獲的圖像以選擇可用于確定發(fā)光體的灰色對(duì)象。因?yàn)樗东@的圖像通常為數(shù)字信號(hào)、包或數(shù)字文件的形式，所以將灰色過濾器220(例如，數(shù)字過濾器)實(shí)施為數(shù)字處理器可能是有利的。
一傳感器(例如，圖1的傳感器120)可經(jīng)配置以捕獲多種色彩格式(例如，紅、綠、藍(lán)(RGB)、YCrCb、或某一其它色彩格式)中的任一者的圖像。每一像素可伴隨(R，G，B)三重值。接著，(R，G，B)值被轉(zhuǎn)換成(Y，Cb，Cr)值。
灰色過濾器220可經(jīng)配置以處理一特定色彩格式從而有助于灰色對(duì)象過濾。舉例而言，灰色過濾器220可經(jīng)配置以執(zhí)行YCrCb格式的圖像的初始灰色過濾從而有助于過濾處理?；疑^濾器220可經(jīng)配置以在圖像并非已為YCrCb格式時(shí)將所捕獲的圖像變換成YCrCb格式。可使用以下色彩變換從RGB色彩格式信息中導(dǎo)出Y、Cb及Cr色彩格式，其中Y為Rec.601(一定義如何將RGB像素轉(zhuǎn)換成YCbCr數(shù)據(jù)的公共標(biāo)準(zhǔn))中所定義的亮度，Cb為B與G的色差，且Cr為R與G的色差。
在一種配置中，灰色過濾器220可過濾所捕獲的圖像以通過選擇一預(yù)定亮度范圍內(nèi)的區(qū)域且接著從剩余區(qū)域中選擇滿足預(yù)定Cr及Cb準(zhǔn)則的那些區(qū)域來選擇灰色區(qū)域(與上述的“灰色對(duì)象”相同)?；疑^濾器220可使用亮度值來移除過暗或過亮的區(qū)域。這些區(qū)域由于噪聲及飽和度問題而被排除?；疑^濾器220可將過濾表示成多個(gè)方程式，其中將滿足以下6個(gè)不等式的區(qū)域視為可能的灰色區(qū)域。
Y＜＝Y(jié)max，(2) Y＞＝Y(jié)min，(3) Cb＜＝m1*Cr+c1， (4) Cr＞＝m2*Cb+c2， (5) Cb＞＝m3*Cr+c3， (6) Cr＜＝m4*Cb+c4。
(7) 值m1-m4及c1-c4可表示預(yù)定常數(shù)，其經(jīng)選擇以確保經(jīng)過濾的對(duì)象準(zhǔn)確地表示灰色區(qū)域同時(shí)維持足夠大范圍的經(jīng)過濾的對(duì)象以確?？舍槍?duì)幾乎所有所捕獲的圖像估計(jì)發(fā)光體?？墒褂闷渌匠淌健Ｔ谀承┡渲弥?，灰色過濾器220可應(yīng)用一組以上的過濾準(zhǔn)則且基于多個(gè)準(zhǔn)則過濾所述區(qū)域。
如果一像素可通過這6個(gè)不等式，則將其放置于用于所述區(qū)域的總和中。可將每一圖像分成8×8或16×16區(qū)域。最后，每一區(qū)域報(bào)告(Y，Cb，Cr)的總和及包括在總和中的像素的數(shù)目。
灰色過濾器220可對(duì)幾乎任何尺寸的區(qū)域操作。舉例而言，最小區(qū)域尺寸可對(duì)應(yīng)于單個(gè)像素。類似地，最大區(qū)域尺寸可對(duì)應(yīng)于整個(gè)所捕獲的圖像的尺寸?；疑^濾器220可對(duì)小于所捕獲的圖像尺寸的區(qū)域操作。通常，將圖像分成多個(gè)區(qū)域，且灰色過濾器220對(duì)所述區(qū)域中的每一者操作。
可將一圖像分成含有L×M個(gè)矩形區(qū)域，其中L及M為正整數(shù)。則N＝L×M表示一圖像中的區(qū)域的總數(shù)。在一種配置中，灰色過濾器220可將所捕獲的圖像分成8×8或16×16像素的區(qū)域?；疑^濾器220可將所捕獲的圖像的像素例如從RGB分量變換成YCrCb分量?；疑^濾器220可使用上述不等式來過濾像素以選擇可能的灰色像素。為了減少對(duì)大圖像尺寸的計(jì)算次數(shù)，灰色過濾器220可經(jīng)配置以垂直地及/或水平地子取樣或以其它方式抽取所述像素的十分之一。舉例而言，在一種配置中，灰色過濾器220可經(jīng)配置以對(duì)具有1.3百萬像素或1.3百萬像素以上的圖像以因數(shù)2子取樣水平及垂直像素。
灰色過濾器220可接著處理經(jīng)過濾的像素以產(chǎn)生用于所述區(qū)域中的每一者的統(tǒng)計(jì)數(shù)據(jù)。舉例而言，灰色過濾器220可確定經(jīng)過濾或約束的Cb的總和、經(jīng)過濾或約束的Cr的總和、經(jīng)過濾或約束的Y的總和，及根據(jù)對(duì)于Y、Cb及Cr的總和的約束選定的像素的數(shù)目。灰色過濾器220根據(jù)區(qū)域統(tǒng)計(jì)數(shù)據(jù)確定每一區(qū)域的Cb、Cr及Y的總和除以選定的像素的數(shù)目以獲得Cb(aveCb)、Cr、(aveCr)及Y(aveY)的平均值?；疑^濾器220可接著將統(tǒng)計(jì)變換回RGB分量以確定R、G及B的平均值。可通過以下方程序根據(jù)aveY、aveCb及aveCr確定平均R、G及B值。
灰色過濾器220可使用四個(gè)CbCr約束(上述的方程式(3)至方程式(6))以將每一區(qū)域分組成兩個(gè)不同叢集中的一者用于灰色區(qū)域的叢集X，及用于較高飽和度區(qū)域的叢集Y，如圖6中所展示。叢集X的灰色區(qū)域可比叢集Y的更飽和區(qū)域提供更可靠的照明估計(jì)。然而，這兩個(gè)叢集中的區(qū)域均可用于維持可估計(jì)適當(dāng)發(fā)光體以防灰色區(qū)域的數(shù)目不足以做出準(zhǔn)確估計(jì)的合理置信度。
在一種配置中，可將圖6中的兩個(gè)軸的相交點(diǎn)視為灰色點(diǎn)，且將叢集X及/或叢集Y視為中性區(qū)域(近灰色)?？蓪布疿及/或叢集Y視為Cr-Cb空間上的一用于收集近灰色像素的有界框。
圖2中的灰色過濾器220將所述區(qū)域的識(shí)別符(identity)及其統(tǒng)計(jì)數(shù)據(jù)傳送到柵格轉(zhuǎn)換器230。柵格轉(zhuǎn)換器230經(jīng)配置以將區(qū)域統(tǒng)計(jì)數(shù)據(jù)變換成柵格坐標(biāo)系以確定與針對(duì)坐標(biāo)系而格式化的參考發(fā)光體的關(guān)系。在一種配置中，柵格轉(zhuǎn)換器230將區(qū)域統(tǒng)計(jì)數(shù)據(jù)轉(zhuǎn)換及量化成(R/G，B/G)坐標(biāo)系中的n×n柵格中的一者。不需要線性地劃分柵格距離。舉例而言，可由非線性劃分的R/G及B/G軸形成坐標(biāo)柵格。當(dāng)確定柵格距離時(shí)，非線性劃分的柵格坐標(biāo)可比線性劃分的柵格更奏效。柵格轉(zhuǎn)換器230可丟棄在預(yù)定范圍(例如，[1/4，4])的外部的(aveR/aveG，aveB/aveG)對(duì)。柵格轉(zhuǎn)換器230可將區(qū)域統(tǒng)計(jì)數(shù)據(jù)有利地變換成二維坐標(biāo)系。然而，二維坐標(biāo)系的使用并非一限制，且柵格轉(zhuǎn)換器230可經(jīng)配置以使用坐標(biāo)系中的任何數(shù)目的維度。舉例而言，在另一配置中，柵格轉(zhuǎn)換器230可使用對(duì)應(yīng)于經(jīng)正規(guī)化為某一預(yù)定常數(shù)的R、G及B值的三維坐標(biāo)系。
柵格轉(zhuǎn)換器230可經(jīng)配置以將經(jīng)變換的柵格值傳送到叢集過濾器240。叢集過濾器240可經(jīng)配置以將柵格值(對(duì)應(yīng)于經(jīng)過濾的區(qū)域)分組成灰色過濾器220中所定義的叢集。舉例而言，叢集過濾器240可經(jīng)配置以將來自柵格轉(zhuǎn)換器230的柵格值分組成通過應(yīng)用于灰色過濾器220中的約束而定義的叢集X及叢集Y群組。在另一配置中，叢集過濾器240及灰色過濾器220可定義區(qū)域統(tǒng)計(jì)數(shù)據(jù)且將區(qū)域統(tǒng)計(jì)數(shù)據(jù)分組成兩個(gè)以上群組。
叢集過濾器240可經(jīng)配置以部分基于分組而將柵格值的群組提供給距離模塊250。舉例而言，在上文所描述的配置中，對(duì)應(yīng)于叢集X的柵格值可對(duì)應(yīng)于較好的灰色區(qū)域近似值。叢集過濾器240可經(jīng)配置以首先將對(duì)應(yīng)于叢集X的柵格值傳送到距離模塊250。如果距離模塊250及發(fā)光體估計(jì)器270能夠用一高程度的置信度確定發(fā)光體估計(jì)，則叢集過濾器240可省略對(duì)叢集Y柵格值的進(jìn)一步處理。在另一配置中，叢集過濾器240可經(jīng)配置以在使用來自兩個(gè)叢集的柵格值確定發(fā)光體估計(jì)的那些配置中傳送叢集X值接著是叢集Y值。
可將來自發(fā)光體參考模塊260的輸出發(fā)送到距離模塊250的第二輸入。發(fā)光體參考模塊260可經(jīng)配置以將參考發(fā)光體的位置提供給距離模塊250。
發(fā)光體參考模塊260可經(jīng)配置以存儲(chǔ)用于一個(gè)或一個(gè)以上參考發(fā)光體的統(tǒng)計(jì)數(shù)據(jù)。在校準(zhǔn)例行程序期間預(yù)定用于所述一個(gè)或一個(gè)以上參考發(fā)光體的統(tǒng)計(jì)數(shù)據(jù)，所述校準(zhǔn)例行程序在制造過程期間測(cè)量相機(jī)的各個(gè)部分的性能。
表征處理可能并不與校準(zhǔn)例行程序完全相同，但其可為類似的。表征與傳感器性能有關(guān)。舉例而言，表征處理可測(cè)量一類型的傳感器在辦公室光下的R/G及B/G。但制造過程可測(cè)量每個(gè)傳感器且記錄傳感器距經(jīng)表征的值多遠(yuǎn)。對(duì)于一給定傳感器模塊(例如，圖1中的圖像捕獲裝置100的傳感器120與透鏡110的組合)，可離線發(fā)生表征處理。離線處理在典型消費(fèi)者不使用圖像捕獲裝置100的周期期間發(fā)生，且所述周期可指代制造過程中的一周期。對(duì)于戶外照明條件，收集灰色對(duì)象的對(duì)應(yīng)于一天中的各種時(shí)間的一系列圖片。所述圖片可包括在一天中的不同時(shí)間期間在直接日光、多云照明、陰影中的戶外等等中所捕獲的圖像。記錄灰色對(duì)象在這些照明條件下的R/G及B/G比率。對(duì)于一室內(nèi)照明條件，可使用暖熒光、冷熒光、白熾光等或某一其它發(fā)光體來捕獲灰色對(duì)象的圖像?？蓪⒄彰鳁l件中的每一者用作一參考點(diǎn)。針對(duì)室內(nèi)照明條件記錄R/G及B/G比率。
在另一配置中，參考發(fā)光體可包括A(白熾、鎢等等)、F(熒光)，及被稱作D30、D50及D70的多個(gè)日光發(fā)光體。所述三個(gè)日光發(fā)光體可通過內(nèi)插法形成一近似黑體線，如圖7中所展示?？赏ㄟ^發(fā)光體色彩理想地定義參考坐標(biāo)的(R/G，B/G)坐標(biāo)，所述發(fā)光體色彩是通過整合傳感器模塊的光譜響應(yīng)與發(fā)光體的功率分布而計(jì)算。
在確定R/G及B/G比率的標(biāo)度之后，在柵格坐標(biāo)上定位參考點(diǎn)。以可使用柵格距離適當(dāng)?shù)貐^(qū)分不同參考點(diǎn)的方式確定標(biāo)度。發(fā)光體參考模塊260可使用用于表征灰色區(qū)域的相同坐標(biāo)柵格產(chǎn)生發(fā)光體統(tǒng)計(jì)數(shù)據(jù)。
距離模塊250可經(jīng)配置以確定從每一柵格點(diǎn)(從叢集過濾器240接收)到來自發(fā)光體參考模塊260的所有參考點(diǎn)的距離。距離模塊250可將經(jīng)確定的距離與預(yù)定閾值比較。如果到任何參考點(diǎn)的最短距離超過所述預(yù)定閾值，則將所述點(diǎn)視為離群值且排除所述點(diǎn)。
根據(jù)定義，所有參考點(diǎn)對(duì)應(yīng)于不同照明條件下的灰色對(duì)象。如果從叢集過濾器240接收的經(jīng)收集的數(shù)據(jù)點(diǎn)不接近所述參考點(diǎn)中的任一者，則其并非灰色對(duì)象。如果此離群值點(diǎn)包括于距離計(jì)算中，則其將產(chǎn)生較大距離且對(duì)總的距離比較有負(fù)面影響。因此，可將具有較大的最小距離的數(shù)據(jù)點(diǎn)視為離群值且將其移除。如果數(shù)據(jù)點(diǎn)并非離群值，則確定到所有參考點(diǎn)的距離。在一種配置中，可將到一特定參考點(diǎn)的距離與到所述同一參考點(diǎn)的所有其它數(shù)據(jù)點(diǎn)距離求和。
在處理所有數(shù)據(jù)點(diǎn)以便移除離群值且將到所有參考點(diǎn)的距離求和之后，存在對(duì)應(yīng)于K個(gè)參考點(diǎn)的K個(gè)數(shù)字，所述K個(gè)數(shù)字是對(duì)于所有參考點(diǎn)的距離的總和。
距離模塊250可經(jīng)配置以(a)將每一距離傳送到發(fā)光體估計(jì)器270或(b)確定總和并將對(duì)于參考點(diǎn)中的每一者的距離的總和傳送到發(fā)光體估計(jì)器270。發(fā)光體估計(jì)器270可確定到所述參考點(diǎn)的最小距離且可確定對(duì)應(yīng)于參考點(diǎn)的照明條件。
在一種配置中，叢集過濾器240可經(jīng)配置以將圖像統(tǒng)計(jì)數(shù)據(jù)分組成標(biāo)記為叢集X及叢集Y的兩個(gè)群組。對(duì)于叢集X與叢集Y兩者中的每一數(shù)據(jù)點(diǎn)，距離模塊250可經(jīng)配置以確定至少三個(gè)不同距離。距離模塊250可確定(例如)到參考發(fā)光體A(Ref.A)的距離、到參考發(fā)光體F(Ref.F)的距離，及到一通過參考日光發(fā)光體形成的黑體線的距離，如圖7中所展示。
距離模塊250可經(jīng)配置以確定例如歐幾里德(Euclidean)、曼哈頓(城市街區(qū))的距離量度，或可視計(jì)算復(fù)雜性要求及性能要求而使用某一其它量度。在其它配置中，距離模塊250可經(jīng)配置以確定對(duì)應(yīng)于所述叢集中的每一者的重力中心，且可經(jīng)配置以確定從叢集重力中心到所述參考發(fā)光體點(diǎn)中的每一者的距離。
在一種配置中，到日光參考點(diǎn)D65的總距離可為125，到暖熒光參考點(diǎn)WF的總距離可為324，到冷熒光參考點(diǎn)CF的總距離可為421。發(fā)光體估計(jì)器270可確定到D65的距離(＝125)為所有數(shù)字當(dāng)中的最小數(shù)字。發(fā)光體估計(jì)器270可接著確定所述D65為照明條件，且使用D65的相應(yīng)R/G及B/G比率執(zhí)行白平衡。
如果距離中存在平局，則發(fā)光體估計(jì)器270可使用傳感器曝光及增益設(shè)定幫助確定照明條件。發(fā)光體估計(jì)器270可依據(jù)曝光設(shè)定而使用曝光及增益設(shè)定來決定所捕獲的圖像中的場(chǎng)景為戶外還是室內(nèi)且可輔助AWB決策。
在不存在通過像素選擇處理及離群值移除處理的數(shù)據(jù)點(diǎn)的稀有情況下，發(fā)光體估計(jì)器270可使用曝光設(shè)定與總R/G及B/G比率的組合做出決策。如果所捕獲的圖像表示戶外場(chǎng)景，則可將D65R/G及B/G比率與總R/G及B/G比率取平均值而作為AWB增益。如果所捕獲的圖像對(duì)應(yīng)于室內(nèi)場(chǎng)景，則可將暖熒光WF R/G及B/G比率與總R/G及B/G比率取平均值而作為AWB增益。在使用閃光燈或頻閃觀測(cè)器照明場(chǎng)景的情況下，可使用閃光燈的R/G及B/G比率作為白平衡增益。
發(fā)光體估計(jì)器270可經(jīng)配置以將白平衡增益提供給白平衡增益模塊210，在白平衡增益模塊210中，對(duì)于發(fā)光體校正所捕獲的圖像。在另一配置中，發(fā)光體估計(jì)器270可經(jīng)配置以將發(fā)光體估計(jì)提供給白平衡增益模塊210，且白平衡增益模塊210可確定白平衡增益并將增益應(yīng)用于所捕獲的圖像。
可預(yù)定義用于參考發(fā)光體的白平衡(WB)增益。在一種配置中，可通過以下方程序定義每一參考的WB增益，其中行向量SSr、SSg及SSb為傳感器模塊的光譜響應(yīng)(傳感器+IR截止+透鏡)，Lnxn為參考發(fā)光體的功率分布的對(duì)角矩陣，且W(R)nxl為表示一完全白色漫射體的識(shí)別符列向量。
可通過下式定義WB增益。

如果傳感器模塊的光譜響應(yīng)不可得到，則可通過由傳感器模塊將參考發(fā)光體下的完全白色漫射體的圖像的原始R、G及B值取平均值而獲得WB增益。為解決傳感器模塊中的部分到部分的變化，可表征多個(gè)單元，且為所述響應(yīng)取平均值。
一旦發(fā)光體估計(jì)器270確定發(fā)光體，則發(fā)光體估計(jì)器270或白平衡增益模塊210可將WB增益定義如下。如果經(jīng)估計(jì)的發(fā)光體為特定參考發(fā)光體(例如，參考A)，則白平衡增益模塊應(yīng)用對(duì)應(yīng)于所述參考發(fā)光體的WB增益。如果所估計(jì)的發(fā)光體為日光發(fā)光體，則應(yīng)如下確定WB增益 如果所估計(jì)的相關(guān)色溫(CCT)在日光發(fā)光體D1與D2之間，則
如果所估計(jì)的CCT在日光發(fā)光體D2與D3之間，則
為概括AWB處理的一種配置，可灰色過濾所捕獲的圖像以選擇可能為灰色區(qū)域的那些區(qū)域。可將所述區(qū)域劃分成多個(gè)叢集。接著將經(jīng)選定的區(qū)域映射到預(yù)定坐標(biāo)系上?？稍谧鴺?biāo)系內(nèi)計(jì)算每一叢集的重力中心?？蓪⒁粋€(gè)或一個(gè)以上參考發(fā)光體點(diǎn)定位于坐標(biāo)系內(nèi)?？纱_定叢集的重力中心中的每一者與參考發(fā)光體點(diǎn)中的每一者之間的距離?？晒烙?jì)對(duì)應(yīng)于叢集中的每一者的發(fā)光體，且可根據(jù)所述估計(jì)確定最終發(fā)光體。可基于發(fā)光體確定白平衡增益并將白平衡增益應(yīng)用于所捕獲的圖像。
圖3是用于建立存儲(chǔ)于發(fā)光體參考模塊260中且由圖2的色彩處理器130的距離模塊250使用的參考發(fā)光體點(diǎn)的方法300的配置的流程圖。除用參考發(fā)光體為灰色場(chǎng)照明(其可在外部執(zhí)行)以外，方法300可由圖2的色彩處理器130來執(zhí)行。
方法300在方框310處開始，此時(shí)用參考發(fā)光體為灰色場(chǎng)照明。所述參考發(fā)光體可為(例如)白熾源、鹵素源、鎢源、熒光源、一天的特定時(shí)間的日光，或某一其它光源?；疑珗?chǎng)可為經(jīng)均勻照明的平面場(chǎng)。
在方框320中，色彩處理器130捕獲圖像。在一種配置中，色彩處理器130通過控制傳感器與透鏡的組合而捕獲圖像。在另一配置中，色彩處理器130通過接收由遠(yuǎn)程傳感器捕獲的圖像而捕獲圖像。
在捕獲圖像之后，色彩處理器130進(jìn)行到方框330以建立對(duì)應(yīng)于所捕獲的圖像的發(fā)光體參考點(diǎn)。在一種配置中，色彩處理器130可確定所捕獲的圖像的像素的R/G及B/G比率且確定表示發(fā)光體的參考點(diǎn)的平均值。
色彩處理器130接著進(jìn)行到?jīng)Q策方框340以確定是否已測(cè)量所有參考發(fā)光體。如果如此，則色彩處理器130進(jìn)行到方框360且完成。如果在決策方框340處，色彩處理器130確定并非已測(cè)量所有發(fā)光體，則色彩處理器130進(jìn)行而返回到方框310以等待用下一個(gè)參考發(fā)光體為灰色場(chǎng)照明。
圖4是可由圖1的圖像捕獲裝置100執(zhí)行的自動(dòng)白平衡方法400的配置的流程圖。圖像捕獲裝置100可使用圖1或圖2的色彩處理器130結(jié)合圖1的傳感器120及透鏡110來執(zhí)行方法400。
方法400在方框410處開始，此時(shí)圖像捕獲裝置100捕獲一圖像。圖像捕獲裝置100進(jìn)行到方框420且從圖像中過濾灰色像素。圖像捕獲裝置100接著進(jìn)行到方框430且確定到參考發(fā)光體的距離。圖像捕獲裝置100可確定(例如)從每一像素到參考發(fā)光體中的每一者的距離、從具有灰色像素的多個(gè)區(qū)域中的每一者到參考發(fā)光體的距離、從一子集的選定灰色像素到參考發(fā)光體中的每一者的距離、從對(duì)應(yīng)于灰色像素的一個(gè)或一個(gè)以上分組的一個(gè)或一個(gè)以上重力中心到參考發(fā)光體中的每一者的距離，或某一其它距離。
在確定距離之后，圖像捕獲裝置100進(jìn)行到方框440且至少部分基于所述距離確定一發(fā)光體。舉例而言，圖像捕獲裝置100可基于最小距離確定發(fā)光體。在另一配置中，圖像捕獲裝置100可部分地基于多個(gè)叢集中的每一者到參考發(fā)光體或通過參考發(fā)光體定義的發(fā)光體的距離來確定發(fā)光體。
在確定發(fā)光體之后，圖像捕獲裝置100進(jìn)行到方框450且將一白平衡增益應(yīng)用于所捕獲的圖像。圖像捕獲裝置100可部分地基于發(fā)光體來確定白平衡增益。
圖5是可由圖1的圖像捕獲裝置100執(zhí)行的自動(dòng)白平衡方法500的配置的流程圖。與圖4的自動(dòng)白平衡方法400一樣，圖像捕獲裝置100可使用圖1或圖2的色彩處理器130結(jié)合圖1的傳感器120及透鏡110執(zhí)行方法500。
方法500在方框510處開始，其中圖像捕獲裝置100使用(例如)傳感器120結(jié)合透鏡110來捕獲一圖像。傳感器120可經(jīng)配置而以R、G及B分量輸出圖像。在捕獲圖像之后，圖像捕獲裝置100進(jìn)行到方框520，將圖像分成預(yù)定數(shù)目的區(qū)塊且計(jì)算每一區(qū)域的R/G及B/G的比率。R/G及B/G的值可為(例如)區(qū)域內(nèi)的像素的平均R/G及B/G值。
在計(jì)算R/G及B/G值之后，圖像捕獲裝置100進(jìn)行到方框530且將區(qū)域劃分成灰色叢集?？刹粚?duì)那些不對(duì)應(yīng)于灰色區(qū)域的區(qū)域進(jìn)行進(jìn)一步處理。圖像捕獲裝置100可(例如)根據(jù)預(yù)定準(zhǔn)則過濾所述區(qū)域中的每一者的所計(jì)算的R/G及B/G統(tǒng)計(jì)數(shù)據(jù)以確定一個(gè)或一個(gè)以上灰色區(qū)域(例如，圖6中所展示)?？筛鶕?jù)另一準(zhǔn)則將所述灰色區(qū)域進(jìn)一步劃分成叢集?？墒褂糜蓚鞲衅?20提供的相同R、G及B色彩分量或可依據(jù)例如Y、Cr及Cb的其它色彩分量來確定用于確定灰色叢集的準(zhǔn)則。在某些配置中，圖像捕獲裝置100將所捕獲的圖像從一種色彩分量格式變換成另一種色彩分量格式。
在將圖像統(tǒng)計(jì)劃數(shù)據(jù)分成灰色叢集之后，圖像捕獲裝置100可進(jìn)行到方框540且將經(jīng)過濾的區(qū)域從所述叢集中的每一者量化成預(yù)定坐標(biāo)系或柵格。所述坐標(biāo)系可為(例如)基于R/G及B/G的二維坐標(biāo)系。坐標(biāo)柵格不需要被線性劃分，且可具有非線性劃分，如圖7中所展示。圖7展示一具有多個(gè)參考發(fā)光體及來自根據(jù)兩個(gè)叢集分組的所捕獲的圖像的灰色區(qū)域數(shù)據(jù)的坐標(biāo)柵格的實(shí)例。
圖像捕獲裝置100進(jìn)行到方框550且確定灰色區(qū)域的叢集中的每一者的中心。在一種配置中，圖像捕獲裝置100可確定所述叢集中的每一者的重力中心。在另一配置中，圖像捕獲裝置100可使用每一叢集內(nèi)的區(qū)域的加權(quán)平均值而確定每一叢集的中心。
在確定所述叢集中的每一者的中心之后，圖像捕獲裝置100進(jìn)行到方框560且確定從叢集中心中的每一者到參考發(fā)光體中的每一者的距離。在一種配置中，參考發(fā)光體包括對(duì)應(yīng)于圖7中標(biāo)記為“A”的參考點(diǎn)的白熾及鎢發(fā)光體、對(duì)應(yīng)于圖7中標(biāo)記為“F”的參考點(diǎn)的熒光發(fā)光體，及對(duì)應(yīng)于圖7中標(biāo)記為“D30”、“D50”及“D70”的參考點(diǎn)的三種日光。所述三種日光發(fā)光體形成一通過內(nèi)插法近似的黑體線。
圖像捕獲裝置100可經(jīng)配置以確定從每一叢集的中心到A參考、F參考及連接日光發(fā)光體的黑體線的最近點(diǎn)的距離。
在確定所述距離之后，圖像捕獲裝置100可進(jìn)行到方框570且估計(jì)所述叢集中的每一者的發(fā)光體。圖像捕獲裝置100可(例如)將發(fā)光體估計(jì)為對(duì)應(yīng)于最小確定距離的發(fā)光體。
圖像捕獲裝置100可接著進(jìn)行到方框580以基于對(duì)應(yīng)于所述叢集中的每一者的經(jīng)估計(jì)的發(fā)光體來確定發(fā)光體。因?yàn)閳D像捕獲裝置100可估計(jì)一個(gè)以上叢集的發(fā)光體，所以所估計(jì)的發(fā)光體可能不匹配。又，如果對(duì)于參考發(fā)光體中的每一者的距離超過預(yù)定閾值，則圖像捕獲裝置100可能不確定發(fā)光體。
如果所估計(jì)的發(fā)光體匹配，則圖像捕獲裝置100確定所述發(fā)光體為所估計(jì)的發(fā)光體。然而，即使所有所估計(jì)的發(fā)光體均為日光發(fā)光體，所估計(jì)的發(fā)光體也可能會(huì)對(duì)應(yīng)于黑體線上的不同點(diǎn)。
如果所估計(jì)的發(fā)光體一致地為日光且其相關(guān)色溫(CCT)差異在一預(yù)設(shè)值以內(nèi)，則所估計(jì)的CCT可為所述兩者的平均值。如果所估計(jì)的發(fā)光體一致地為日光發(fā)光體，且其CCT差異超過一預(yù)設(shè)值，則所估計(jì)的CCT可依據(jù)無約束的平均亮度Y來確定日光亮度、對(duì)具有已知時(shí)間的相同日期的任何先前估計(jì)及所述叢集中的每一者中的區(qū)域的數(shù)目。
如果所估計(jì)的發(fā)光體不一致(包括由于叢集中缺少灰色區(qū)域而未估計(jì)發(fā)光體中的一者或一者以上的情況)，則最終估計(jì)可依據(jù)其它因素。所述因素可包括對(duì)使用從所捕獲的圖像導(dǎo)出的Cb及Cr直方圖確定的可能場(chǎng)景的用于確定場(chǎng)景是在室內(nèi)還是戶外的估計(jì)。所述因素也可包括也可用于確定室內(nèi)或戶外環(huán)境的無約束的平均亮度Y。所述因素也可包括到多個(gè)不同參考發(fā)光體的距離、對(duì)具有已知時(shí)間的相同日期的先前估計(jì)(如果其存在的話)及所述叢集中的每一者中的時(shí)刻(instant)的數(shù)目。
在一種配置中，圖像捕獲裝置100可視計(jì)算復(fù)雜性及存儲(chǔ)器要求而定使用模板匹配或簡單的如果-則邏輯或?qū)＜蚁到y(tǒng)來確定可能的場(chǎng)景。
在確定發(fā)光體之后，圖像捕獲裝置100進(jìn)行到方框590且將白平衡增益應(yīng)用于所捕獲的圖像?？赏ㄟ^白平衡增益加權(quán)或以其它方式縮放所捕獲的圖像的色彩分量以達(dá)成經(jīng)白平衡的圖像。
描述用于基于灰色世界假設(shè)自動(dòng)白平衡一圖像捕獲裝置中的圖像的方法及設(shè)備。所述方法及設(shè)備可使用灰色世界假設(shè)從多個(gè)參考發(fā)光體中確定所捕獲的圖像中的發(fā)光體。所述方法及設(shè)備可接著確定待應(yīng)用于所捕獲的圖像以補(bǔ)償一用于對(duì)所捕獲的圖像中的場(chǎng)景進(jìn)行照明的非純白色發(fā)光體的效應(yīng)的白平衡增益。
新的基于像素的AWB統(tǒng)計(jì)數(shù)據(jù)收集方法 上文所描述的基于區(qū)域的統(tǒng)計(jì)數(shù)據(jù)收集方法可能存在問題。首先，(Y，Cb，Cr)空間可能不是用于執(zhí)行白平衡的良好色彩空間。許多非灰色色彩(例如，綠色)可容易地通過有界框(上文關(guān)于圖6所描述)且可包括于統(tǒng)計(jì)數(shù)據(jù)收集方法中。另一問題是用于兩個(gè)不同照明條件的灰色樣本也被一起求和，其可能稍后不能區(qū)分。舉例而言，D75光在AWB方法操作的范圍的最藍(lán)端，且地平線在最紅端，如圖8中所展示。但圖6的有界框經(jīng)設(shè)計(jì)以對(duì)于這些光使近灰色像素通過。當(dāng)近灰色像素被一起求和時(shí)，其被牽引到范圍的中心。則AWB決策可能是錯(cuò)誤的。
為匹配一經(jīng)配置以在軟件上運(yùn)行的AWB算法，一種新的基于像素的AWB統(tǒng)計(jì)數(shù)據(jù)收集方法可對(duì)R/G及B/G空間(如圖8中所展示)而不是YCbCr域操作。圖8說明叢集中的參考點(diǎn)及戶外綠色區(qū)在R/G及B/G空間上的預(yù)定分布。圖14說明傳感器120、基于像素的AWB統(tǒng)計(jì)數(shù)據(jù)收集模塊1400、膚色檢測(cè)模塊1402，及使用灰色世界假設(shè)的AWB模塊1408。AWB統(tǒng)計(jì)數(shù)據(jù)收集模塊1400及膚色檢測(cè)模塊1402可經(jīng)整合以形成一個(gè)軟件及/或硬件模塊1404。通過將基于像素的AWB統(tǒng)計(jì)數(shù)據(jù)收集模塊1400與膚色檢測(cè)模塊1402組合，可共享硬件且可降低成本。
當(dāng)來自傳感器120的每一像素進(jìn)入圖14的模塊1404(或圖1的色彩處理器130)中時(shí)，像素的(R，G，B)三重值可變成(R/G，B/G)雙重值。接著(R/G，B/G)值可被量化成定點(diǎn)值。為基于實(shí)際傳感器減小(R/G，B/G)的操作范圍，可使用篩選方程式，如下 比率_最小≤R/G≤比率_最大 比率_最小≤B/G≤比率_最大 (13) 對(duì)于例如CMOS及CCD的典型傳感器，比率_最小可大約為0.25，且比率_最大可大約為2.5。
在將(R/G，B/G)值量化成定點(diǎn)整數(shù)對(duì)(K1，K2)之后，可使用定點(diǎn)整數(shù)對(duì)(K1，K2)在經(jīng)預(yù)先校準(zhǔn)的二維(2-D)查找表(LUT)1200(如圖12中所展示)中查找灰色叢集索引。在一種配置中，可容許的范圍可為 0≤經(jīng)量化的R/G≤M 0≤經(jīng)量化的B/G≤N (14) 其中M及N為表示量化之后的可容許的R/G及B/G值的最大值的正整數(shù)。2-D LUT1200具有尺寸(M+1)×(N+1)。圖12中的2-D LUT 1200的每一值為對(duì)圖8中的叢集的索引。舉例而言，日光叢集(D75、D65、D50)被提供叢集索引＝1，熒光叢集＝2，白熾?yún)布?，戶外綠色區(qū)＝4，等等。對(duì)于待丟棄的(R/G，B/G)值，其被提供索引＝0。因此，2-D LUT 1200為每一經(jīng)量化的(R/G，B/G)值提供一叢集索引。
如果叢集索引為非零，則用于(R/G，B/G)的對(duì)應(yīng)累加器寄存器1300(圖13)執(zhí)行求和，亦即，遞增。經(jīng)包括用于求和的像素的數(shù)目也在累加器寄存器1300中或在一單獨(dú)計(jì)數(shù)器中遞增(計(jì)數(shù))。在一幀的末尾，每一叢集返回3個(gè)值R/G的總和、B/G的總和，及包括于求和中的像素的總數(shù)目。AWB模塊1408(例如，由處理器1406執(zhí)行的軟件)接收這些值，計(jì)算每一叢集的平均(R/G，B/G)，且使用平均(R/G，B/G)做出AWB決策。
如果尋找到一主要叢集(例如，一叢集中的計(jì)數(shù)大于其它叢集(例如，3個(gè)其它叢集)中的總計(jì)數(shù)的75％)，則AWB模塊1408可使用所述主要叢集來進(jìn)行白平衡。如果未尋找到主要叢集，則AWB模塊1408可使用權(quán)向量對(duì)叢集平均值進(jìn)行加權(quán)以進(jìn)行白平衡。權(quán)向量可視曝光索引而定。
圖9概括此基于像素的AWB統(tǒng)計(jì)數(shù)據(jù)收集方法。在方框900中，所述方法將所有R/G及B/G累加器1300(圖13)及像素計(jì)數(shù)器復(fù)位為0。
在方框902中，所述方法根據(jù)每一像素的(R，G，B)值來計(jì)算(R/G，B/G)比率。
在方框904中，所述方法確定與比率_最小及比率_最大相比(R/G，B/G)比率是否在范圍以外。如果如此，則方法跳過此像素，移動(dòng)到下一個(gè)像素，且返回到方框902。如果(R/G，B/G)比率在范圍中，則方法進(jìn)行到方框906。
在方框906中，所述方法量化(R/G，B/G)使其變成定點(diǎn)整數(shù)K1＝經(jīng)量化的R/G，K2＝經(jīng)量化的B/G。
在方框908中，所述方法在2-D LUT 1200(圖12)中查找K1、K2以尋找叢集_索引＝LUT[K1，K2]。
在方框910中，所述方法確定叢集_索引是否為0。如果如此，則所述方法移動(dòng)到下一個(gè)像素且返回到方框902。如果叢集_索引＞0，則所述方法遞增寄存器1300中的以下值 R/G累加器[叢集_索引]+＝R/G， B/G累加器[叢集_索引]+＝B/G，及 像素_計(jì)數(shù)器[叢集_索引]+＝1。
在方框912中，所述方法移動(dòng)到下一個(gè)像素。如果到達(dá)幀的末尾，則所述方法停止且報(bào)告累加器及計(jì)數(shù)器值。否則，所述方法移動(dòng)到下一個(gè)像素且返回到方框902。
圖9的方法可以硬件、軟件或硬件與軟件的組合來實(shí)施。在另一配置中，可使用一類似于圖9的方法并行處理像素以節(jié)省時(shí)間。
基于像素的AWB統(tǒng)計(jì)數(shù)據(jù)收集方法可比上文所描述的第一基于區(qū)域的AWB統(tǒng)計(jì)數(shù)據(jù)收集方法更準(zhǔn)確，尤其當(dāng)一場(chǎng)景中幾乎不存在任何真實(shí)灰色信息或存在過多誤導(dǎo)信息時(shí)。
基于像素的AWB統(tǒng)計(jì)數(shù)據(jù)收集方法可能是靈活的?？蓪WB算法需要觀察的經(jīng)預(yù)先校準(zhǔn)的參考點(diǎn)及叢集(圖8)編程于2-D LUT 1200中。可針對(duì)不同的傳感器配置一個(gè)或一個(gè)以上LUT 1200。必要時(shí)可在運(yùn)行時(shí)間重新配置一個(gè)或一個(gè)以上LUT。舉例而言，用戶可選擇一設(shè)定或裝置100可感測(cè)低光度條件且使用比圖8中所展示的叢集大的叢集。圖8中的每一叢集的形狀可為可配置及調(diào)整的。所述形狀不限于橢圓形、圓形或矩形。
基于像素的AWB統(tǒng)計(jì)數(shù)據(jù)收集方法可提供有用的統(tǒng)計(jì)數(shù)據(jù)的適當(dāng)分離。在上文關(guān)于圖6至圖7所描述的基于區(qū)域的AWB統(tǒng)計(jì)數(shù)據(jù)收集方法中，將類似戶外灰色及室內(nèi)灰色的色彩一起求和，此使得AWB算法難以估計(jì)實(shí)際照明條件。在新的基于像素的AWB統(tǒng)計(jì)數(shù)據(jù)收集方法中，消除了此困難。
基于像素的AWB統(tǒng)計(jì)數(shù)據(jù)收集方法可應(yīng)用機(jī)率加權(quán)。某些AWB算法可能更傾向于基于到圖8中的參考點(diǎn)的距離對(duì)樣本進(jìn)行加權(quán)。此可通過將多個(gè)索引指派給叢集的橢圓形區(qū)段或劃分區(qū)(亦即，對(duì)叢集進(jìn)行子劃分)來達(dá)成，如圖10中所說明?？稍谌鐖D13B中所展示的寄存器中分別收集(求和)屬于不同區(qū)段或劃分區(qū)中的像素，此可提供更多靈活性。在AWB算法中，可對(duì)其提供不同權(quán)重。
圖11說明可用于圖8中的叢集的另一配置，其中多個(gè)索引被指派給叢集中的大體上矩形的區(qū)段。
基于像素的AWB統(tǒng)計(jì)數(shù)據(jù)收集方法可減少AWB算法計(jì)算時(shí)間且節(jié)省計(jì)算功率。如較早所提及，在攝像機(jī)及視頻電話應(yīng)用中，CPU將其大量計(jì)算資源花費(fèi)在視頻編碼/解碼上。需要AWB花費(fèi)盡可能少的時(shí)間以使幀速率不波動(dòng)?；谙袼氐腁WB收集方法可與一在處理器1406上運(yùn)行的AWB算法匹配(亦即，將所要的統(tǒng)計(jì)數(shù)據(jù)提供給處理器1406并以幀速率執(zhí)行)且因此處置其大部分耗時(shí)計(jì)算。
本文中所描述的方法可提供對(duì)所捕獲的圖像的較好的膚色檢測(cè)及/或處理。如果存在足夠灰色信息，則基于像素的方法與基于區(qū)域的方法均可依據(jù)收集灰色信息以大約相同的水平或可比較的水平執(zhí)行。但基于像素的方法可具有收集“有色”信息(例如，“綠色樹葉”及“膚色”)的較好能力。所收集的膚色及綠色像素平均值可用于輔助AWB決策制定。在基于區(qū)域的方法中，將膚色與同一區(qū)域中的其它色彩平均化，因此所獲得的統(tǒng)計(jì)數(shù)據(jù)可能不用于可靠地估計(jì)圖像中的膚色的存在。相同結(jié)果對(duì)于基于區(qū)域的方法中的綠色樹葉而言是成立的。
在一種配置中，在已做出AWB決策(通過AWB統(tǒng)計(jì)數(shù)據(jù)收集模塊1400、AWB模塊1408或某一其它模塊)之后，可相應(yīng)地定義R/G-B/G空間上的膚色區(qū)域。其可能不以相反方式來使用。因?yàn)槟w色色彩通常定位于較暖的光的灰色區(qū)中，所以其可能無法僅通過查看統(tǒng)計(jì)數(shù)據(jù)來區(qū)分。在已做出AWB決策之后，膚色檢測(cè)模塊1402(或某一其它模塊)可查看所述發(fā)光體的對(duì)應(yīng)膚色區(qū)且基于標(biāo)記為膚色的像素應(yīng)用“膚色調(diào)整”、“基于膚色的自動(dòng)曝光控制”、“基于膚色的自動(dòng)聚焦控制”等等。在已做出AWB決策且使其穩(wěn)定之后，膚色可充當(dāng)對(duì)AWB決策的第二調(diào)整。
在基于像素的方法的一種配置中，分別收集皮膚像素、灰色像素及綠色像素。所收集的綠色像素及皮膚像素平均值可用于輔助決策制定。
對(duì)于AWB，綠色樹葉可能是重要的，因?yàn)榫G色樹葉是戶外圖像中的主要色彩。許多戶外場(chǎng)景不具有近灰色色彩且平均值也不接近灰色。因此，綠色色彩提供場(chǎng)景是在戶外的非常重要的線索，雖然所收集的近灰色信息表示另外的情況。
雖然藍(lán)色天空也是戶外圖像的主要色彩，但其在R/G-B/G空間上的位置造成朝著較藍(lán)側(cè)的誤導(dǎo)決策，因此，圖像看似過黃。因此，對(duì)于輔助AWB決策制定，藍(lán)色色彩可能具有較小價(jià)值。
結(jié)合本文中所揭示的配置所描述的各種說明性邏輯區(qū)塊、模塊及電路可用通用處理器、數(shù)字信號(hào)處理器(DSP)、精簡指令集計(jì)算機(jī)(RISC)處理器、專用集成電路(ASIC)、現(xiàn)場(chǎng)可編程門陣列(FPGA)或其它可編程邏輯裝置、離散門或晶體管邏輯、離散硬件組件或其經(jīng)設(shè)計(jì)以執(zhí)行本文中所描述的功能的任何組合來實(shí)施或執(zhí)行。通用處理器可為微處理器，但在替代方案中，處理器可為任何處理器、控制器、微控制器或狀態(tài)機(jī)。處理器也實(shí)施為計(jì)算裝置的組合，例如，DSP與微處理器的組合、多個(gè)微處理器、一個(gè)或一個(gè)以上微處理器聯(lián)合DSP核心，或任何其它此配置。
軟件模塊可駐留在RAM存儲(chǔ)器、快閃存儲(chǔ)器、非易失性存儲(chǔ)器、ROM存儲(chǔ)器、EPROM存儲(chǔ)器、EEPROM存儲(chǔ)器、寄存器、硬盤、抽取式磁盤、CD-ROM或此項(xiàng)技術(shù)中已知的任何其它形式的存儲(chǔ)媒體中。示范性存儲(chǔ)媒體耦合到處理器以使得處理器可從所述存儲(chǔ)媒體讀取信息且將信息寫入到存儲(chǔ)媒體。在替代方案中，存儲(chǔ)媒體可與處理器成一體式。
結(jié)合本文中所揭示的配置所描述的方法、處理或算法的動(dòng)作可直接在硬件中、由處理器執(zhí)行的軟件模塊中，或所述兩者的組合中實(shí)施。方法或處理中的各種動(dòng)作可以所展示的次序來執(zhí)行，或可以另一次序來執(zhí)行。另外，可省略一個(gè)或一個(gè)以上處理或方法步驟或可將一個(gè)或一個(gè)以上處理或方法步驟添加到方法及處理?？稍诜椒疤幚淼拈_始、末尾或插入的現(xiàn)存元件中添加額外步驟、方框或動(dòng)作。
提供經(jīng)揭示的配置的以上描述以使所屬領(lǐng)域的技術(shù)人員能夠制作或使用本發(fā)明。所屬領(lǐng)域的技術(shù)人員將容易明白對(duì)這些配置的各種修改，且在不脫離本發(fā)明的精神或范圍的情況下，本文中所定義的一般原理可應(yīng)用于其它配置。因此，本發(fā)明不欲限于本文中所展示的配置，而是符合與本文所揭示的原理及新穎特征一致的最廣泛范圍。
權(quán)利要求
1.一種方法，其包含
(a)根據(jù)第一像素的紅、綠及藍(lán)(R，G，B)值計(jì)算色彩比率；
(b)通過將所述比率與最大值及最小值比較而確定所述色彩比率是否在一范圍以外；
(c)如果所述色彩比率在所述范圍以外，則跳過所述第一像素且對(duì)第二像素執(zhí)行(a)及(b)；
(d)如果所述色彩比率在范圍中，則將所述色彩比率量化成定點(diǎn)整數(shù)；
(e)在表中查找所述定點(diǎn)整數(shù)以找到叢集索引；
(f)確定所述叢集索引是否為零；
(g)如果所述叢集索引為零，則對(duì)所述第二像素執(zhí)行(a)及(b)；及
(h)如果所述叢集索引大于零，則遞增與所述叢集索引相關(guān)聯(lián)的色彩比率總和且遞增與所述叢集索引相關(guān)聯(lián)的像素的數(shù)目。
2.根據(jù)權(quán)利要求1所述的方法，其中所述色彩比率包含(R/G，B/G)。
3.根據(jù)權(quán)利要求1所述的方法，其進(jìn)一步包含將累加所述色彩比率總和且對(duì)像素的所述數(shù)目進(jìn)行計(jì)數(shù)的寄存器復(fù)位至零。
4.根據(jù)權(quán)利要求1所述的方法，其進(jìn)一步包含
重復(fù)(a)至(h)，直到幀中的所有像素被處理為止；
使用與多個(gè)叢集索引中的每一叢集索引相關(guān)聯(lián)的所述色彩比率總和及像素的數(shù)目對(duì)所述幀執(zhí)行自動(dòng)白平衡。
5.根據(jù)權(quán)利要求4所述的方法，其中所述叢集索引包含日光叢集索引、熒光叢集索引、白熾?yún)布饕皯敉饩G色區(qū)叢集索引。
6.根據(jù)權(quán)利要求1所述的方法，其中至少一個(gè)叢集包含多個(gè)參考點(diǎn)，其中所述叢集的形狀是通過所述參考點(diǎn)在色彩比率曲線圖上的位置來確定的。
7.根據(jù)權(quán)利要求1所述的方法，其中至少一個(gè)叢集包含與不同權(quán)重相關(guān)聯(lián)的多個(gè)區(qū)段，所述方法進(jìn)一步分別針對(duì)每一區(qū)段收集色彩比率總和及像素的數(shù)目。
8.根據(jù)權(quán)利要求1所述的方法，其進(jìn)一步包含使用與所述叢集索引相關(guān)聯(lián)的所述色彩比率總和及與所述叢集索引相關(guān)聯(lián)的像素的所述數(shù)目來進(jìn)行膚色處理。
9.一種方法，其包含
累加(a)所捕獲的圖像中的多個(gè)像素的用于多個(gè)叢集中的每一叢集的紅/綠及藍(lán)/綠色彩比率值及(b)具有與每一叢集相關(guān)聯(lián)的紅/綠及藍(lán)/綠色彩比率的像素的數(shù)目，所述叢集包含日光、熒光、白熾及戶外綠色區(qū)；
確定哪一叢集具有最高累加數(shù)目的像素；及
使用具有所述最高累加數(shù)目的像素的所述叢集對(duì)所述所捕獲的圖像執(zhí)行白平衡。
10.根據(jù)權(quán)利要求9所述的方法，其中至少一個(gè)叢集包含與不同權(quán)重相關(guān)聯(lián)的多個(gè)區(qū)段。
11.根據(jù)權(quán)利要求9所述的方法，其進(jìn)一步包含使用與所述叢集相關(guān)聯(lián)的所述累加色彩比率值及與所述叢集相關(guān)聯(lián)的像素的所述累加數(shù)目來進(jìn)行膚色處理。
12.一種設(shè)備，其包含
(a)用于根據(jù)第一像素的紅、綠及藍(lán)(R，G，B)值計(jì)算色彩比率的裝置；
(b)用于通過將所述比率與最大值及最小值比較而確定所述色彩比率是否在一范圍以外的裝置；
(c)用于如果所述色彩比率在所述范圍以外則跳過所述第一像素且對(duì)第二像素執(zhí)行(a)及(b)的裝置；
(d)用于如果所述色彩比率在范圍中則將所述色彩比率量化成定點(diǎn)整數(shù)的裝置；
(e)用于在表中查找所述定點(diǎn)整數(shù)以尋找到叢集索引的裝置；
(f)用于確定所述叢集索引是否為零的裝置；
(g)用于如果所述叢集索引為零則對(duì)所述第二像素執(zhí)行(a)及(b)的裝置；及
(h)用于如果所述叢集索引大于零則遞增與所述叢集索引相關(guān)聯(lián)的色彩比率總和并遞增與所述叢集索引相關(guān)聯(lián)的像素的數(shù)目的裝置。
13.一種設(shè)備，其包含
收集模塊，其經(jīng)配置以累加(a)所捕獲的圖像中的多個(gè)像素的用于多個(gè)叢集中的每一叢集的紅/綠及藍(lán)/綠色彩比率值及(b)具有與每一叢集相關(guān)聯(lián)的紅/綠及藍(lán)/綠色彩比率的像素的數(shù)目，所述叢集包含日光、熒光、白熾及戶外綠色區(qū)；及
處理器，其經(jīng)配置以確定哪一叢集具有最高累加數(shù)目的像素，且使用所述具有所述最高累加數(shù)目的像素的所述叢集對(duì)所述所捕獲的圖像執(zhí)行白平衡。
14.根據(jù)權(quán)利要求13所述的設(shè)備，其中所述收集模塊與膚色檢測(cè)模塊一體形成。
15.根據(jù)權(quán)利要求13所述的設(shè)備，其中所述收集模塊由所述處理器來執(zhí)行。
16.根據(jù)權(quán)利要求13所述的設(shè)備，其中所述收集模塊包含經(jīng)量化的紅/綠及藍(lán)/綠色彩比率值及與所述色彩比率值相關(guān)聯(lián)的叢集索引的表。
17.根據(jù)權(quán)利要求13所述的設(shè)備，其中所述收集模塊包含多個(gè)寄存器，每一寄存器經(jīng)配置以累加所述多個(gè)叢集中的一者的色彩比率值。
18.根據(jù)權(quán)利要求13所述的設(shè)備，其中所述收集模塊包含多個(gè)計(jì)數(shù)器，每一計(jì)數(shù)器經(jīng)配置以對(duì)具有與所述多個(gè)叢集中的一者相關(guān)聯(lián)的紅/綠及藍(lán)/綠色彩比率的像素的數(shù)目進(jìn)行計(jì)數(shù)。
19.根據(jù)權(quán)利要求13所述的設(shè)備，其中至少一個(gè)叢集包含與不同權(quán)重相關(guān)聯(lián)的多個(gè)區(qū)段，所述收集模塊經(jīng)配置以分別為每一區(qū)段累加色彩比率值及像素的數(shù)目。
20.一種計(jì)算機(jī)可讀媒體，其經(jīng)配置以存儲(chǔ)一組指令，所述組指令可執(zhí)行以
累加(a)所捕獲的圖像中的多個(gè)像素的用于多個(gè)叢集中的每一叢集的紅/綠及藍(lán)/綠色彩比率值及(b)具有與每一叢集相關(guān)聯(lián)的紅/綠及藍(lán)/綠色彩比率的像素的數(shù)目，所述叢集包含日光、熒光、白熾及戶外綠色區(qū)；及
確定哪一叢集具有最高累加數(shù)目的像素，且使用具有所述最高累加數(shù)目的像素的所述叢集對(duì)所述所捕獲的圖像執(zhí)行白平衡。
全文摘要
可基于灰色世界假設(shè)來執(zhí)行所捕獲的圖像的自動(dòng)白平衡。一個(gè)方面涉及一種設(shè)備，所述設(shè)備包含收集模塊及處理器。所述收集模塊經(jīng)配置以累加(a)所捕獲的圖像中的多個(gè)像素的用于多個(gè)叢集中的每一叢集的紅/綠及藍(lán)/綠色彩比率值及(b)具有與每一叢集相關(guān)聯(lián)的紅/綠及藍(lán)/綠色彩比率的像素的數(shù)目，所述叢集包含日光、熒光、白熾及戶外綠色區(qū)。所述處理器經(jīng)配置以確定哪一叢集具有最高累加數(shù)目的像素，且使用具有所述最高累加數(shù)目的像素的叢集對(duì)所述所捕獲的圖像執(zhí)行白平衡。
文檔編號(hào)H04N1/60GK101529889SQ200780039526
公開日2009年9月9日 申請(qǐng)日期2007年10月26日 優(yōu)先權(quán)日2006年10月26日
發(fā)明者徐迪藻, 李向川, 塞波·羅伯特·洪 申請(qǐng)人:高通股份有限公司