基于數(shù)字相機(jī)的原始數(shù)據(jù)的白平衡系統(tǒng)和方法
【專利摘要】本發(fā)明涉及基于數(shù)字相機(jī)的原始數(shù)據(jù)的白平衡系統(tǒng)和方法。一種白平衡方法包括：在原始數(shù)據(jù)表示的圖像中，選擇不均勻區(qū)域中的像素作為計(jì)算白平衡調(diào)整系數(shù)的候選像素；分別為圖像中的R像素、G像素和B像素計(jì)算白平衡調(diào)節(jié)系數(shù)；以及根據(jù)白平衡調(diào)整系數(shù)來調(diào)整原始數(shù)據(jù)中的R像素、G像素和B像素的像素值。
【專利說明】基于數(shù)字相機(jī)的原始數(shù)據(jù)的白平衡系統(tǒng)和方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明一般涉及數(shù)字相機(jī)的圖像數(shù)據(jù)處理，更具體地涉及基于數(shù)字相機(jī)的原始數(shù)據(jù)的白平衡系統(tǒng)和方法。
【背景技術(shù)】
[0002]數(shù)字相機(jī)通過以預(yù)定順序(例如圖1所示的拜耳陣列)布置的濾色器來記錄照片數(shù)據(jù)信息。在圖1中，一個(gè)像素位置僅包括數(shù)據(jù)(稱為原始數(shù)據(jù)或者原始圖像數(shù)據(jù))的一個(gè)分量，例如R、G或者B(R、G、B分別表示三基色中的紅色、綠色和藍(lán)色)。為了正確地進(jìn)行顯示，需要對(duì)原始數(shù)據(jù)進(jìn)行解馬賽克插值(de-mosaic interpolation)處理。在解馬賽克插值處理之后，每個(gè)像素具有三個(gè)數(shù)據(jù)分量(或者稱為三個(gè)通道)R、G和B。
[0003]原始數(shù)據(jù)可能受色溫的影響，這將在顯示中引起色偏。白平衡是像素的RGB值的調(diào)整處理，其目的是“使得白色對(duì)象看起來是白色的”。這種調(diào)整可以在解馬賽克插值處理之前或之后進(jìn)行。對(duì)于具有低電路大小成本的系統(tǒng)，解馬賽克之前的白平衡意味著更低的復(fù)雜性。
[0004]現(xiàn)有技術(shù)中的白平衡方法例如包括灰界方法、鏡像方法、最大RGB方法和模糊規(guī)則方法?；医绶椒俣▓D像中的平均像素值是相同的，但是該方法的缺點(diǎn)是當(dāng)圖像中存在色彩一致的大區(qū)域(即，均勻的大區(qū)域)時(shí)，該方法失效。鏡像方法將各個(gè)通道(R、G、B)的最大值線性擴(kuò)展到(255，255，255)，最大RGB方法選擇R、G、B中的最大值來混合出灰值。然而在這兩種方法中，最大值像素能否是圖像的組分依賴于最大值像素?cái)?shù)，這將引起白平衡結(jié)果的失衡。模糊規(guī)則方法將原始數(shù)據(jù)從RGB空間轉(zhuǎn)換到Y(jié)CbCr空間，計(jì)算Cr與Cb的比率(Cr/Cb)，并且選擇基準(zhǔn)白點(diǎn)來調(diào)整各個(gè)通道的像素值。然而在模糊規(guī)則方法中，所找到的基準(zhǔn)白點(diǎn)往往是不準(zhǔn)確的，并且RGB空間與YCbCr空間之間的轉(zhuǎn)換是復(fù)雜的。

【發(fā)明內(nèi)容】

[0005]為了解決前述問題而做出了本發(fā)明。
[0006]根據(jù)本發(fā)明的實(shí)施方式，提供了 一種白平衡系統(tǒng)，包括:圖像劃分單元，將原始數(shù)據(jù)表示的圖像劃分為多個(gè)塊，其中所述原始數(shù)據(jù)是RGB空間中的數(shù)據(jù)，并且所述原始數(shù)據(jù)的每個(gè)像素包含R、G、B分量中的一個(gè)，R、G、B分別表示紅色、綠色和藍(lán)色；中間數(shù)據(jù)計(jì)算單元，從每個(gè)塊中提取R像素、G像素和B像素的像素值分別作為R數(shù)據(jù)、G數(shù)據(jù)和B數(shù)據(jù)，并且分別計(jì)算每個(gè)塊的R數(shù)據(jù)、G數(shù)據(jù)和B數(shù)據(jù)的方差作為R、G、B通道的方差，其中R像素是只包含R分量的像素，G像素是只包含G分量的像素，B像素是只包含B分量的像素；判斷單元，判斷每個(gè)塊的R、G、B通道的方差中是否有至少一個(gè)方差大于預(yù)定閾值，如果有至少一個(gè)方差大于預(yù)定閾值，則該塊被選為候選區(qū)域并且該塊中的像素被選為候選像素，并且判斷單元還判斷是否所有的塊都已被處理；白平衡調(diào)整系數(shù)計(jì)算單元，根據(jù)所有候選像素中R像素、G像素和B像素的像素值的平均值來計(jì)算白平衡調(diào)整系數(shù)；以及調(diào)整單元，根據(jù)所述白平衡調(diào)整系數(shù)來調(diào)整原始數(shù)據(jù)。[0007]根據(jù)本發(fā)明的實(shí)施方式，還提供了一種白平衡方法，包括:在原始數(shù)據(jù)表示的圖像中，選擇不均勻區(qū)域中的像素作為計(jì)算白平衡調(diào)整系數(shù)的候選像素，其中所述原始數(shù)據(jù)是RGB空間中的數(shù)據(jù)，并且所述原始數(shù)據(jù)的每個(gè)像素包含R、G、B分量中的一個(gè)，R、G、B分別表示紅色、綠色和藍(lán)色；分別為R像素、G像素和B像素計(jì)算白平衡調(diào)節(jié)系數(shù)，作為R、G、B通道的白平衡調(diào)整系數(shù)，其中R像素是只包含R分量的像素，G像素是只包含G分量的像素，B像素是只包含B分量的像素；以及分別根據(jù)所述R、G、B通道的白平衡調(diào)整系數(shù)來調(diào)整原始數(shù)據(jù)中的R像素、G像素和B像素的像素值。
[0008]根據(jù)本發(fā)明的實(shí)施方式，本發(fā)明具有若干優(yōu)點(diǎn)。首先，由于本發(fā)明在RGB空間中執(zhí)行白平衡處理，不需要執(zhí)行色彩空間轉(zhuǎn)換，因此與需要執(zhí)行色彩空間轉(zhuǎn)換的方法相比減少了計(jì)算量并且簡(jiǎn)化了處理流程，也就是說本發(fā)明更加簡(jiǎn)單和高效。其次，本發(fā)明以包含多個(gè)像素的塊作為處理單位來進(jìn)行處理，只選擇那些被判斷為不均勻區(qū)域(uneven area)的塊來計(jì)算白平衡調(diào)整系數(shù)，從而提高了白平衡調(diào)整系數(shù)的準(zhǔn)確性。此外，本發(fā)明將R數(shù)據(jù)、G數(shù)據(jù)和B數(shù)據(jù)作為圖像的不同采樣方法，分別來進(jìn)行計(jì)算，這使得白平衡處理的結(jié)果更加準(zhǔn)確。
【專利附圖】

【附圖說明】
[0009]圖1示出拜耳陣列。
[0010]圖2是根據(jù)本發(fā)明的數(shù)字相機(jī)數(shù)據(jù)處理的流程圖。
[0011]圖3是根據(jù)本發(fā)明的圖像劃分方式的示意圖。
[0012]圖4是根據(jù)本發(fā)明的圖像數(shù)據(jù)的塊樣本的示意圖。
[0013]圖5是根據(jù)本發(fā)明的塊處理順序的示圖。
[0014]圖6是根據(jù)本發(fā)明的白平衡方法的流程圖。
[0015]圖7是根據(jù)本發(fā)明的白平衡系統(tǒng)的框圖。
【具體實(shí)施方式】
[0016]在本發(fā)明中，提出了在解馬賽克插值處理之前的基于原始數(shù)據(jù)的白平衡解決方案，如圖2的數(shù)字相機(jī)數(shù)據(jù)處理所示出的。
[0017]圖像傳感器201對(duì)入射到其上的光執(zhí)行光電轉(zhuǎn)換，從而產(chǎn)生原始圖像數(shù)據(jù)。圖像傳感器上的濾色器層例如使用圖1所示的拜耳陣列來布置。這樣，所產(chǎn)生的原始圖像數(shù)據(jù)中的每個(gè)像素位置的像素值僅包括一個(gè)數(shù)據(jù)分量，即R、G或者B。然后對(duì)原始圖像數(shù)據(jù)執(zhí)行白平衡處理202，在該處理中對(duì)原始圖像數(shù)據(jù)中的色偏進(jìn)行校正。然后對(duì)經(jīng)過白平衡處理的圖像數(shù)據(jù)執(zhí)行解馬賽克插值處理203以及其他的后續(xù)處理204，最后產(chǎn)生輸出圖像。拜耳陣列包含50%綠色(G)、25%紅色(R)和25%藍(lán)色⑶，因此也稱為RGBG、GRGB或者RGGB。本發(fā)明也可以采用除了拜耳陣列以外的其他濾色器布置圖案，例如CMYW(藍(lán)綠色、品紅色、黃色和白色)或者RGBW(紅色、綠色、藍(lán)色和白色)等等。
[0018]在本發(fā)明中，原始圖像數(shù)據(jù)中的每個(gè)像素只包括一個(gè)色彩分量，例如R分量、G分量或者B分量。只包含R分量的像素稱為R像素，只包含G分量的像素稱為G像素，并且只包含B分量的像素稱為B像素。在本發(fā)明中，為了簡(jiǎn)化描述和便于理解，R像素(R分量)的集合可以稱為R通道，G像素的集合可以稱為G通道，并且B像素的集合可以稱為B通道。然而應(yīng)當(dāng)注意的是，當(dāng)提到一個(gè)通道時(shí)，并不一定涉及所有可以屬于該通道的像素或者分量，所涉及的像素或者分量可以按照具體的處理或者情況來判斷。以R通道為例:例如在下面描述的第3步中，調(diào)整R通道中的值是對(duì)原始圖像數(shù)據(jù)中的所有R像素(或者R分量)進(jìn)行調(diào)整，此時(shí)對(duì)R通道的提及涉及原始圖像數(shù)據(jù)中的所有R像素；在下面描述的第2步中，R通道的白平衡調(diào)整系數(shù)是針對(duì)所有候選像素中的R像素來計(jì)算的，此時(shí)對(duì)R通道的提及僅涉及所有候選像素中的R像素；在下面描述的第I步中對(duì)一個(gè)塊計(jì)算R通道的方差時(shí)，該計(jì)算僅涉及該塊中的R像素，此時(shí)對(duì)R通道的提及僅涉及該塊中的R像素；等等。
[0019]根據(jù)灰界方法理論，對(duì)于多數(shù)圖像，R、G和B通道的平均值是相同的。該結(jié)論基于圖像不均勻區(qū)域的計(jì)算，即，灰界方法理論對(duì)于具有豐富色彩的圖像區(qū)域是高效的。
[0020]基于該理論，在本發(fā)明中為白平衡設(shè)計(jì)了如下步驟。
[0021]第I步:選擇圖像的不均勻區(qū)域中的像素作為計(jì)算白平衡調(diào)整系數(shù)的候選像素。
[0022]第2步:為R、G、B各個(gè)通道計(jì)算白平衡調(diào)整系數(shù)。
[0023]第3步:調(diào)整R、G、B各個(gè)通道中的值。
[0024]第I步:選擇候選像素
[0025]原始數(shù)據(jù)所表示的圖像例如被劃分成多個(gè)大小為NXN(N = 4Xn，其中η為正整數(shù)，即η=1，2，3……)的塊，如圖3所示。換言之，每個(gè)塊包含NXN個(gè)像素。在圖3中，粗實(shí)線表示圖像的邊緣，細(xì)實(shí)線表示對(duì)圖像進(jìn)行劃分的線，因此圖中的每個(gè)方塊表示大小為NXN的一個(gè)塊。圖3所示的塊數(shù)僅僅是為了簡(jiǎn)化圖示的目的而示出的，具體的塊數(shù)可以根據(jù)圖像的大小和塊的大小來確定。
[0026]圖1中的拜耳數(shù)據(jù)被認(rèn)為是大小為NXN的區(qū)域Α(稱為塊Α)中的像素樣本的集合。R、G和B通道數(shù)據(jù)被認(rèn)為是來自塊A的三種樣本。僅當(dāng)塊A是不均勻區(qū)域(即，具有豐富色彩的區(qū)域)時(shí)，塊A中的像素才成為計(jì)算白平衡調(diào)整系數(shù)的候選像素。圖4示出塊A的一個(gè)示例的細(xì)節(jié)。在圖4中，塊大小N是4。當(dāng)然，N也可以是其他的值，例如8、16……。
[0027]在判斷圖像中的塊A是否是不均勻區(qū)域時(shí)，可以按各種合適的順序來選擇塊Α，例如從左到右或從右到左逐行選擇、從上到下或從下到上逐列選擇、從圖像一角開始螺旋式地選擇等等。圖5示出塊處理順序的一個(gè)示例。在圖5中，從塊Α501開始，從左到右從上到下逐行選擇各個(gè)塊。
[0028]對(duì)于當(dāng)前選擇的塊Α，分別計(jì)算塊A中R、G、B通道的方差，即塊A中的R像素、G像素和B像素的像素值(也分別稱為R值、G值和B值)的方差。在圖4中，計(jì)算塊A中R通道的方差也就是計(jì)算子塊R中的各個(gè)R值R00、R02、R20和R22的方差；計(jì)算B通道的方差也就是計(jì)算子塊B中的各個(gè)B值B11、B13、B31和B33的方差；計(jì)算G通道的方差也就是計(jì)算子塊G中的各個(gè)G值G01、G03、G10、G12、G21、G23、G30和G32的方差，或者分別計(jì)算子塊Gl中的各個(gè)G值GOl、G03、G21和G23的方差以及子塊G2中的各個(gè)G值G10、G12、G30和G32的方差。
[0029]方差的計(jì)算可以采用已知的標(biāo)準(zhǔn)的方差計(jì)算方法。例如對(duì)于計(jì)算a、b兩個(gè)值的方差，假定c為a和b的平均值，即C= (a+b)/2，則a和b的方差V= (a_c)2+(b_c)2，或者也可以根據(jù)值的個(gè)數(shù)來取平均值，即V= ((a-c)2+(b-c)2)/2。以子塊或矩陣R為例，假定各個(gè)R值R00、R02、R20和R22的平均值為Ra,即Ra = (R00+R02+R20+R22) /4，則子塊R的方差(即塊 A 中 R 通道的方差)va = (ROO-Ra)2+ (R02-Ra)2+ (R20-Ra)2+ (R22-Ra)2 或者 va = ((ROO-Ra)2+ (R02-Ra)2+ (R20-Ra)2+ (R22_Ra)2) /4。另外，對(duì)于普通的實(shí)現(xiàn)方式，還可以存在許多簡(jiǎn)化計(jì)算方法，例如a和b的方差V = |a-c I+ |b-c I或者v = (| a_c | +1b_c |)/2。當(dāng)然,也可以采用其他的方差計(jì)算方法，其最終目的是為了衡量此塊內(nèi)某色彩像素的取值的動(dòng)態(tài)范圍大小提供數(shù)值依據(jù)。
[0030]在圖4中，G通道的數(shù)據(jù)可以作為矩陣Gl和G2來處理，也可以作為矩陣G來處理，當(dāng)然也可以采用其他劃分方法。當(dāng)G通道的數(shù)據(jù)作為矩陣(子塊)Gl和G2來處理時(shí)，在下面判斷G通道的方差是否大于預(yù)定閾值時(shí)，分別判斷子塊Gl和G2的方差是否大于預(yù)定閾值。在本發(fā)明中，可以在子塊Gl的方差和子塊G2的方差這兩者之一大于預(yù)定閾值時(shí)認(rèn)為G通道的方差大于預(yù)定閾值(此時(shí)可以取子塊Gl和G2的方差之一作為G通道的方差)，或者也可以只在這兩者都大于預(yù)定閾值時(shí)認(rèn)為G通道的方差大于預(yù)定閾值。
[0031]如果R、G、B通道的至少一個(gè)方差大于預(yù)定閾值，則當(dāng)前的塊A被判斷為不均勻區(qū)域，即具有豐富色彩的區(qū)域。此時(shí)，當(dāng)前的塊A被選為候選區(qū)域并且塊A中的所有像素被選為候選像素。否則，如果R、G、B通道的所有方差都不大于預(yù)定閾值，即小于或等于預(yù)定閾值，則當(dāng)前的塊A被判斷為均勻區(qū)域，即色彩匱乏或者接近的區(qū)域。該預(yù)定閾值可以根據(jù)要求來預(yù)先設(shè)定。方差的計(jì)算可以采用各種方法，例如相差最大的兩個(gè)值的方差、與子塊中各個(gè)值的平均值相差最大的值與平均值的方差等等。作為一種極端情況，當(dāng)一個(gè)通道的方差為零時(shí)，此通道中的所有像素值是相同的。
[0032]在處理完當(dāng)前的塊A之后，按合適的順序(例如圖5所示的順序)選擇下一個(gè)塊A作為當(dāng)前的塊A來進(jìn)行處理，直到圖像中所有的塊A都已被處理為止。
[0033]第2步:計(jì)算調(diào)整系數(shù)
[0034]在處理了所有的塊A之后，計(jì)算各個(gè)通道的平均值。假定R、G、B通道的平均值分別是Ravg、Gavg和Bavg，并且以R通道為例，R通道的平均值Ravg是所有候選像素中的R像素值(即，R像素的像素值或者說R分量的值)的平均值。假定所有候選像素中的R像素值之和是Rsum并且R像素的數(shù)目為NumR,則Ravg = Rsum/NumR。同樣,假定所有候選像素中的G像素值之和是Gsum且G像素的數(shù)目為NumG，所有候選像素中的B像素值之和是Bsum 且 B 像素的數(shù)目為 NumB,則 Gavg = Gsum/NumG 并且 Bavg = Bsum/NumB。
[0035]在使用拜耳陣列的情況下，NumG = 2XNumR = 2XNumB。此時(shí)，可以只計(jì)算其中一個(gè)數(shù)目，例如通過累加的方式對(duì)NumR或NumB計(jì)數(shù)，然后通過這三個(gè)數(shù)目的倍數(shù)關(guān)系來獲得兩外兩個(gè)數(shù)目。
[0036]在獲得所有候選像素各通道的平均值Ravg、Gavg和Bavg之后,可以利用下面的式
(I)、(2)和(3)來計(jì)算白平衡調(diào)整系數(shù)。假定三個(gè)通道的調(diào)整后的平均值應(yīng)當(dāng)?shù)扔贙。
[0037]RatioR = K/Ravg (I)
[0038]RatioG = K/Gavg (2)
[0039]RatioB = K/Bavg (3)
[0040]其中，RatioR、RatioG和RatioB分別是R、G、B通道的白平衡調(diào)整系數(shù)(B卩，R像素、G像素和B像素的白平衡調(diào)整系數(shù))。
[0041]式(I)、(2)和(3)中的參數(shù)K可以利用下面的式(4)來計(jì)算。
[0042]K = Max (Ravg, Gavg, Bavg) (4)
[0043]其中，運(yùn)算符Max表示取最大值的運(yùn)算，即K等于Ravg、Gavg和Bavg三者中的最大值。[0044]第3步:調(diào)整原始數(shù)據(jù)值
[0045]在獲得了各個(gè)通道的調(diào)整系數(shù)之后，利用下面的式(5)、(6)和(7)來調(diào)整原始數(shù)據(jù)中的像素值。
[0046]R' = RX RatioR (5)
[0047]G' =GX RatioG (6)
[0048]B' =BX RatioB (7)
[0049]其中，R、G、B分別是原始數(shù)據(jù)中R像素的像素值(即R值)、G像素的像素值(G值)和B像素的像素值(B值)，R'、G'、B'分別是調(diào)整后的R值、G值和B值(或者說是白平衡處理后的R值、G值和B值)。
[0050]對(duì)于總的工作流程，請(qǐng)參考圖6。
[0051]圖6是根據(jù)本發(fā)明的白平衡方法的流程圖。該方法的處理對(duì)象例如是由圖2的圖像傳感器201獲得的原始圖像數(shù)據(jù)。如圖6所示，首先，在原始圖像數(shù)據(jù)所表示的圖像中定位塊A (步驟S601，即選擇一個(gè)塊A作為當(dāng)前的塊A)。在定位塊A時(shí)，例如按照?qǐng)D3所示對(duì)原始圖像數(shù)據(jù)所表示的圖像進(jìn)行劃分，其中塊A的大小是NXN(N = 4n，n= 1,2,3……)。塊A的定位順序可以是圖5所示的順序或者任何其他合適的順序。當(dāng)使用圖5所示的順序來選擇塊A時(shí)，塊A最初可以是圖5所示的塊A501。
[0052]在定位了塊A之后，在步驟S602，從當(dāng)前的塊A中提取R、G、B數(shù)據(jù)，即當(dāng)前的塊A中R像素、G像素、B像素的像素值，也分別稱為R值、G值和B值。換言之，R、G、B數(shù)據(jù)分別是R、G、B通道的數(shù)據(jù)。提取出的R、G、B數(shù)據(jù)例如如圖4右側(cè)所示，R數(shù)據(jù)可被表示為矩陣(子塊)R(包含R00、R02、R20和R22)，B數(shù)據(jù)可被表示為矩陣B (包含Bll、B13、B31和B33)，G數(shù)據(jù)可被表示為矩陣G (包含G01、G03、G10、G12、G21、G23、G30和G32)或者也可被表示為矩陣 Gl (G01、G03、G21 和 G23)和 G2 (G10、G12、G30 和 G32)。
[0053]在步驟S603，針對(duì)R、G、B這三個(gè)通道，分別計(jì)算當(dāng)前塊A中每個(gè)通道的方差。方差的計(jì)算例如是根據(jù)本發(fā)明實(shí)施方式的第I步中所述的計(jì)算。
[0054]在步驟S604，判斷是否有至少一個(gè)方差大于預(yù)定閾值。該預(yù)定閾值是用于判斷一個(gè)塊是否是不均勻區(qū)域的值。當(dāng)R、G、B這三個(gè)通道中的至少一個(gè)方差大于該預(yù)定閾值時(shí)，當(dāng)前的塊A被判斷為不均勻區(qū)域，即具有豐富色彩的區(qū)域(當(dāng)如圖4所示將G通道數(shù)據(jù)表示為矩陣Gl和G2時(shí)，Gl和G2的方差都可用于判斷，即，如果Gl和G2的方差中的至少一個(gè)大于預(yù)定閾值，則可以判斷該塊A為不均勻區(qū)域)。此時(shí)，當(dāng)前的塊A被選為候選區(qū)域，并且該塊A中的像素被選為計(jì)算白平衡調(diào)整系數(shù)的候選像素。在本發(fā)明中，只有那些被判斷為不均勻區(qū)域的塊才被考慮，即，作為計(jì)算白平衡調(diào)整系數(shù)的候選。否則，當(dāng)R、G、B三個(gè)通道的像素值的方差都不大于該預(yù)定閾值時(shí)，當(dāng)前的塊A被判斷為均勻區(qū)域。作為一種極端情況，當(dāng)R、G、B三個(gè)通道的方差都為0時(shí)，該塊A是最均勻的區(qū)域，即每個(gè)通道中的各個(gè)像素值是相同的(即，該塊A中的R、G、B色彩分別是一致的)。
[0055]如果在步驟S604中判斷R、G、B通道的方差都不大于預(yù)定閾值，則流程前進(jìn)到步驟S606。
[0056]如果在步驟S604中判斷有至少一個(gè)方差大于預(yù)定閾值，則流程前進(jìn)到步驟S605。在步驟S605，通過分別累加當(dāng)前塊A中R、G、B通道的像素值來更新三個(gè)通道的像素值之和Rsum、Gsum和Bsum,并且通過分別累加當(dāng)前塊A中R、G、B通道的像素?cái)?shù)來更新像素?cái)?shù)NumR、NumG和NumB。如上所述,在使用拜耳陣列的情況下，NumG = 2XNumR = RXNumB。在此情況下，可以僅對(duì)一個(gè)像素?cái)?shù)進(jìn)行計(jì)數(shù)，然后在處理了圖像中所有的塊之后利用這三個(gè)數(shù)的倍數(shù)關(guān)系來獲得另外兩個(gè)像素?cái)?shù)。例如，可以對(duì)較小的NumR或者NumB進(jìn)行計(jì)數(shù)。最初，各個(gè)像素值之和Rsum、Gsum和Bsum以及各個(gè)像素?cái)?shù)NumR、NumG和NumB均可被設(shè)為零。隨后，每當(dāng)一個(gè)塊A被判斷為不均勻區(qū)域(即，選為計(jì)算白平衡調(diào)整系數(shù)的候選)時(shí)，該塊A中R、G、B通道的像素值分別被加到Rsum、Gsum和Bsum中，并且該塊中R、G、B通道的像素?cái)?shù)分別被加到NumR、NumG和NumB中。
[0057]然后在步驟S606，判斷是否已經(jīng)處理了圖像中所有的塊。如果判斷未對(duì)所有的塊進(jìn)行處理，即還有未處理的塊，則在步驟S607，去往下一個(gè)塊。然后，重復(fù)步驟S601至S605的處理，直到在步驟S606中判斷已經(jīng)處理了所有的塊為止。
[0058]如果在步驟S606判斷已經(jīng)處理了所有的塊，則流程前進(jìn)到步驟S608。在步驟S608，計(jì)算R、G、B三個(gè)通道的平均值Ravg、Gavg和Bavg (即，所有候選像素中的R像素、G像素和B像素的像素值的平均值)。如上所述,例如,Ravg = Rsum/NumR,Gavg = Gsum/NumG,Bavg = Bsum/NumBο
[0059]然后在步驟S609，計(jì)算白平衡調(diào)整系數(shù)。例如分別利用式⑴、(2)和(3)來計(jì)算R、G、B通道的調(diào)整系數(shù)RatioR、RatioG和RatioB，其中的K例如利用式(4)來計(jì)算。
[0060]然后在步驟S610，利用計(jì)算出的調(diào)整系數(shù)來調(diào)整R、G、B值。例如分別利用式(5)、
(6)和(7)來調(diào)整R、G、B值。這樣，實(shí)現(xiàn)了白平衡調(diào)整處理。
[0061]圖7是根據(jù)本發(fā)明的白平衡系統(tǒng)700的框圖。如圖7所示，白平衡系統(tǒng)700包括原始數(shù)據(jù)存儲(chǔ)單元702、圖像劃分單元704、塊數(shù)據(jù)存儲(chǔ)單元706、中間數(shù)據(jù)計(jì)算單元708、判斷單元710、白平衡調(diào)整系`數(shù)計(jì)算單元712和調(diào)整單元714。
[0062]白平衡系統(tǒng)700接收例如來自圖像傳感器201的原始圖像數(shù)據(jù)，并將其存儲(chǔ)在原始數(shù)據(jù)存儲(chǔ)單元702中。原始數(shù)據(jù)存儲(chǔ)單元702可以是諸如RAM (隨機(jī)訪問存儲(chǔ)器)之類的易失性存儲(chǔ)器。
[0063]圖像劃分單元704對(duì)原始數(shù)據(jù)存儲(chǔ)單元702中的原始圖像數(shù)據(jù)所表示的圖像進(jìn)行劃分，例如按照?qǐng)D3所示劃分成大小為NXN(N = 4n，n = 1，2，3……)的塊，并且將劃分成的各個(gè)塊按照預(yù)定順序(例如圖5所示的順序)提供給塊數(shù)據(jù)存儲(chǔ)單元706 (步驟S601)。塊數(shù)據(jù)存儲(chǔ)單元706可以是諸如ROM(只讀存儲(chǔ)器)之類的非易失性存儲(chǔ)器，其存儲(chǔ)作為處理單位的一個(gè)塊的數(shù)據(jù)。
[0064]中間數(shù)據(jù)計(jì)算單元708從塊數(shù)據(jù)存儲(chǔ)單元706讀取塊數(shù)據(jù)，并且從塊數(shù)據(jù)中分別提取R、G、B通道的數(shù)據(jù)(步驟S602)，計(jì)算每個(gè)通道的方差(步驟S603)，并且將計(jì)算出的方差提供給判斷單元710。
[0065]判斷單元710將中間數(shù)據(jù)計(jì)算單元708提供的方差與預(yù)定閾值進(jìn)行比較，判斷是否有至少一個(gè)方差大于預(yù)定閾值(步驟S604)。如果判斷有至少一個(gè)方差大于預(yù)定閾值，則當(dāng)前的塊被選為候選區(qū)域并且該塊中的像素被選為計(jì)算白平衡調(diào)整系數(shù)的候選像素。判斷單元710將該判斷結(jié)果發(fā)送回中間數(shù)據(jù)計(jì)算單元708，中間數(shù)據(jù)計(jì)算單元708根據(jù)該判斷結(jié)果來分別更新R、G、B通道的像素值之和以及像素?cái)?shù)(步驟S605)。如前所述，中間數(shù)據(jù)計(jì)算單元708的更新步驟例如是通過累加三個(gè)像素?cái)?shù)或者只累加一個(gè)像素?cái)?shù)而實(shí)現(xiàn)的。[0066]在將上述判斷結(jié)果發(fā)送回中間數(shù)據(jù)計(jì)算單元708之后，或者如果判斷中間數(shù)據(jù)計(jì)算單元708提供的方差都不大于預(yù)定閾值，則判斷單元710判斷是否已對(duì)所有的塊進(jìn)行了處理(步驟S606)。該判斷例如可以基于圖像劃分單元704所劃分的塊數(shù)來進(jìn)行。例如可以在判斷單元710中設(shè)置計(jì)數(shù)器，該計(jì)數(shù)器的初始值被設(shè)置為零，并且每當(dāng)判斷單元710對(duì)中間數(shù)據(jù)計(jì)算單元708提供的方差進(jìn)行了判斷或者將判斷結(jié)果發(fā)送回中間數(shù)據(jù)計(jì)算單元708之后，計(jì)數(shù)器的值遞增I。
[0067]如果計(jì)數(shù)器的值小于所劃分的塊數(shù)，則表明還有未處理的塊，判斷單元710可以指示圖像劃分單元704向塊數(shù)據(jù)存儲(chǔ)單元706發(fā)送下一個(gè)塊的數(shù)據(jù)。
[0068]當(dāng)計(jì)數(shù)器的值等于所劃分的塊數(shù)時(shí)，表明判斷單元710對(duì)中間數(shù)據(jù)計(jì)算單元708提供的所有方差進(jìn)行了判斷，此時(shí)判斷單元710向中間數(shù)據(jù)計(jì)算單元708發(fā)出所有的塊都已被處理的通知。接收到該通知的中間數(shù)據(jù)計(jì)算單元708計(jì)算各個(gè)通道的平均值(步驟S608)，并且將計(jì)算出的平均值直接或者經(jīng)由判斷單元710發(fā)送給白平衡調(diào)整系數(shù)計(jì)算單元 712。
[0069]白平衡調(diào)整系數(shù)計(jì)算單元712根據(jù)中間數(shù)據(jù)計(jì)算單元708提供的平均值來計(jì)算白平衡調(diào)整系數(shù)(步驟S609)，并且將計(jì)算出的白平衡調(diào)整系數(shù)發(fā)送給調(diào)整單元714。
[0070]調(diào)整單元714根據(jù)白平衡調(diào)整系數(shù)計(jì)算單元712提供的白平衡調(diào)整系數(shù)對(duì)原始數(shù)據(jù)存儲(chǔ)單元702中的原始圖像數(shù)據(jù)進(jìn)行白平衡調(diào)整(步驟S610)，并將調(diào)整后的圖像數(shù)據(jù)存儲(chǔ)在原始數(shù)據(jù)存儲(chǔ)單元702中。原始數(shù)據(jù)存儲(chǔ)單元702可以將調(diào)整后的圖像數(shù)據(jù)輸出到數(shù)字相機(jī)中的其他裝置以進(jìn)行處理，例如解馬賽克插值處理。當(dāng)然，調(diào)整后的圖像數(shù)據(jù)也可以由調(diào)整單元714直接輸出到其他裝置，而不存儲(chǔ)在原始數(shù)據(jù)存儲(chǔ)單元702中。
[0071]雖然以上示出了根據(jù)本發(fā)明實(shí)施方式的白平衡系統(tǒng)和方法，但是本領(lǐng)域技術(shù)人員在閱讀本說明書的情況下可以作出各種變體和修改，而不脫離本發(fā)明的范圍。例如，在本發(fā)明的白平衡方法中，在判斷一個(gè)塊是否是不均勻區(qū)域之后并且在判斷是否對(duì)所有的塊都已進(jìn)行了處理之前更新各個(gè)通道的像素值之和以及像素?cái)?shù)，但是也可以先對(duì)判斷為不均勻區(qū)域的塊(候選塊)進(jìn)行標(biāo)記，在判斷已對(duì)所有的塊進(jìn)行了處理之后針對(duì)所有候選塊來計(jì)算各個(gè)通道的平均值。在本發(fā)明的白平衡系統(tǒng)中，利用中間數(shù)據(jù)計(jì)算單元708來執(zhí)行步驟S602、S603、S605和S608，但是這些步驟也可以利用更多的單元來執(zhí)行，其中每個(gè)單元執(zhí)行這些步驟中的一步或多步。判斷單元710所執(zhí)行的步驟S604和S606也可以利用不同的單元來執(zhí)行。分別執(zhí)行這些步驟中的一步或多步的單元的連接關(guān)系可以根據(jù)步驟的執(zhí)行順序來確定。
[0072]另外，本發(fā)明的白平衡系統(tǒng)也可以包括比圖7所示的單元更多或更少的單元。例如原始數(shù)據(jù)存儲(chǔ)單元702可以設(shè)在數(shù)字相機(jī)的其他裝置中，白平衡系統(tǒng)700從設(shè)在其他裝置中的原始數(shù)據(jù)存儲(chǔ)單元702獲取數(shù)據(jù)?；蛘?，除了原始數(shù)據(jù)存儲(chǔ)單元702之外，白平衡系統(tǒng)700還可以包括調(diào)整后數(shù)據(jù)存儲(chǔ)單元，用于存儲(chǔ)經(jīng)過白平衡調(diào)整后的圖像數(shù)據(jù)?；蛘?，白平衡系統(tǒng)700可以只包括調(diào)整后數(shù)據(jù)存儲(chǔ)單元，而不包括原始數(shù)據(jù)存儲(chǔ)單元702。
[0073]另外，塊數(shù)據(jù)存儲(chǔ)單元706可以存儲(chǔ)經(jīng)圖像劃分單元704劃分的圖像的所有塊的數(shù)據(jù)，并且由塊數(shù)據(jù)存儲(chǔ)單元706根據(jù)判斷單元710的指示按預(yù)定順序向中間數(shù)據(jù)計(jì)算單元708提供各個(gè)塊的數(shù)據(jù)。也可以省略塊數(shù)據(jù)存儲(chǔ)單元706，在此情況下，圖像劃分單元704直接向中間數(shù)據(jù)計(jì)算單元708提供塊數(shù)據(jù)。[0074]另外，圖像劃分單元704可以并入原始數(shù)據(jù)存儲(chǔ)單元702或者塊數(shù)據(jù)存儲(chǔ)單元706，或者塊數(shù)據(jù)存儲(chǔ)單元706可以并入圖像劃分單元704。
[0075]所有這些變化和其他變化均包含在本發(fā)明的范圍內(nèi)。
【權(quán)利要求】
1.一種白平衡方法，包括: 在原始數(shù)據(jù)表示的圖像中，選擇不均勻區(qū)域中的像素作為計(jì)算白平衡調(diào)整系數(shù)的候選像素，其中所述原始數(shù)據(jù)是RGB空間中的數(shù)據(jù)，并且所述原始數(shù)據(jù)的每個(gè)像素包含R、G、B分量中的一個(gè)，R、G、B分別表示紅色、綠色和藍(lán)色； 分別為R像素、G像素和B像素計(jì)算白平衡調(diào)節(jié)系數(shù)，作為R、G、B通道的白平衡調(diào)整系數(shù)，其中R像素是只包含R分量的像素，G像素是只包含G分量的像素，B像素是只包含B分量的像素；以及 分別根據(jù)所述R、G、B通道的白平衡調(diào)整系數(shù)來調(diào)整原始數(shù)據(jù)中的R像素、G像素和B像素的像素值。
2.如權(quán)利要求1所述的白平衡方法，其中選擇候選像素的步驟包括: 將所述圖像劃分為多個(gè)塊，每個(gè)塊包含NXN個(gè)像素，其中N = 4n并且n = l，2，3......。
3.如權(quán)利要求2所述的白平衡方法，其中選擇候選像素的步驟還包括: 按順序選擇所述多個(gè)塊中的一個(gè)塊作為當(dāng)前塊； 從所述當(dāng)前塊中提取R像 素、G像素和B像素的像素值分別作為R數(shù)據(jù)、G數(shù)據(jù)和B數(shù)據(jù)； 分別計(jì)算所述R、G、B數(shù)據(jù)的方差作為R、G、B通道的方差；以及判斷所述R、G、B通道的方差中是否有至少一個(gè)方差大于預(yù)定閾值，如果有至少一個(gè)方差大于預(yù)定閾值，則所述當(dāng)前塊被選為候選區(qū)域并且所述當(dāng)前塊中的像素被選為候選像素。
4.如權(quán)利要求1所述的白平衡方法，其中計(jì)算白平衡調(diào)整系數(shù)的步驟包括: 計(jì)算所述候選像素中所有R像素的像素值的平均值、所有G像素的像素值的平均值和所有B像素的像素值的平均值，分別作為R、G、B通道的平均值Ravg、Gavg和Bavg ；以及基于R、G、B通道的平均值Ravg、Gavg和Bavg來計(jì)算R、G、B通道的白平衡調(diào)整系數(shù)RatioR、RatioG 和 RatioB。
5.如權(quán)利要求4所述的白平衡方法，其中白平衡調(diào)整系數(shù)RatioR、RatioG和RatioB分別是利用下面的式(I)、⑵和(3)計(jì)算的:
RatioR = K/Ravg(I)
RatioG = K/Gavg(2)
RatioB = K/Bavg(3) 其中，參數(shù)K是利用下面的式(4)計(jì)算的:
K = Max (Ravg, Gavg, Bavg) (4) 其中，運(yùn)算符Max表示取最大值的運(yùn)算。
6.如權(quán)利要求4所述的白平衡方法，其中分別利用下面的式(5)、(6)和(7)來調(diào)整原始數(shù)據(jù)中R像素、G像素和B像素的像素值: R' = RXRatioR(5)
G' =GX RatioG (6)
B' = B X RatioB (7) 其中，R、G、B分別是原始數(shù)據(jù)中R像素、G像素和B像素的像素值，V ,Gi ,Bi分別是調(diào)整后的R像素、G像素和B像素的像素值。
7.如權(quán)利要求1所述的白平衡方法，其中所述原始數(shù)據(jù)是數(shù)字相機(jī)的原始圖像數(shù)據(jù)。
8.一種白平衡系統(tǒng)，包括: 圖像劃分單元，將原始數(shù)據(jù)表示的圖像劃分為多個(gè)塊，其中所述原始數(shù)據(jù)是RGB空間中的數(shù)據(jù)，并且所述原始數(shù)據(jù)的每個(gè)像素包含R、G、B分量中的一個(gè)，R、G、B分別表示紅色、綠色和藍(lán)色； 中間數(shù)據(jù)計(jì)算單元，從每個(gè)塊中提取R像素、G像素和B像素的像素值分別作為R數(shù)據(jù)、G數(shù)據(jù)和B數(shù)據(jù)，并且分別計(jì)算每個(gè)塊的R數(shù)據(jù)、G數(shù)據(jù)和B數(shù)據(jù)的方差作為R、G、B通道的方差，其中R像素是只包含R分量的像素，G像素是只包含G分量的像素，B像素是只包含B分量的像素； 判斷單元，判斷每個(gè)塊的R、G、B通道的方差中是否有至少一個(gè)方差大于預(yù)定閾值，如果有至少一個(gè)方差大于預(yù)定閾值，則該塊被選為候選區(qū)域并且該塊中的像素被選為候選像素，并且判斷單元還判斷是否所有的塊都已被處理； 白平衡調(diào)整系數(shù)計(jì)算單元，根據(jù)所有候選像素中R像素、G像素和B像素的像素值的平均值來計(jì)算白平衡調(diào)整系數(shù)；以及 調(diào)整單元，根據(jù)所述白平衡調(diào)整系數(shù)來調(diào)整原始數(shù)據(jù)。
9.如權(quán)利要求8所述的白平衡系統(tǒng)，其中所述多個(gè)塊中的每個(gè)塊包含NXN個(gè)像素，其中 N = 4n 并且 n = 1,2,3......。
10.如權(quán)利要求8所述的白平衡系統(tǒng)，其中所述圖像劃分單元將劃分成的塊按照預(yù)定順序提供給中間數(shù)據(jù)計(jì)算單元，并且在所述判斷單元判斷還有未處理的塊時(shí)，所述判斷單元指示所述圖像劃分單元向所述中間數(shù)據(jù)計(jì)算單元發(fā)送下一個(gè)塊的數(shù)據(jù)。
11.如權(quán)利要求8所述的白平衡系統(tǒng)，其中所述判斷單元在判斷一個(gè)塊是候選區(qū)域時(shí)，將判斷結(jié)果發(fā)送回所述中間數(shù)據(jù)處理單元，所述中間數(shù)據(jù)處理單元通過根據(jù)判斷結(jié)果累加候選區(qū)域中R像素、G像素和B像素的像素值和像素?cái)?shù)來計(jì)算作為候選像素的R像素、G像素和B像素的像素值之和Rsum、Gsum和Bsum以及像素?cái)?shù)NumR、NumG和NumB，其中如果所有的塊都已被處理，則Rsum和NumR分別是所有候選像素中的R像素的像素值之和及像素?cái)?shù)，Gsum和NumG分別是所有候選像素中的G像素的像素值之和及像素?cái)?shù)，Bsum和NumB分別是所有候選像素中的B像素的像素值之和及像素?cái)?shù)。
12.如權(quán)利要求11所述的白平衡系統(tǒng)，其中所述判斷單元在判斷所有的塊都已被處理時(shí)向中間數(shù)據(jù)計(jì)算單元發(fā)出所有的塊都已被處理的通知，接收到該通知的所述中間數(shù)據(jù)計(jì)算單元計(jì)算所有候選像素中R像素、G像素和B像素的像素值的平均值，分別作為R、G、B通道的平均值 Ravg、Gavg 和 Bavg,其中 Ravg = Rsum/NumR, Gavg = Gsum/NumG, Bavg = Bsum/NumB.
13.如權(quán)利要求12所述的白平衡系統(tǒng)，其中所述白平衡調(diào)整系數(shù)分別是R通道白平衡調(diào)整系數(shù)RatioR、G通道白平衡調(diào)整系數(shù)RatioG和B通道白平衡調(diào)整系數(shù)RatioB，并且RatioR、RatioG和RatioB分別是利用下面的式(1)、(2)和(3)計(jì)算的:
RatioR = K/Ravg(l)
RatioG = K/Gavg(2)
RatioB = K/Bavg(3) 其中，參數(shù)K是利用下面的式(4)計(jì)算的:K = Max (Ravg, Gavg, Bavg) (4) 其中，運(yùn)算符Max表示取最大值的運(yùn)算。
14.如權(quán)利要求13所述的白平衡系統(tǒng)，其中分別利用下面的式(5)、(6)和(7)來調(diào)整原始數(shù)據(jù)中R像素、G像素和B像素的像素值: R' = RXRatioR(5)
G' =GX RatioG (6)
B' = B X RatioB (7) 其中，R、G、B分別是原始數(shù)據(jù)中R像素、G像素和B像素的像素值，V ,Gi ,Bi分別是調(diào)整后的R像素、G像素和B像素的像素值。
15.如權(quán)利要求8所述的白平衡系統(tǒng)，還包括原始數(shù)據(jù)存儲(chǔ)單元，該原始數(shù)據(jù)存儲(chǔ)單元存儲(chǔ)所述原始數(shù)據(jù)。
16.如權(quán)利要求8所述 的白平衡系統(tǒng)，其中所述原始數(shù)據(jù)是數(shù)字相機(jī)的原始圖像數(shù)據(jù)。
17.如權(quán)利要求8所述的白平衡系統(tǒng)，還包括塊數(shù)據(jù)存儲(chǔ)單元，所述圖像劃分單元將劃分成的塊的數(shù)據(jù)按照預(yù)定順序提供給所述塊數(shù)據(jù)存儲(chǔ)單元，所述塊數(shù)據(jù)存儲(chǔ)單元存儲(chǔ)一個(gè)塊的數(shù)據(jù)作為當(dāng)前塊數(shù)據(jù)，并且所述中間數(shù)據(jù)計(jì)算單元從所述塊數(shù)據(jù)存儲(chǔ)單元讀取所述當(dāng)前塊數(shù)據(jù)并且從當(dāng)前所述塊數(shù)據(jù)中提取R像素、G像素和B像素的像素值。
18.如權(quán)利要求15所述的白平衡系統(tǒng)，其中所述原始數(shù)據(jù)存儲(chǔ)單元是隨機(jī)訪問存儲(chǔ)器。
19.如權(quán)利要求17所述的白平衡系統(tǒng)，其中所述塊數(shù)據(jù)存儲(chǔ)單元是只讀存儲(chǔ)器。
【文檔編號(hào)】H04N9/73GK103686113SQ201210352842
【公開日】2014年3月26日 申請(qǐng)日期:2012年9月14日 優(yōu)先權(quán)日:2012年9月14日
【發(fā)明者】鄭艷 申請(qǐng)人:富士通株式會(huì)社