專利名稱：用于改進(jìn)具有高照明差的照片質(zhì)量的裝置和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于改進(jìn)照片質(zhì)量的裝置和方法。特別，本發(fā)明涉及用于通過合成具有高照明差的照片來改進(jìn)照片質(zhì)量的裝置和方法。
背景技術(shù)：
近來，開發(fā)商在改進(jìn)由數(shù)碼照相機(jī)或帶有數(shù)碼照相機(jī)組件的設(shè)備捕捉的照片和圖像的質(zhì)量的方法方面進(jìn)行了大量的研究，因而建議了各種必要的設(shè)備，如，用于處理視頻和圖像數(shù)據(jù)的高性能的處理器，高容量的存儲(chǔ)器，以及可控制的照相機(jī)傳感器，等等。近來制造的數(shù)碼照相機(jī)或具有數(shù)碼照相機(jī)組件的設(shè)備包含上述的必要設(shè)備，對(duì)所捕捉圖像或照片也有各種改進(jìn)結(jié)果。
目前正在開發(fā)許多具有數(shù)碼照相機(jī)的混合終端設(shè)備，這種混合終端設(shè)備正在不斷進(jìn)入市場?；旌辖K端設(shè)備的代表性例子是移動(dòng)電話(也稱手持設(shè)備)。近來，移動(dòng)電話開始包含各種不同的功能。特別是，當(dāng)前移動(dòng)電話的例子是裝備有照相機(jī)，以便可以用作數(shù)碼照相機(jī)或可攜式攝像機(jī)。所述移動(dòng)電話基本上可以在執(zhí)行通信功能的同時(shí)捕捉照片。對(duì)捕捉照片的用戶，應(yīng)該知道的最重要的事情就是自從出現(xiàn)帶有數(shù)碼照相機(jī)的移動(dòng)電話之后所捕捉照片的質(zhì)量究竟有多少改進(jìn)。
數(shù)碼照相機(jī)和具有數(shù)碼照相機(jī)的設(shè)備使用各種方法來改進(jìn)所捕捉照片或圖像的質(zhì)量，這些方法的代表性例子是用于改進(jìn)具有高照明差的照片或圖像的質(zhì)量的方法。典型地，在使用照相機(jī)捕捉目標(biāo)物體的情況下，要根據(jù)目標(biāo)物體的外部照明來控制曝光，以便使用所控制的曝光。這樣，在調(diào)整具有低照明的目標(biāo)物體的曝光的情況下，具有相對(duì)高照明的背景畫面是飽和的，這樣就很難識(shí)別目標(biāo)物體。另一方面，在調(diào)整背景畫面的曝光的情況下，具有相對(duì)低照明的目標(biāo)物體的畫面變得太黑，這樣也很難識(shí)別目標(biāo)物體。特別地，如果以如圖1A所示的以目標(biāo)物體為中心捕捉畫面，則很難識(shí)別目標(biāo)物體的背景畫面。另一方面，如果以目標(biāo)物體的背景畫面為中心捕捉畫面，則目標(biāo)物體的畫面變得很黑，這樣，如圖1B所示，很難識(shí)別目標(biāo)物體的畫面。因此，在上述的高照明差的環(huán)境下，如果以目標(biāo)物體為中心調(diào)整曝光所捕捉的畫面與以背景畫面為中心調(diào)整曝光的所捕捉的畫面相合成，并適當(dāng)?shù)靥幚砗铣傻慕Y(jié)果，在照片畫面的所有區(qū)域可以建立不損失畫面質(zhì)量的最佳照片畫面。
發(fā)明內(nèi)容
因此，針對(duì)上述問題提出本發(fā)明，并且本發(fā)明的一個(gè)目是提供一種裝置和方法，用于改進(jìn)具有與數(shù)碼照相機(jī)的目標(biāo)物體相關(guān)的高照明差的照片質(zhì)量。
本發(fā)明的另一個(gè)目的是提供一種裝置和方法，用于通過使用數(shù)碼照相機(jī)對(duì)相互之間具有高照明差的照片圖像進(jìn)行合成來改進(jìn)照片質(zhì)量。
本發(fā)明的另一個(gè)目的是提供一種裝置和方法，用于通過產(chǎn)生數(shù)碼攝像機(jī)的圖像傳感器的不同曝光來獲取具有不同照明差的運(yùn)動(dòng)圖像，并從所獲取的運(yùn)動(dòng)圖像合成具有不同照明差的圖像，以便可以改進(jìn)運(yùn)動(dòng)圖像的圖像質(zhì)量。
根據(jù)本發(fā)明的一個(gè)方面，通過提供一種帶有照相機(jī)的裝置，實(shí)現(xiàn)上述和其他的目的。所述裝置包括圖像傳感器，用于獲取具有不同照明度的實(shí)際相同的各圖像；多個(gè)存儲(chǔ)器，用于存儲(chǔ)由所述圖像傳感器產(chǎn)生的各圖像；圖像控制器，用于將存儲(chǔ)在所述各存儲(chǔ)器中的各個(gè)圖像劃分成多個(gè)各具有預(yù)定尺寸的局部圖像，計(jì)算所述局部圖像的方差值，相互比較所計(jì)算的方差值，將高權(quán)重賦給具有高方差值的局部圖像，將低權(quán)重賦給具有低方差值的局部圖像，合成所述各局部圖像，并建立重構(gòu)的圖像；以及顯示器，用于顯示所述重構(gòu)的圖像。
根據(jù)本發(fā)明的另一個(gè)方面，提供一種圖像處理裝置，用于移動(dòng)電話或手持電話。所述裝置包括通信組件，用于執(zhí)行無線通信功能；數(shù)據(jù)處理器，用于執(zhí)行由所述通信組件傳送的/接收的信號(hào)的調(diào)制/解調(diào)和編碼/解碼功能；控制器，用于處理在通信模式中由所述數(shù)據(jù)處理器傳送的/接收的所述信號(hào)，并產(chǎn)生在圖像處理模式中的圖像處理控制信號(hào)；定時(shí)控制器，用于在所述圖像處理模式中產(chǎn)生至少兩個(gè)具有不同曝光時(shí)間的曝光控制信號(hào)；圖像傳感器，用于利用所述曝光控制信號(hào)獲取具有不同照明度的實(shí)際相同的各圖像；圖像處理器，用于將每個(gè)從所述圖像傳感器獲取的圖像劃分成多個(gè)各具有預(yù)定尺寸的局部圖像，計(jì)算所述各局部圖像的方差值，相互比較所計(jì)算的局部方差值，將高權(quán)重賦給具有高方差值的局部圖像，將低權(quán)重賦給具有低方差值的局部圖像，合成所述各局部圖像，并建立重構(gòu)的圖像；多個(gè)存儲(chǔ)器，用于存儲(chǔ)由所述圖像傳感器產(chǎn)生的所述各圖像，并存儲(chǔ)由所述圖像處理器重構(gòu)的圖像；以及顯示器，用于顯示所獲取的圖像和所述重構(gòu)的圖像。
根據(jù)本發(fā)明的另一個(gè)方面，提供一種圖像重構(gòu)方法，用在包含數(shù)碼照相機(jī)的裝置中。所述方法包括步驟獲取/顯示具有不同照明度的實(shí)際相同的各圖像；將所獲取的各個(gè)圖像劃分成多個(gè)各具有預(yù)定尺寸的局部圖像，并計(jì)算所述各局部圖像的圖像數(shù)據(jù)的局部方差值；相互比較所計(jì)算的局部方差值，將高權(quán)重賦給具有高局部方差值的局部圖像，將低權(quán)重賦給具有低局部方差值的局部圖像；對(duì)所述各局部區(qū)域的圖像數(shù)據(jù)施加所確定的權(quán)重，執(zhí)行圖像重構(gòu)，并顯示所重構(gòu)的圖像。
根據(jù)本發(fā)明的另一個(gè)方面，提供一種用在包含數(shù)碼照相機(jī)的裝置中的圖像重構(gòu)方法。所述方法包括步驟在圖像重構(gòu)模式中在短時(shí)曝光期間驅(qū)動(dòng)圖像傳感器，在所述圖像重構(gòu)模式中在較長時(shí)曝光期間驅(qū)動(dòng)所述圖像傳感器，并獲取具有不同照明度的第一和第二幀圖像；將所述第一和第二幀圖像的實(shí)際相同的圖像數(shù)據(jù)賦給各具有預(yù)定尺寸的局部圖像；計(jì)算各個(gè)局部區(qū)域的圖像數(shù)據(jù)的局部方差值；將所述第一幀圖像的局部方差值與所述第二幀圖像的方差值做比較，將高權(quán)重賦給具有高局部方差值的局部圖像，將低權(quán)重賦給具有低局部方差值的局部圖像；并且對(duì)所述第一和第二幀圖像的各局部區(qū)域的圖像數(shù)據(jù)施加所確定的權(quán)重，執(zhí)行圖像重構(gòu)，并顯示所重構(gòu)的圖像。
根據(jù)本發(fā)明的另一個(gè)方面，提供一種用在包含有數(shù)碼照相機(jī)的裝置中的運(yùn)動(dòng)圖像顯示方法。所述方法包括步驟在圖像重構(gòu)模式下在第一時(shí)曝光期間驅(qū)動(dòng)圖像傳感器，以獲取第一圖像，計(jì)算所述第一圖像的第一局部方差值，并存儲(chǔ)所述第一局部方差值；在圖像重構(gòu)模式下在第二時(shí)曝光期間驅(qū)動(dòng)圖像傳感器，以獲取第二圖像，計(jì)算所述第二圖像的第二局部方差值，并存儲(chǔ)所述第二局部方差值；將所述第二圖像的所述第二局部方差值與所述第一圖像的所述第一局部方差值做比較，將高權(quán)重賦給具有高局部方差值的一個(gè)局部圖像，并將低權(quán)重賦給具有低局部方差值的另一局部圖像；并且對(duì)所述第一和第二圖像的相應(yīng)局部區(qū)域的圖像數(shù)據(jù)施加所確定的權(quán)重，執(zhí)行一個(gè)圖像重構(gòu)，并顯示所重構(gòu)的圖像。
下面結(jié)合附圖的詳細(xì)說明將使本發(fā)明的上述和其他目的、特征和其他優(yōu)點(diǎn)得到更清晰的理解。附圖包括圖1A到圖1B是以高照明捕捉的照片圖像和另外的以低照明捕捉的照片圖像；圖2是示出當(dāng)捕捉照片圖像時(shí)的照明與由圖像傳感器獲取的輸出數(shù)據(jù)關(guān)系的圖示；圖3A和圖3B分別是在高照明區(qū)域的數(shù)據(jù)分布圖示和在低照明區(qū)域的數(shù)據(jù)分別圖示；圖4是示出根據(jù)本發(fā)明實(shí)施例的用于重構(gòu)具有圖3A到圖3B特性的圖像的原理的圖示；圖5是示出根據(jù)本發(fā)明實(shí)施例的用于改進(jìn)具有高照明差的照片質(zhì)量的裝置的框圖；圖6是示出根據(jù)本發(fā)明實(shí)施例的圖5中的圖像控制器的框圖；圖7到圖8是示出根據(jù)本發(fā)明實(shí)施例的用于獲取和重構(gòu)具有高照明差的照片圖像的過程的流程圖；圖9是根據(jù)本發(fā)明實(shí)施例的將所獲取的第一和第二圖像賦給局部區(qū)域的例子；圖10是根據(jù)本發(fā)明實(shí)施例的示例性照片，其中重構(gòu)了具有高照明差的照片圖像；圖11是示出根據(jù)本發(fā)明實(shí)施例的各時(shí)間的時(shí)序圖，在這些時(shí)間控制圖像傳感器以獲取具有高照明差的照片圖像；以及圖12是示出對(duì)移動(dòng)電話或終端應(yīng)用圖6的設(shè)備而形成的例子的框圖。
在全部這些附圖中，應(yīng)該注意，相同或相似的元件用相同的參考標(biāo)號(hào)來標(biāo)記。
具體實(shí)施例方式
將參考附圖詳細(xì)說明本發(fā)明的幾個(gè)實(shí)施例。在下面的說明中，為了簡明略去了有關(guān)的公知的功能和配置的詳細(xì)說明。
目前市場上出現(xiàn)了各種裝備有數(shù)碼照相機(jī)的的產(chǎn)品，而且也在不斷提出和開發(fā)出用于改進(jìn)數(shù)碼照相機(jī)捕捉的照片圖像質(zhì)量的各種方法。本發(fā)明實(shí)施例使用這樣的數(shù)碼照相機(jī)捕捉兩個(gè)或多個(gè)相互之間具有高照明差的的照片圖像，并重構(gòu)所述照片圖像，從而改進(jìn)照片圖像的質(zhì)量。特別地，本發(fā)明實(shí)施例通過控制曝光時(shí)間，以目標(biāo)物體為中心捕捉第一照片圖像，以背景圖像為中心捕捉第二照片圖像，并合成第一和第二圖像，以便能夠重構(gòu)一個(gè)合成的照片圖像，其中形成清晰的目標(biāo)物體的圖像和清晰的背景圖像。如果以高照明差捕捉圖像，當(dāng)對(duì)如圖1A所示的具有低照明的目標(biāo)物體調(diào)整曝光，則具有相對(duì)高照明的背景圖像是飽和的，這樣數(shù)碼照相機(jī)很難識(shí)別目標(biāo)物體。另一方面，如果對(duì)圖1B所示的背景圖像調(diào)整曝光，具有相對(duì)低照明的目標(biāo)物體的圖像變得太黑，這樣，數(shù)碼照相機(jī)也很難識(shí)別該目標(biāo)物體。
在這樣的情況下，如果將以目標(biāo)物體為中心的調(diào)整曝光所捕捉的圖像與以背景圖像為中心調(diào)整曝光所捕捉的圖像相互合成，并且適當(dāng)處理所合成的結(jié)果，就可以在該照片圖像的所有區(qū)域建立沒有圖像質(zhì)量降低的最佳照片圖像。
為使用本發(fā)明的方法重構(gòu)所期望的圖像，需要兩個(gè)或多個(gè)相互之間具有的照明差的圖像，如圖1A到圖1B所示。
圖2是示出當(dāng)捕捉照片圖像時(shí)照明與圖像傳感器獲取的輸出數(shù)據(jù)之間關(guān)系的圖示。特別地，圖2是示出當(dāng)圖像傳感器獲取輸出數(shù)據(jù)且當(dāng)捕捉了期望的目標(biāo)物體時(shí)，各亮度級(jí)別之間的關(guān)系。圖3A示出了當(dāng)曝光時(shí)間設(shè)置成長時(shí)段時(shí)所建立圖像數(shù)據(jù)的特性。圖3B是輸出當(dāng)曝光時(shí)間設(shè)置成短時(shí)段時(shí)所建立圖像數(shù)據(jù)的特性。
參見圖2到圖3B，該關(guān)系圖示根據(jù)圖2所示的曝光時(shí)間而變化。曝光時(shí)間越長，斜率越高?？梢钥闯鲈谔囟ㄆ毓鉅顟B(tài)的具有高亮度的特定位置是飽和的。在這種情況下，將輸出信號(hào)確定為最大值，以便成為常數(shù)。在所捕捉圖像數(shù)據(jù)中的高照明區(qū)域?qū)凑請(qǐng)D3A的“A”區(qū)域的形式分布，并且在所捕捉圖像數(shù)據(jù)中的低照明區(qū)域?qū)凑請(qǐng)D3B的“B”區(qū)域的形式形成。
具有圖3A中以實(shí)線標(biāo)記的A區(qū)域的亮度分布的特定區(qū)域的輸出信號(hào)具有間隔ΔNH。具有以虛線標(biāo)記的A區(qū)域的亮度分布的另外區(qū)域的輸出信號(hào)具有間隔ΔL。因此，在圖3A中，以虛線圖標(biāo)記的輸出信號(hào)的方差小于以實(shí)線圖標(biāo)記的另外輸出信號(hào)的方差。具有圖3B中以實(shí)線標(biāo)記的B區(qū)域的亮度分布的特定區(qū)域的輸出信號(hào)具有間隔ΔNL。具有以虛線標(biāo)記的B區(qū)域的亮度分布的另外區(qū)域的輸出信號(hào)具有間隔ΔS。因此，在圖3B中，以虛線圖標(biāo)記的輸出信號(hào)的方差小于以實(shí)線圖標(biāo)記的另外輸出信號(hào)的方差。即，通過長時(shí)曝光獲取的圖像的高照明區(qū)域是飽和的，這樣，像素?cái)?shù)據(jù)的分布范圍減小了，導(dǎo)致方差的降低。通過短時(shí)曝光獲取的圖像的低照明區(qū)域的像素?cái)?shù)據(jù)的分布范圍減小了，導(dǎo)致方差降低。
圖4是示出根據(jù)本發(fā)明實(shí)施例的用于重構(gòu)至少兩個(gè)相互之間具有照明差的圖像數(shù)據(jù)的原理的圖示。
如圖4所示，根據(jù)曝光時(shí)間描畫了具有斜率SL1的特性的第一情形和具有斜率SL2的第二情形，這樣，可以捕捉相互之間具有高照明差的圖像。在這種情況下，所捕捉照片圖像的高照明區(qū)域期望獲取斜率SL2特性的輸出信號(hào)，并且所捕捉照片圖像的低照明區(qū)域期望獲取斜率SL1特性的輸出信號(hào)。這樣，計(jì)算通過斜率SL1特性獲取的圖像的第一局部方差和通過斜率SL2特性獲取的圖像的第二局部方差，在所述第一和第二局部方差之間，權(quán)重施加到較大的局部方差，并且執(zhí)行圖像的重構(gòu)，這樣，可以重構(gòu)所期望的照片圖像。
根據(jù)本發(fā)明實(shí)施例的用于重構(gòu)圖像的發(fā)明裝置可以裝配有數(shù)碼照相機(jī)。在這種情況下，所述數(shù)碼照相機(jī)的圖像傳感器有選擇地控制捕捉照片圖像期間的曝光時(shí)間，重構(gòu)通過不同曝光時(shí)間所捕捉的圖像，并因此改進(jìn)照片圖像的質(zhì)量。為了這樣的操作，所述發(fā)明裝置包含圖像傳感器，用于將所捕捉的目標(biāo)物體的圖像信號(hào)轉(zhuǎn)換成電信號(hào)；顯示器，用于顯示有所述圖像傳感器捕捉的圖像；存儲(chǔ)器，用作以數(shù)據(jù)文件形式存儲(chǔ)所捕捉圖像的存儲(chǔ)空間；以及處理器，用于控制上述的部件并處理輸入的圖像數(shù)據(jù)等。
用在數(shù)碼照相機(jī)或包含有數(shù)碼照相機(jī)的設(shè)備中的圖像傳感器產(chǎn)生與在其光接收部件上照明光的量成比例的電信號(hào)，并且通過模擬到數(shù)字(AD)轉(zhuǎn)換將該電信號(hào)轉(zhuǎn)換成數(shù)字?jǐn)?shù)據(jù)。所述控制器按照照片圖像數(shù)據(jù)的形式處理該數(shù)字?jǐn)?shù)據(jù)。在這種情況下，每個(gè)圖像傳感器在其中包含可讀/可記錄的寄存器，并且所述控制器在所述圖像傳感器的寄存器中寫入預(yù)定的值以控制所述圖像傳感器的操作。特別地，各商用圖像傳感器分別包含能夠控制曝光的寄存器，并且，為了獲取期望的圖像，當(dāng)捕捉目標(biāo)物體時(shí)，根據(jù)記錄在所述寄存器中的數(shù)值有選擇地應(yīng)用曝光。
由上述的數(shù)碼照相機(jī)或裝配有數(shù)碼照相機(jī)的設(shè)備中不同曝光引起的具有改進(jìn)質(zhì)量的圖像重構(gòu)方法必須獲得具有照明差的圖像，因此要求兩個(gè)或多個(gè)圖像。
圖5是示出根據(jù)本發(fā)明優(yōu)選實(shí)施例的用于改進(jìn)具有高照明差的照片質(zhì)量的數(shù)碼照相機(jī)的框圖。
參見圖5，輸入單元140產(chǎn)生控制數(shù)碼照相機(jī)各操作的鍵信號(hào)。在這種情況下，輸入單元140處理至少兩個(gè)相互之間具有高照明差的圖像，這樣產(chǎn)生用于改進(jìn)所處理圖像質(zhì)量的的鍵命令。在這種情況下，該鍵命令可以包含用于處理兩個(gè)或多個(gè)相互之間具有照明差的靜態(tài)圖像的第一鍵命令，和用于處理在幀間隔上以預(yù)定照明差捕捉運(yùn)動(dòng)圖形的各圖像的第二鍵命令。上述的鍵命令可以通過在輸入單元140上安裝獨(dú)立的鍵來實(shí)現(xiàn)，也可以按照菜單形式實(shí)現(xiàn)，以便用戶可以在所述菜單上點(diǎn)擊。
圖像控制器110控制所述數(shù)碼照相機(jī)的整體操作，并控制根據(jù)本發(fā)明實(shí)施例的用于改進(jìn)至少兩個(gè)相互之間具有照明差的圖像的質(zhì)量的功能。當(dāng)從輸入單元140接收了命令，圖像控制器110產(chǎn)生用于獲取相互之間具有照明差的各圖像的控制信號(hào)。而且，圖像控制器110處理具有高照明差的圖像，以便改進(jìn)所述圖像的質(zhì)量。應(yīng)該注意，具有不同照明度的圖像數(shù)量必須至少不少于“2”。為了說明的方便，本發(fā)明實(shí)施例假定示例性的情況是獲取兩個(gè)具有照明差的圖像，以改進(jìn)合成圖像的質(zhì)量。
當(dāng)從圖像控制器100接收了控制信號(hào)，定時(shí)控制器120產(chǎn)生定時(shí)控制信號(hào)，用于控制圖像傳感器130的曝光時(shí)間。在這種情況下，該定時(shí)控制信號(hào)產(chǎn)生用于設(shè)定短時(shí)曝光的第一曝光控制信號(hào)，和用于設(shè)定長時(shí)曝光的第二曝光控制信號(hào)。如果圖像控制器110控制運(yùn)動(dòng)圖像模式下的定時(shí)控制操作，定時(shí)控制器120順序產(chǎn)生所述第一和第二曝光控制信號(hào)，以便具有不同照明度的幀圖像信號(hào)可以連續(xù)地產(chǎn)生。
根據(jù)由定時(shí)控制器120產(chǎn)生的曝光控制信號(hào)，圖像傳感器130將照相機(jī)(沒有示出)捕捉的光信號(hào)轉(zhuǎn)換成電信號(hào)。在這種情況下，圖像傳感器130在曝光控制信號(hào)的間隔期間獲取圖像，以便產(chǎn)生具有不同照明度的圖像信號(hào)。圖像傳感器130將所述照相機(jī)的光學(xué)部件的輸出信號(hào)和由所述光學(xué)部件捕捉的光信號(hào)轉(zhuǎn)換成電信號(hào)，并且該電信號(hào)可以被轉(zhuǎn)換成數(shù)字圖像數(shù)據(jù)。圖像傳感器130可以獨(dú)立于所述照相機(jī)的光學(xué)系統(tǒng)而實(shí)現(xiàn)。假定在本發(fā)明的實(shí)施例中，所述照相機(jī)的光學(xué)系統(tǒng)獨(dú)立于圖像傳感器130。假定圖像傳感器130包含用于將光/電轉(zhuǎn)換的電信號(hào)轉(zhuǎn)換成數(shù)字圖像信號(hào)的信號(hào)處理器。在這種情況下，所述信號(hào)處理器可以用數(shù)字信號(hào)處理器(DSP)來實(shí)現(xiàn)。當(dāng)從定時(shí)控制器120接收了輸出的曝光控制信號(hào)，所述DSP可以控制所述圖像傳感器的輸出圖像信號(hào)的獲取時(shí)間。
存儲(chǔ)器150包括用于存儲(chǔ)從圖像傳感器130獲取的兩個(gè)或多個(gè)圖像數(shù)據(jù)單元的存儲(chǔ)區(qū)。從圖像傳感器130獲取的兩個(gè)或多個(gè)圖像數(shù)據(jù)單元表示了具有不同照明度的圖像數(shù)據(jù)，并且假定所述兩個(gè)或多個(gè)圖像數(shù)據(jù)單元等于幀單元中的圖像數(shù)據(jù)。假定在本發(fā)明實(shí)施例中重構(gòu)兩個(gè)圖像數(shù)據(jù)單元。存儲(chǔ)器150包含緩沖區(qū)，用于存儲(chǔ)第一和第二幀圖像數(shù)據(jù)。所述第一和第二幀緩沖區(qū)分別存儲(chǔ)由圖像傳感器產(chǎn)生的圖像信號(hào)。在這里的情況，所述第一幀緩沖區(qū)存儲(chǔ)從產(chǎn)生所述第一曝光控制信號(hào)的間隔期間產(chǎn)生的幀的圖像信號(hào)，并且，所述第二幀緩沖區(qū)存儲(chǔ)從產(chǎn)生所述第二曝光控制信號(hào)的間隔期間產(chǎn)生的幀的圖像信號(hào)。
存儲(chǔ)器150可以包括用于存儲(chǔ)各種程序和所述數(shù)碼照相機(jī)的重要信息的只讀存儲(chǔ)器(ROM)，和用于臨時(shí)存儲(chǔ)程序執(zhí)行時(shí)所產(chǎn)生數(shù)據(jù)的隨機(jī)存取存儲(chǔ)器(RAM)。在這里，所述ROM可以包含用于存儲(chǔ)程序的程序存儲(chǔ)器和多個(gè)用于存儲(chǔ)重要信息的閃存。根據(jù)本發(fā)明的實(shí)施例，所述程序存儲(chǔ)器可以存儲(chǔ)本發(fā)明的程序。每個(gè)閃存可以存儲(chǔ)所處理的屏幕圖像數(shù)據(jù)。
當(dāng)從圖像控制器110接收了控制信號(hào)，顯示器160可以顯示圖像捕捉過程所需要的各種菜單信息和所捕捉的屏幕圖像。顯示器160可以用液晶顯示器(LCD)來實(shí)現(xiàn)。
圖6是示出根據(jù)本發(fā)明實(shí)施例的圖5的圖像控制器的框圖。圖9是根據(jù)本發(fā)明實(shí)施例的、將所獲取的第一和第二圖像賦給局部區(qū)域的例子。
根據(jù)本發(fā)明實(shí)施例的用于重構(gòu)兩個(gè)或多個(gè)具有不同照明度的圖像的方法可以分成第一到第三方法。所述第一方法預(yù)捕捉并存儲(chǔ)相互之間具有高照明差的照片圖像，并執(zhí)行圖像重構(gòu)模式。在這里，圖像控制器110從所述第一和第二幀緩沖區(qū)讀取具有不同照明度的兩幀圖像數(shù)據(jù)單元。所述第二方法在圖像重構(gòu)模式下捕捉兩幀具有不同照明度的屏幕，并重構(gòu)所捕捉屏幕圖像的幀圖像數(shù)據(jù)。所述第三方法在每個(gè)幀單元處理相繼捕捉的相互之間具有速度差的運(yùn)動(dòng)圖像信號(hào)，以便可以重構(gòu)屏幕圖像。
參見圖6，第一幀緩沖區(qū)201和第二幀緩沖區(qū)202分別存儲(chǔ)具有不同照明度的幀圖像數(shù)據(jù)。局部區(qū)域分配器211和212建立局部區(qū)域，用于計(jì)算如圖9所示的幀圖像數(shù)據(jù)的各方差值。特別地，在計(jì)算所述第一和第二幀圖像數(shù)據(jù)的方差值的時(shí)候，計(jì)算所述局部區(qū)域圖像的方差值，而不是計(jì)算整個(gè)圖像的方差值。通過比較所述各方差值確定權(quán)重，并將所確定的權(quán)重施加到所述局部圖像，以便重構(gòu)圖像。在各局部區(qū)域單元執(zhí)行圖像重構(gòu)。局部區(qū)域分配器211和212確定幀圖像數(shù)據(jù)的局部區(qū)域。在這里，所述局部區(qū)域可以包含至少如圖9所示的3×3像素。均值計(jì)算器221和222分別計(jì)算所分配的局部區(qū)域的圖像像素的均值。局部方差值計(jì)算器231和232從均值計(jì)算器221和222接收所述局部區(qū)域圖像的均值，并利用所接收的均值計(jì)算局部方差值。
在這里，下文中說明用于計(jì)算局部方差值的方法。
當(dāng)由N個(gè)圖像數(shù)據(jù)計(jì)算方差，要計(jì)算N個(gè)圖像數(shù)據(jù)的均值，然后N個(gè)數(shù)據(jù)與所計(jì)算均值之間的差值平方再平均，這樣就計(jì)算出所期望的方差值，如下面表達(dá)式所表示的N個(gè)數(shù)據(jù)D(n)，其中n＝1，2，...，NN個(gè)數(shù)據(jù)的均值m＝(D(1)+D(2)+...+D(N))/N方差Var(D)＝((D(1)-m)2+(D(2)-m)2+...+(D(N)-m)2)/N如從圖9中可以看到的，將上述的方差計(jì)算方法與其他的計(jì)算例子圖像中的以點(diǎn)I(i，j)為中心的3×3區(qū)域的方差的方法相比較，其中，根據(jù)局部區(qū)域分配器211和212，參數(shù)“i”從左到右增長，另外的參數(shù)“j”從上到下增長，在這種情況下，確定所述另外的方法使用9個(gè)數(shù)據(jù)單元計(jì)算期望的方差。下面的公式1表示均值計(jì)算器221和222中圖像數(shù)據(jù)的均值，下面的公式2表示方差值計(jì)算器231和232中的圖像數(shù)據(jù)的方差。
公式1M(i,j)=Σr=-11Σs=-11I(i+r,j+s)9]]>
公式2Var(I(i,j))=Σr=-11Σs=-11[I(i+r,j+s)-M(i,j)]29]]>對(duì)公式1到公式2，“i”是X軸坐標(biāo)，“j”是Y軸坐標(biāo)，“r”是在3×3區(qū)域中的X軸坐標(biāo)的偏移，“s”是在3×3區(qū)域中的Y軸坐標(biāo)的偏移，I(i，j)是在坐標(biāo)(i，j)的圖像的像素值，M(i，j)是在以坐標(biāo)(i，j)為中心的3×3區(qū)域中的像素值的均值，以及Var(I(i，j))是在以坐標(biāo)(i，j)為中心的3×3區(qū)域中的像素值的方差。
在將目標(biāo)區(qū)域移動(dòng)到另外的區(qū)域時(shí)候，同時(shí)使用公式1和2計(jì)算各像素的局部方差值。在這里，即使局部方差計(jì)算區(qū)域從3×3區(qū)域擴(kuò)展到5×5或更大的區(qū)域，通過將公式1到2的變量“i”和“j”改變成其他的變量，依然可以計(jì)算各像素的局部方差值。
如果在將目標(biāo)區(qū)域移動(dòng)到區(qū)域單元中的其他區(qū)域的時(shí)候，使用公式1到2計(jì)算各局部區(qū)域的圖像數(shù)據(jù)的均值和方差值，則比較器240從方差值計(jì)算器231和232接收上述兩個(gè)局部圖像的方差值，并相互比較所接收的方差值。權(quán)重計(jì)算器250根據(jù)比較器240的輸出方差之間的比較結(jié)果利用公式4到5計(jì)算用于重構(gòu)所述圖像的權(quán)重。圖像重構(gòu)單元260將所確定的由公式4到5所表示的權(quán)重施加到局部區(qū)域圖像，以便可以利用下面的公式3重構(gòu)所述圖像。
如果以特定曝光值獲取的第一圖像Is的位于坐標(biāo)(i，j)的像素值被確定為Is(i，j)，并且具有不同于所述特定曝光值的另外曝光值的第二圖像IL的在坐標(biāo)(i，j)的像素值被確定為IL(i，j)，合成的圖像R(i，j)可以由下面的公式3來表示公式3
R(i，j)＝WS(i，j)×IS(i，j)+WL(i，j)×IL(i，j)在這里，如果在所述合成圖像的以坐標(biāo)(i，j)為中心的的局部區(qū)域中計(jì)算的各方差被確定為σS2(i，j)和σL2(i，j)，用于計(jì)算由公式3表示的合成圖像R(i，j)的權(quán)重WS(i，j)和WL(i，j)可以分別由下面的公式4和5表示。權(quán)重WS(i，j)和WL(i，j)滿足下面的等式6。
公式4WS(i,j)=σS2(i,j)+1[σS2(i,j)+1]+[σL2(i,j)+1]]]>公式5WL(i,j)=σL2(i,j)+1[σS2(i,j)+1]+[σL2(i,j)+1]]]>等式6WS(i，j)+WL(i，j)＝1在權(quán)重計(jì)算器250計(jì)算由公式4和5表示的權(quán)重WS(i，j)和WL(i，j)的時(shí)候，將預(yù)定值“1”加到方差，以防止出現(xiàn)零值的情況。
在計(jì)算了所述局部方差值之后，比較器240接收所述第一和第二幀圖像數(shù)據(jù)的局部方差值，并相互比較所接收的方差值。在這里，所述第一和第二幀圖像的局部區(qū)域的圖像包含相同的像素。權(quán)重值計(jì)算器250根據(jù)比較器240的比較結(jié)果信號(hào)確定公式4到5的權(quán)重Ws和WL。在這里，如果在短時(shí)曝光期間捕捉的圖像的局部方差值高于在長時(shí)曝光期間捕捉的另外圖像的局部方差值，權(quán)重計(jì)算器240確定在短時(shí)曝光期間獲取的局部圖像的權(quán)重Ws高于在長時(shí)曝光期間獲取的另外局部圖像的權(quán)重WL。如果在長時(shí)曝光期間捕捉的圖像的方差值高于在短時(shí)曝光期間捕捉的另外圖像的方差值，方差值計(jì)算器240確定從相應(yīng)的局部區(qū)域獲取的短曝光局部圖像的權(quán)重Ws低于長曝光局部圖像的權(quán)重WL。
如果按照上面所述確定權(quán)重Ws和WL，圖像重構(gòu)單元260使用公式3合成圖像，以便重構(gòu)圖像。權(quán)重Ws和WL的和值等于“1”，以便不會(huì)將超過圖像數(shù)據(jù)最大值的值計(jì)算為結(jié)果數(shù)據(jù)。因此，通過圖像重構(gòu)單元260重構(gòu)的圖像數(shù)據(jù)根據(jù)具有照明差的圖像數(shù)據(jù)的方差值確定其權(quán)重，以便控制目標(biāo)物體的亮度和背景圖像的另外亮度。
執(zhí)行上述的局部圖像重構(gòu)操作，直到所述幀圖像的最后局部圖像被重構(gòu)。如果所述最后局部圖像重構(gòu)終結(jié)，上述的圖像重構(gòu)操作也終結(jié)。第一和第二幀圖像201和202各由局部區(qū)域分配器、均值計(jì)算器和方差值計(jì)算器處理，但是，局部區(qū)域分配器、均值計(jì)算器和方差值計(jì)算器處理可以集成為一體。特別地，局部區(qū)域分配、均值計(jì)算和方差值計(jì)算操作在第一幀圖像201執(zhí)行，并且結(jié)果數(shù)據(jù)存儲(chǔ)在存儲(chǔ)器150。其后，當(dāng)執(zhí)行所述第二幀圖像202的局部區(qū)域分配、均值計(jì)算和方差值計(jì)算操作，必須存取和處理存儲(chǔ)的第一幀圖像的局部方差值。特別地，圖像控制器110計(jì)算/存儲(chǔ)所述第一幀圖像的局部圖像的方差值，計(jì)算所述第二幀圖像的局部圖像的方差值，并將所述第一幀圖像的局部方差值與所述第二幀圖像的局部方差值比較。根據(jù)比較結(jié)果，圖像控制器110按照不同的方式確定權(quán)重Ws和WL，以便可以重構(gòu)局部圖像。
在使用圖6的配置重構(gòu)局部圖像的情況下，如圖10所示重構(gòu)在圖1A到圖1B所示的兩個(gè)圖像，結(jié)果改進(jìn)了圖像質(zhì)量。特別地，如果根據(jù)本發(fā)明實(shí)施例，使用圖1A所示的第一圖像和圖1B所示的第二圖像執(zhí)行圖像重構(gòu)操作，其中第一圖像由于對(duì)低照明目標(biāo)物體調(diào)整曝光，具有高照明的背景部分是飽和的，其中第二圖像由于對(duì)背景部分調(diào)整曝光，具有相對(duì)低照明的目標(biāo)物體太黑，在所有目標(biāo)物體和背景部分可以建立沒有降低質(zhì)量的最佳圖像。
當(dāng)使用公式4到5的權(quán)重來重構(gòu)圖像，具有高照明差的圖像質(zhì)量會(huì)顯著改進(jìn)。具有低照明差的另外圖像的質(zhì)量則很難受到影響，即使使用公式4和5的權(quán)重來重構(gòu)圖像。如果根據(jù)本發(fā)明重構(gòu)在具有小的曝光時(shí)間差的特定狀態(tài)下獲取的兩個(gè)或多個(gè)圖像，重構(gòu)的結(jié)果很難影響原始的圖像。特別地，如果在曝光時(shí)間發(fā)生小差異，其均值Is(i,j)≅IL(i,j)]]>這樣，合成圖像R(i，j)可以由R(i，j)＝[WS(i，j)+WL(i，j)]×IS(i，j)＝IS(i，j)表示。在這種情況下，重構(gòu)圖像的質(zhì)量等于原始圖像的質(zhì)量。
圖7是示出根據(jù)本發(fā)明優(yōu)選實(shí)施例的、用于控制圖5的設(shè)備來重構(gòu)兩個(gè)或多個(gè)相互之間具有高照明差的圖像的方法的流程圖。特別地，圖7描述了用于捕捉具有不同照明度的兩個(gè)圖像的方法，預(yù)處理所捕捉的圖像，使所述兩個(gè)圖像的像素位置互相相等，并根據(jù)所述圖像的方差值重構(gòu)圖像。
參見圖7，如果用戶選擇圖像重構(gòu)模式，圖像控制器110利用輸入單元140確認(rèn)該用戶選擇，并向定時(shí)控制器120輸出用于執(zhí)行圖像重構(gòu)模式的控制信號(hào)。定時(shí)控制器120產(chǎn)生第一和第二曝光控制信號(hào)，用于確定不同的曝光時(shí)間。在這里，所述第一曝光控制信號(hào)具有短曝光時(shí)間，并且同所述第一曝光控制信號(hào)相比，所述第二曝光控制信號(hào)具有相對(duì)長的曝光時(shí)間。接收上述曝光控制信號(hào)的圖像傳感器130產(chǎn)生在所述第一曝光控制信號(hào)生成期間捕捉的幀圖像數(shù)據(jù)(下文中稱作第一幀數(shù)據(jù))。由圖像傳感器130產(chǎn)生的所述第一幀圖像數(shù)據(jù)存儲(chǔ)在存儲(chǔ)器150的所述第一幀緩沖區(qū)。圖像控制器110在顯示器160上輸出所述第一幀圖像數(shù)據(jù)，以便顯示器160顯示所接收的第一幀圖像數(shù)據(jù)。在這里，所述第一幀圖像數(shù)據(jù)可以顯示成如圖1A所示的圖像。圖像傳感器130產(chǎn)生在所述第二曝光控制信號(hào)生成期間捕捉的幀圖像數(shù)據(jù)。由圖像傳感器130產(chǎn)生的第二幀圖像數(shù)據(jù)存儲(chǔ)在存儲(chǔ)器150的所述第二幀緩沖區(qū)。圖像控制器110在顯示器160上輸出第二幀圖像數(shù)據(jù)，以便顯示器160顯示所述第二幀圖像數(shù)據(jù)。在這里，所述第二幀圖像數(shù)據(jù)可以被顯示成如圖1B所示的圖像。在第一和第二曝光時(shí)間期間以不同照明差捕捉的兩個(gè)幀圖像數(shù)據(jù)分別存儲(chǔ)在存儲(chǔ)器150的所述第一和第二幀緩沖區(qū)。圖像控制器110接收所述第一和第二幀圖像數(shù)據(jù)，并重構(gòu)幀圖像數(shù)據(jù)?？刂茍D像控制器110以重構(gòu)圖像的方法計(jì)算在短時(shí)曝光期間獲取的所述第一幀圖像數(shù)據(jù)的第一局部方差和在長時(shí)曝光期間獲取的所述第二幀圖像數(shù)據(jù)的第二局部方差，并對(duì)所述第一和第二局部方差中較大者施以權(quán)重，以便重構(gòu)圖像數(shù)據(jù)。在使用上述方法重構(gòu)幀圖像數(shù)據(jù)的情況下，目標(biāo)物體的目標(biāo)物體圖像和背景圖像更清楚地在所重構(gòu)的幀圖像數(shù)據(jù)中表示。上述重構(gòu)的幀圖像數(shù)據(jù)顯示在顯示器160上，并且顯示在顯示器160上的圖像可以顯示成如圖10所示那樣。
使用數(shù)碼照相機(jī)重構(gòu)圖像的方法有選擇地控制曝光時(shí)間，其間由圖像傳感器130捕捉圖像。本發(fā)明的實(shí)施例從圖像傳感器130接收在短時(shí)曝光期間捕捉的第一圖像和在長時(shí)曝光期間捕捉的第二圖像，并分別在所述第一和第二幀緩沖區(qū)存儲(chǔ)所述第一圖像和第二圖像。圖像控制器110順序讀取分別存儲(chǔ)在所述第一和第二幀緩沖區(qū)的第一和第二幀圖像數(shù)據(jù)，并重構(gòu)合成的圖像。圖像控制器110將最終的合成圖像存儲(chǔ)在存儲(chǔ)器150中，并將其顯示在顯示器160上。
在短時(shí)曝光期間捕捉照片圖像，并且在步驟311到321計(jì)算所捕捉照片圖像的局部方差值。在相對(duì)長時(shí)曝光期間捕捉照片圖像，并且在步驟331到341計(jì)算所捕捉照片圖像的局部方差值。
參見步驟311到315，圖像控制器110向定時(shí)控制器120輸出第一曝光控制信號(hào)，以便在圖11參考標(biāo)號(hào)515所示的短時(shí)曝光期間Es捕捉目標(biāo)物體。在步驟311，定時(shí)控制器120向圖像傳感器130輸出具有短時(shí)曝光的第一曝光控制信號(hào)。在步驟313，圖像控制器110在時(shí)段Es從圖像傳感器130接收?qǐng)D像數(shù)據(jù)，并在步驟315將由圖像傳感器130產(chǎn)生的圖像數(shù)據(jù)Is存儲(chǔ)到存儲(chǔ)器150的所述第一幀緩沖區(qū)。如果所述第一幀圖像數(shù)據(jù)已經(jīng)存儲(chǔ)在所述第一幀緩沖區(qū)，圖像控制器110獲得對(duì)存儲(chǔ)在所述第一幀緩沖區(qū)的短曝光圖像數(shù)據(jù)Is的存取，以便預(yù)處理圖像并計(jì)算局部方差值。
參見步驟331到335，圖像控制器110向定時(shí)控制器120輸出第二曝光控制信號(hào)，以便在相對(duì)長時(shí)曝光期間EL捕捉目標(biāo)物體。在步驟331，定時(shí)控制器120向圖像傳感器130輸出所述第二曝光控制信號(hào)。圖像控制器110在時(shí)段EL從圖像傳感器130接收?qǐng)D像數(shù)據(jù)，并在步驟335將由圖像傳感器130產(chǎn)生的圖像數(shù)據(jù)Is存儲(chǔ)到存儲(chǔ)器150的所述第二幀緩沖區(qū)。在這里，在比上述步驟313所獲取圖像數(shù)據(jù)的曝光時(shí)間較長的曝光期間捕捉在步驟333獲取的圖像數(shù)據(jù)IL，以便其照明度與存儲(chǔ)在所述第一幀緩沖區(qū)的圖像數(shù)據(jù)不同。存儲(chǔ)在第一幀緩沖區(qū)的圖像數(shù)據(jù)Is可以等同于圖1A的圖像數(shù)據(jù)，存儲(chǔ)在第二幀緩沖區(qū)的另外的圖像數(shù)據(jù)IL可以等同于圖1B的圖像數(shù)據(jù)。然后，圖像控制器110獲得對(duì)存儲(chǔ)在第二幀緩沖區(qū)的圖像數(shù)據(jù)IL的存取，以便預(yù)處理圖像并計(jì)算局部方差值。
參見在步驟317到319和337到339執(zhí)行的圖像預(yù)處理操作，第一圖像的像素位置必須與第二圖像的像素位置相等，以便利用兩個(gè)或多個(gè)圖像重構(gòu)合成的圖像。但是，如果用戶使用其數(shù)碼照相機(jī)直接拍照片，即使用戶很老練，用戶的手也會(huì)顫抖，這樣由于顫抖會(huì)建立模糊的圖像。因此，在步驟317，圖像控制器110檢測長曝光圖像Is的運(yùn)動(dòng)向量Vs，并在步驟319利用運(yùn)動(dòng)向量Vs獲取修正的圖像Cs。在步驟337，圖像控制器110檢測長曝光圖像IL的運(yùn)動(dòng)向量VL，并在步驟339利用運(yùn)動(dòng)向量VL獲取修正的圖像CL。
當(dāng)如上述利用兩個(gè)或多個(gè)照片圖像處理圖像時(shí)，會(huì)出現(xiàn)這樣的問題，由于在圖像捕捉期間發(fā)生的用戶手抖動(dòng)，在兩個(gè)或多個(gè)照片圖像中的對(duì)應(yīng)像素的位置會(huì)互不相同。如上所述，在處理兩個(gè)或多個(gè)照片圖像時(shí)，如果各照片圖像的像素位置不相同，本發(fā)明的圖像重構(gòu)效果會(huì)被破壞。為了解決上述問題，可以使用用于修正因用戶手抖動(dòng)而引起的所捕捉圖像的抖動(dòng)的自動(dòng)穩(wěn)定功能。所述圖像自動(dòng)穩(wěn)定功能估算用在運(yùn)動(dòng)圖像壓縮算法中的運(yùn)動(dòng)向量，以便可以修正模糊的圖像。如果圖像嚴(yán)重模糊，本發(fā)明的圖像重構(gòu)操作可能不可用。在這里，本發(fā)明的實(shí)施例可以根據(jù)所接收的運(yùn)動(dòng)向量的估算結(jié)果來確定是否應(yīng)用圖像重構(gòu)方法。
如果目標(biāo)物體不是由固定的照相機(jī)捕捉的，則很難獲得相同的照片圖像。特別地，如果手持照相機(jī)的用戶利用照相機(jī)捕捉了期望的目標(biāo)物體，如圖1A到圖1B所示，會(huì)不同地捕捉照片圖像的像素位置。即使在上述的情況下，使用運(yùn)動(dòng)圖像估算結(jié)果，可以使照片圖像的像素位置相等。
不僅可以使用上述的運(yùn)動(dòng)向量來控制照片圖像的像素位置相互相等，而且用戶還可以使用用來確定照片圖像中央像素位置的方法。在這里，在圖像預(yù)處理過程中，用戶指定的像素被確定為中央像素，以便可以再調(diào)整照片圖像的像素位置。
然后，在步驟321，圖像控制器110計(jì)算與第一幀圖像數(shù)據(jù)相關(guān)聯(lián)的局部方差，并在步驟341計(jì)算與第二幀圖像數(shù)據(jù)相關(guān)聯(lián)的局部方差。
參見在步驟321到341的用于計(jì)算局部方差值的方法，當(dāng)由N個(gè)圖像數(shù)據(jù)計(jì)算方差，要計(jì)算N個(gè)圖像數(shù)據(jù)的均值，并且N個(gè)數(shù)據(jù)與所計(jì)算均值之間的差值平方再平均，這樣就計(jì)算出所期望的方差值。當(dāng)計(jì)算圖9所示的示例性圖像中以圖像I(i，j)為中心的3×3區(qū)域的方差，其中參數(shù)“i”從左到右增長，另外的參數(shù)“j”從上到下增長，利用由N＝9表示的9個(gè)數(shù)據(jù)單元計(jì)算該方差值。公式1表示圖像數(shù)據(jù)的均值，公式2表示圖像數(shù)據(jù)的方差。在將目標(biāo)區(qū)域移動(dòng)到另外區(qū)域的同時(shí)使用公式1和公式2計(jì)算各像素的局部方差值。在這里，即使局部方差計(jì)算區(qū)域從3×3區(qū)域擴(kuò)大到5×5或更大的區(qū)域，通過將公式1到2的參數(shù)“i”和“j”改變到其他的變量，也可以計(jì)算各像素的局部方差值。
在步驟351到363，在將目標(biāo)區(qū)域向各區(qū)域單元中的另外區(qū)域移動(dòng)的同時(shí)，如果利用公式1到2計(jì)算各局部區(qū)域圖像數(shù)據(jù)的均值和方差，圖像控制器110比較兩個(gè)局部圖像的方差值以確定權(quán)重，并重構(gòu)合成圖像。
參見上述的圖像重構(gòu)操作，通過在步驟321和341計(jì)算的方差值重構(gòu)合成的圖像數(shù)據(jù)。上述的圖像重構(gòu)方法對(duì)所述局部區(qū)域的高方差部分施以較高的權(quán)重，以便重構(gòu)圖像。在這里，圖像控制器110必須確定施加權(quán)重的方法。如果由照相機(jī)實(shí)際捕捉的各圖像相互之間具有低照明差，當(dāng)通過對(duì)兩個(gè)具有不同曝光時(shí)間的圖像施以不同權(quán)重重構(gòu)合成圖像時(shí)，本發(fā)明的圖像重構(gòu)方法應(yīng)該不影響所捕捉的圖像。
如果以特定曝光值獲取的第一圖像Is的位于坐標(biāo)(i，j)的像素值被確定為Is(i，j)，并且具有不同于所述特定曝光值的另外曝光值的第二圖像IL的位于坐標(biāo)(i，j)的像素值被確定為IL(i，j)，合成圖像R(i，j)可以由公式3表示。在這里，如果在以合成圖像的坐標(biāo)(i，j)為中心的局部區(qū)域計(jì)算的各方差被確定為σS2(i，j)和σL2(i，j)，用于計(jì)算由公式3表示的合成圖像R(i，j)的權(quán)重WS(i，j)和WL(i，j)可以分別由公式4和5表示。在公式4和5中表示的權(quán)重WS(i，j)和WL(i，j)滿足等式6。
如上所述，在步驟351，圖像控制器110獲得對(duì)所述第一和第二幀圖像數(shù)據(jù)的第一方差值的存取，并在步驟353相互比較所存取的方差值。在這里，所述第一和第二幀圖像的所述局部區(qū)域的圖像包含相同的像素，并且各像素的位置已經(jīng)在前面由預(yù)處理過程修正。在步驟353，圖像控制器110在各局部區(qū)域單元中將第一幀圖像數(shù)據(jù)的相同像素的方差值與第二幀圖像數(shù)據(jù)的相同像素的另外方差值做比較。在這里，如果在短時(shí)曝光期間捕捉的圖像的局部方差值高于在長時(shí)曝光期間捕捉另外圖像的局部方差值，在步驟355，圖像控制器110確定公式4到5的權(quán)重Ws和WL。在這里，確定短曝光局部圖像的權(quán)重Ws高于長曝光局部圖像的權(quán)重WL。在步驟353，如果在長時(shí)曝光期間捕捉的圖像的局部方差值高于在短時(shí)曝光期間捕捉的圖像的局部方差值，在步驟357，圖像控制器110確定公式4到5的權(quán)重Ws和WL。在這里，確定短曝光局部圖像的權(quán)重Ws小于長曝光局部圖像的權(quán)重WL。
如果按如上所述確定了權(quán)重Ws和WL，在步驟359，圖像控制器110利用等式6合成圖像，以便重構(gòu)該圖像。在這里，權(quán)重Ws與WL的和等于“1”，以便不會(huì)將高于圖像數(shù)據(jù)最大值的的值計(jì)算成結(jié)果數(shù)據(jù)。如果相互比較各方差值并根據(jù)比較結(jié)果重構(gòu)圖像，然后，在步驟361，圖像控制器110確定當(dāng)前重構(gòu)的圖像是否等于最后的局部區(qū)域圖像。如果在步驟361確定當(dāng)前重構(gòu)的圖像不等于最后的局部區(qū)域圖像，在步驟363，圖像控制器110獲得對(duì)下一個(gè)局部圖像的方差值的存取，并返回到步驟353，以便在步驟353繼續(xù)將所存取的局部方差值做相互比較。然后，如果在步驟361重構(gòu)最后的局部圖像，圖像控制器110檢測所重構(gòu)的最后局部圖像，并結(jié)束上述的圖像重構(gòu)操作。
圖像控制器110重復(fù)執(zhí)行步驟351到363，并根據(jù)局部圖像方差值的比較結(jié)果確定權(quán)重Ws和WL，以便重構(gòu)局部圖像。因此，如果按如上所述重構(gòu)局部圖像，圖1A到圖1B的兩個(gè)圖像被重構(gòu)成圖10所示的圖像。這樣，如果使用圖8的方法重構(gòu)圖像，可以看出圖像質(zhì)量得到改進(jìn)，如圖10所示。如果使用圖1A所示的第一圖像和圖1B所示的第二圖像執(zhí)行圖像重構(gòu)操作，其中第一圖像由于對(duì)低照明目標(biāo)物體調(diào)整曝光，具有高照明的背景部分是飽和的，其中第二圖像由于對(duì)背景部分調(diào)整曝光，具有相對(duì)低照明的目標(biāo)物體太黑，在所有目標(biāo)物體和背景部分可以建立沒有降低質(zhì)量的最佳圖像，如圖10所示。
當(dāng)使用公式4到5的權(quán)重重構(gòu)圖像，具有高照明差的圖像質(zhì)量會(huì)顯著改進(jìn)。具有低照明差的另外圖像的質(zhì)量則很難受到影響，即使使用公式4和5的權(quán)重來重構(gòu)圖像。如果根據(jù)本發(fā)明重構(gòu)在具有小的曝光時(shí)間差的特定狀態(tài)下獲取的兩個(gè)或多個(gè)圖像，重構(gòu)的結(jié)果很難影響原始的圖像。特別地，如果在曝光時(shí)間發(fā)生小差異，其均值Is(i,j)≅IL(i,j)]]>這樣，合成圖像R(i，j)可以由R(i，j)＝[WS(i，j)+WL(i，j)]×IS(i，j)＝IS(i，j)表示。在這種情況下，重構(gòu)圖像的質(zhì)量等于原始圖像的質(zhì)量。
圖7是示出在執(zhí)行了圖像預(yù)處理操作之后計(jì)算局部方差值的方法的流程圖。但是，如果當(dāng)照相機(jī)捕捉圖像時(shí)，圖像的捕捉可以不受模糊圖像的影響，即如果照相機(jī)固定在一個(gè)位置捕捉圖像，可以不需要執(zhí)行所述的預(yù)處理功能。因此，用戶可以根據(jù)需要選擇預(yù)處理功能。
當(dāng)不使用預(yù)處理功能，如果只以一種圖像的形式重構(gòu)兩個(gè)或多個(gè)圖像，獲取第一圖像，然后獲取第二圖像，計(jì)算它們的局部方差值，以便可以重構(gòu)圖像。特別地，當(dāng)根據(jù)本發(fā)明的實(shí)施例重構(gòu)圖像，只使用局部區(qū)域計(jì)算結(jié)果數(shù)據(jù)，以便在獲取了第一圖像并存儲(chǔ)到存儲(chǔ)器之后獲取第二圖像的同時(shí)可以重構(gòu)局部圖像。以這種方式，本發(fā)明的實(shí)施例根據(jù)處理器的性能或算法優(yōu)化可以執(zhí)行實(shí)時(shí)的處理。
圖8是示出用于當(dāng)存儲(chǔ)了第一幀圖像并獲取第二幀圖像時(shí)計(jì)算各幀圖像的局部方差值以重構(gòu)圖像的過程的流程圖。在這里，由圖像傳感器130傳送的圖像數(shù)據(jù)可以按行單元傳送到圖像傳感器(110。由圖像傳感器130傳送的圖像數(shù)據(jù)存儲(chǔ)在存儲(chǔ)器150，并且在同時(shí)可以計(jì)算局部區(qū)域圖像的方差值。
參見圖8，在步驟411，圖像控制器110產(chǎn)生具有短曝光時(shí)間的第一曝光控制信號(hào)，在步驟413，在產(chǎn)生所述第一曝光控制信號(hào)的同時(shí)捕捉圖像數(shù)據(jù)，并按行單元輸出所捕捉的數(shù)據(jù)。圖像控制器110在第一幀緩沖區(qū)按行單元存儲(chǔ)從圖像傳感器獲取的第一幀圖像數(shù)據(jù)。在步驟415，圖像控制器110計(jì)算存儲(chǔ)在第一幀緩沖區(qū)的圖像數(shù)據(jù)的局部區(qū)域的的局部方差值，并存儲(chǔ)所計(jì)算的局部方差值。然后，在步驟417，圖像控制器110產(chǎn)生具有短曝光時(shí)間的的第二曝光控制信號(hào)，在步驟419，在產(chǎn)生第二曝光控制信號(hào)的同時(shí)從圖像傳感器130獲取第二幀圖像數(shù)據(jù)，并將從圖像傳感器130獲取的第二幀圖像數(shù)據(jù)按行單元存儲(chǔ)在第二幀緩沖區(qū)。在步驟421，圖像控制器110計(jì)算存儲(chǔ)在第一幀緩沖區(qū)的第二幀圖像數(shù)據(jù)的局部方差值。
這樣，如果圖像控制器110開始計(jì)算第二幀圖像數(shù)據(jù)的局部方差值，在步驟425，圖像控制器110獲得對(duì)第一幀圖像數(shù)據(jù)的第一局部方差值和第二幀圖像數(shù)據(jù)的第二局部方差值的存取，并在步驟427對(duì)第一局部方差值和第二局部方差值進(jìn)行比較。在這里，圖像控制器110繼續(xù)執(zhí)行向第一幀緩沖區(qū)存儲(chǔ)從圖像傳感器130獲取的第二幀圖像數(shù)據(jù)的操作和計(jì)算第二幀圖像數(shù)據(jù)的局部方差值的操作。在這里。圖8中的步驟425到437與圖7中的步驟351到363相同。
從照相機(jī)獲取圖像以執(zhí)行圖像重構(gòu)的方法示例性地示出在圖7到圖8的圖像重構(gòu)過程中。根據(jù)本發(fā)明的圖像重構(gòu)過程可以重構(gòu)從外部部件按一種圖像形式接收的兩個(gè)或多個(gè)圖像。特別地，從外部部件(如磁盤或通信組件)接收具有不同曝光時(shí)間的兩個(gè)或多個(gè)圖像(見圖1A和圖1B)，在所接收的圖像上執(zhí)行圖8的過程，以便可以只按照一種圖像形式重構(gòu)所接收的圖像。
根據(jù)本發(fā)明的實(shí)施例，短曝光信號(hào)Es和長曝光信號(hào)EL相繼產(chǎn)生，并且在移動(dòng)具有不同曝光的圖像的同時(shí)可以相繼地重構(gòu)圖像。圖11時(shí)示出根據(jù)本發(fā)明實(shí)施例的圖像傳感器110使用圖5的數(shù)碼照相機(jī)獲取具有不同照明度的各定時(shí)的時(shí)序圖。參見圖11，參考標(biāo)號(hào)511指示從定時(shí)控制器120產(chǎn)生的第一和第二曝光控制信號(hào)，參考標(biāo)號(hào)513指示圖像傳感器130輸出幀圖像信號(hào)的定時(shí)，并且參考標(biāo)號(hào)515指示第二曝光時(shí)間。參考標(biāo)號(hào)517和519指示根據(jù)本發(fā)明實(shí)施例的用于改進(jìn)兩個(gè)圖像質(zhì)量的的方法。特別地，參考標(biāo)號(hào)517指示用于只按一種幀圖像信號(hào)的形式處理兩個(gè)幀圖像信號(hào)的方法，并且參考標(biāo)號(hào)519指示用于順序處理兩個(gè)相繼的幀圖像信號(hào)以建立相繼幀圖像信號(hào)的方法。
如果按圖11所示，具有不同曝光時(shí)間的曝光控制信號(hào)相繼產(chǎn)生，圖5的數(shù)碼照相機(jī)設(shè)備可以重構(gòu)運(yùn)動(dòng)圖像信號(hào)的圖像。特別地，可攜攝像機(jī)或帶有可攜攝像機(jī)組件的設(shè)備每秒可以捕捉多幀圖像數(shù)據(jù)。這樣，當(dāng)捕捉幀圖像信號(hào)，定時(shí)控制器120產(chǎn)生曝光控制信號(hào)，用于依次重復(fù)圖11的參考標(biāo)號(hào)513所表示的第一時(shí)曝光(如短曝光)和第二時(shí)曝光(長曝光)。但是，圖像傳感器130產(chǎn)生在例如與圖11的參考標(biāo)號(hào)513的相同時(shí)段的圖11的參考標(biāo)號(hào)515的曝光時(shí)間期間捕捉的幀圖像信號(hào)。圖像控制器110使用上述的方法計(jì)算兩個(gè)幀圖像信號(hào)的局部方差值，分析所計(jì)算的各方差值，并對(duì)兩個(gè)方差值中較大者施加預(yù)定的權(quán)重，以便將兩個(gè)幀圖像數(shù)據(jù)重構(gòu)成一個(gè)圖像幀數(shù)據(jù)。在使用圖11的參考標(biāo)號(hào)517的方法重構(gòu)圖像的情況下，可以產(chǎn)生等于由照相機(jī)實(shí)際捕捉的圖像的1/2的幀圖像數(shù)據(jù)單元。除了基于參考標(biāo)號(hào)517所表示方法的圖像重構(gòu)方法，還使用只按一種幀圖像重構(gòu)兩個(gè)相繼幀圖像數(shù)據(jù)的方法。特別地，如圖11的參考標(biāo)號(hào)519所示，使用相繼產(chǎn)生的第一和第二幀圖像數(shù)據(jù)重構(gòu)一個(gè)幀圖像數(shù)據(jù)，以及使用所述第二幀圖像數(shù)據(jù)和后繼的第一幀圖像數(shù)據(jù)重構(gòu)一個(gè)幀圖像數(shù)據(jù)的方法。
為了平滑地重現(xiàn)運(yùn)動(dòng)圖像信號(hào)，需要每秒30幀圖像數(shù)據(jù)。這樣，按特定模式使用的可攜攝像機(jī)必須兩次捕捉場景。為了對(duì)運(yùn)動(dòng)圖像捕捉過程施用上述的方法，需要每秒60幀的捕捉速度。
假定運(yùn)動(dòng)圖像每秒包含30幀(即30幀/s)。如果基于上述模式的可攜帶攝像機(jī)由圖11的參考標(biāo)號(hào)519的方法處理，另外的能夠捕捉每秒30幀的可攜攝像機(jī)可以重構(gòu)包含30幀的圖像。
當(dāng)捕捉運(yùn)動(dòng)圖像時(shí)，用戶的手可能抖動(dòng)，這樣就引起在短時(shí)曝光期間捕捉的第一圖像和在相對(duì)長時(shí)曝光期間捕捉的第二圖像之間的不可預(yù)料的移動(dòng)。結(jié)果是，在第一和第二圖像之間發(fā)生極端的圖像差異。這樣，在開始本發(fā)明的圖像重構(gòu)過程之前，預(yù)處理步驟跟蹤圖像的移動(dòng)。這樣，如果發(fā)生極端的圖像差異，本發(fā)明直接使用原始圖像，而不對(duì)圖像重構(gòu)過程施用本發(fā)明的算法。另一方面，如果發(fā)生微小的圖像差異，本發(fā)明實(shí)施例對(duì)圖像重構(gòu)過程采用本發(fā)明的算法，以便可以獲得合成圖像。
根據(jù)本發(fā)明實(shí)施例的圖像重構(gòu)算法可以應(yīng)用在裝配有照相機(jī)的移動(dòng)電話。
圖12是示出根據(jù)本發(fā)明優(yōu)選實(shí)施例的基于所述圖像重構(gòu)方法的移動(dòng)電話(也稱手持電話)的框圖。
參見圖12，通信組件510包括執(zhí)行射頻(RF)通信功能的升頻轉(zhuǎn)換器和降頻轉(zhuǎn)換器。數(shù)據(jù)處理器520包括可以執(zhí)行CDMA通信的MODEM(調(diào)制和解調(diào)器)和CODEC(編碼和解碼器)。數(shù)據(jù)處理器520調(diào)制/解調(diào)和傳送/接收信號(hào)，并且編碼/解碼所調(diào)制/解調(diào)的信號(hào)?？刂破?00根據(jù)本發(fā)明的實(shí)施例控制所述移動(dòng)電話的整個(gè)圖像重構(gòu)操作。在這里，數(shù)據(jù)處理器520和控制器500可以集成為一體。輸入單元530可以產(chǎn)生各種命令和鍵信號(hào)，以根據(jù)本發(fā)明的實(shí)施例執(zhí)行圖像重構(gòu)操作。存儲(chǔ)器540存儲(chǔ)用于執(zhí)行移動(dòng)電話的各種操作的數(shù)據(jù)和移動(dòng)電話操作時(shí)產(chǎn)生的數(shù)據(jù)。存儲(chǔ)器540可以存儲(chǔ)根據(jù)本發(fā)明實(shí)施例的用于圖像重構(gòu)的照片圖像和經(jīng)重構(gòu)的照片圖像。顯示器550根據(jù)從控制器500接收的控制信號(hào)顯示移動(dòng)電話操作期間產(chǎn)生的各種數(shù)據(jù)。在根據(jù)本發(fā)明的實(shí)施例執(zhí)行圖像重構(gòu)的情況下，顯示器550顯示用于圖像重構(gòu)的照片圖像和經(jīng)重構(gòu)的照片圖像。圖12的圖像傳感器130執(zhí)行與圖6的圖像傳感器130同樣的操作。用在裝配有照相機(jī)的移動(dòng)電話中的圖像傳感器產(chǎn)生與光接收部件上光照明質(zhì)量成比例的電信號(hào)，并模擬到數(shù)字(AD)轉(zhuǎn)換該電信號(hào)，以便該電信號(hào)轉(zhuǎn)換到可由圖像處理器100處理數(shù)字?jǐn)?shù)據(jù)。所述圖像傳感器其中包括可讀/可記錄的寄存器，并由存儲(chǔ)在該寄存器中的信息控制。商用圖像傳感器各包含用于控制曝光的寄存器，以便圖像處理器100可以控制圖像傳感器130的不同曝光，因而獲取具有不同曝光的圖像。而且，近來有建議的各種可以容易地由開發(fā)者編程的工業(yè)產(chǎn)品，以及容易控制照相機(jī)和LCD的處理器等。圖像處理器100包括不同于圖像傳感器130和顯示器550的其余部件。
參見圖12，在所述移動(dòng)電話操作時(shí)，圖像傳感器130和圖像處理器100不操作。當(dāng)從控制器500接收了控制信號(hào)，顯示器550顯示所述移動(dòng)電話操作時(shí)期間產(chǎn)生的數(shù)據(jù)。
當(dāng)移動(dòng)電話處在待機(jī)模式，如果輸入單元530輸出圖像重構(gòu)命令，控制器500控制圖像處理器，以便其執(zhí)行圖像重構(gòu)操作。在這里，圖像重構(gòu)模式可以分成第一到第三模式。所述第一模式按靜態(tài)圖像的形式捕捉目標(biāo)物體的照片圖像，并執(zhí)行圖像重構(gòu)。所述第二模式按運(yùn)動(dòng)圖像的形式捕捉目標(biāo)物體的照片圖像，并利用圖11的時(shí)序圖執(zhí)行圖像重構(gòu)。所述第三模式從存儲(chǔ)器540選擇兩個(gè)或多個(gè)以不同曝光捕捉的照片圖像，并執(zhí)行圖像重構(gòu)。在這里，當(dāng)從用戶接收了圖像重構(gòu)請(qǐng)求，控制器500可以按菜單形式在顯示器550上顯示上述的第一到第三圖像重構(gòu)方法。這樣，上述的圖像重構(gòu)方法可以按菜單形式顯示，并且移動(dòng)電話的用戶可以從該菜單選擇相應(yīng)的圖像重構(gòu)方法。
假定圖像處理器100只執(zhí)行圖像處理功能，并且不包括用于控制程序的處理器，所述圖像重構(gòu)過程可以由控制器530執(zhí)行。特別地，在終端設(shè)備具有控制器500的情況下，圖像處理器100既包括用于在顯示器550上顯示由圖像傳感器130產(chǎn)生的圖像數(shù)據(jù)的圖像處理功能，又包括用于控制圖像傳感器130曝光的曝光控制功能。計(jì)算用于圖像重構(gòu)的局部方差值的過程和用于圖像重構(gòu)的其他過程可以由控制器500來處理。為了便于說明，假定圖像控制器100執(zhí)行圖像重構(gòu)過程。
如果選擇第一圖像重構(gòu)方法，控制器500將所選擇的方法通知所述圖像處理器，并激活圖像處理器100和顯示器550之間的數(shù)據(jù)路徑。圖像處理器100可以在顯示器550上顯示由圖8的過程處理的圖像數(shù)據(jù)。在這里，圖8的過程可以由圖像處理器100來處理。圖像處理器100對(duì)圖像數(shù)據(jù)處理負(fù)全責(zé)，并且圖8的控制過程可以由控制器500來處理。在這里，圖像處理器500控制圖像傳感器130，以便圖像傳感器130可以捕捉具有不同曝光的兩個(gè)和多個(gè)照片圖像。由圖像傳感器130捕捉的照片圖像可以在顯示器550上顯示。然后，依次計(jì)算各局部方差值，并相互比較所計(jì)算的局部方差值。具有高局部方差值的局部圖像被賦給高權(quán)重，另外的具有低局部方差值的局部圖像被賦給低權(quán)重，并且上述的局部圖像相互合成，以便可以重構(gòu)圖像。
在這里，在沒有預(yù)處理所捕捉照片圖像而重構(gòu)圖像的情況下，兩個(gè)照片圖像的局部方差值在獲取第二照片圖像的特定時(shí)間相互比較，以便可以實(shí)時(shí)地重構(gòu)圖像。
如果選擇第二圖像重構(gòu)方法，控制器將所選擇的方法通知給圖像處理器100，并激活圖像處理器100和顯示器550之間的數(shù)據(jù)路徑。圖11所示的曝光控制信號(hào)傳送給圖像傳感器130。圖像處理器100處理幀單元上由圖像傳感器130以不同曝光捕捉的圖像數(shù)據(jù)，并將處理結(jié)果輸出到顯示器550。顯示器550顯示以預(yù)覽的形式顯示所接收的圖像。在這里，圖像處理器100可以通過采用兩幀的時(shí)間作為周期來重構(gòu)一個(gè)圖像，并可相繼地重構(gòu)兩幀圖像數(shù)據(jù)。通過采用兩幀時(shí)間作為一個(gè)周期來重構(gòu)一個(gè)圖像的方法捕捉具有不同曝光的第一和第二幀圖像，并重構(gòu)第一和第二幀圖像。如果圖像處理器100根據(jù)圖11的時(shí)序圖控制圖像傳感器130的曝光，奇數(shù)編號(hào)的圖像和偶數(shù)編號(hào)的圖像(如第一和第二圖像，第三和第四圖像，第五和第六圖像，等等)可以重構(gòu)為一個(gè)圖像。用于相繼地重構(gòu)兩幀圖像數(shù)據(jù)的方法捕捉相繼的具有不同曝光的幀圖像，并對(duì)當(dāng)前輸入的幀圖像和前面的幀圖像進(jìn)行重構(gòu)。這樣，如果圖像處理器100根據(jù)圖11的時(shí)序圖控制圖像傳感器130的曝光，所述前面的幀圖像和所述當(dāng)前的幀圖像(如，第一和第二圖像，第三和第四圖像，第五和第六圖像，等等)可以重構(gòu)為一個(gè)圖像。
如果選擇了第三圖像重構(gòu)方法，控制器500在顯示器550上顯示菜單，請(qǐng)求用于圖像重構(gòu)的照片圖像選擇。在這里，如果用戶用于圖像重構(gòu)的的照片圖像，控制器500識(shí)別所選擇的照片圖像，并控制圖像處理器100執(zhí)行圖像重構(gòu)過程。在這里，所選擇的照片圖像表示具有不同曝光的照片圖像。圖像處理器100依次計(jì)算所選擇照片圖像的局部方差值，并相互比較所計(jì)算的局部方差值。這樣，將較高的權(quán)重施加到具有較高局部方差的第一局部圖像，將較低的權(quán)重施加到具有較低方差的第二局部圖像，并且第一局部圖像與第二局部圖像合成，產(chǎn)生圖像重構(gòu)。
上述的圖像重構(gòu)過程可以由控制器500來處理。在這里，圖像處理器100根據(jù)所選擇的圖像重構(gòu)方法控制圖像傳感器130，并執(zhí)行具有不同曝光的照片圖像的獲取操作和用于在顯示器550上顯示所獲取的圖像數(shù)據(jù)的圖像數(shù)據(jù)處理操作?？刂破?00依次計(jì)算所獲取照片圖像的局部方差值，相互比較所計(jì)算的局部方差值，將較高的權(quán)重賦給具有高局部方差值的局部圖像，將較低的權(quán)重賦給具有低方差值的局部圖像，并使用較高和較低的權(quán)重合成各局部圖像，產(chǎn)生圖像重構(gòu)。
本發(fā)明使用以不同曝光捕捉的兩個(gè)或多個(gè)靜態(tài)圖像或者以不同曝光相繼捕捉的運(yùn)動(dòng)圖像實(shí)時(shí)地重構(gòu)圖像，并獲得對(duì)所存儲(chǔ)的具有不同曝光的兩個(gè)或多個(gè)照片圖像的存取，以便其可以重構(gòu)所期望的圖像。盡管上述的圖像重構(gòu)方法適用于移動(dòng)電話，應(yīng)該注意它們也可用在各種終端設(shè)備上，例如，數(shù)碼照相機(jī)，以及計(jì)算機(jī)，等等。
從上述的說明中可用看出，本發(fā)明的各實(shí)施例在圖像捕捉模式期間捕捉至少兩個(gè)具有不同照明度的照片圖像，以便它們獲得高質(zhì)量的圖像，其中目標(biāo)物體圖像和背景圖像各具有高清晰度。本發(fā)明各實(shí)施例計(jì)算所獲取的各圖像的方差值，比較所計(jì)算的方差值，將高權(quán)重賦給具有高局部方差值的局部圖像，將低權(quán)重賦給具有低局部方差值的局部圖像，并相互合成兩個(gè)局部圖像，以便它們可以重構(gòu)圖像。因此，在所重構(gòu)的圖像中目標(biāo)物體圖象和背景圖像的各質(zhì)量得到改進(jìn)，因而重新產(chǎn)生清晰的圖像。
盡管為了說明的目的公開了本發(fā)明的特定實(shí)施例，本領(lǐng)域的普通技術(shù)人員應(yīng)該理解，在不脫離本發(fā)明的權(quán)利要求書所定義的范圍和精神的前提下，可以做各種修改、添加和替換。
權(quán)利要求
1.一種裝配有照相機(jī)的裝置，包括圖像傳感器，用于獲取具有不同照明度的實(shí)際相同的各圖像；多個(gè)存儲(chǔ)器，用于存儲(chǔ)由所述圖像傳感器產(chǎn)生的圖像；圖像控制器，用于將存儲(chǔ)在所述各存儲(chǔ)器中的每個(gè)圖像劃分成多個(gè)各具有預(yù)定尺寸的局部圖像，計(jì)算所述局部圖像的方差值，相互比較所計(jì)算的局部方差值，將高權(quán)重賦給具有高方差值的局部圖像，將低權(quán)重賦給具有低方差值的局部圖像，合成所述各局部圖像，并建立重構(gòu)的圖像；以及顯示器，用于顯示所述重構(gòu)的圖像。
2.如權(quán)利要求1所述的裝置，還包括定時(shí)控制器，用于產(chǎn)生曝光控制信號(hào)，以控制所述圖像傳感器的曝光時(shí)間，其中，當(dāng)從所述圖像控制器接收控制信號(hào)，所述定時(shí)控制器至少產(chǎn)生兩個(gè)定時(shí)控制信號(hào)，用于向所述圖像傳感器提供不同的曝光時(shí)間。
3.如權(quán)利要求2所述的裝置，其中所述圖像控制器包括局部區(qū)域分配器，用于確定所述圖像數(shù)據(jù)的各局部區(qū)域；均值計(jì)算器，用于計(jì)算所確定各局部區(qū)域的圖像數(shù)據(jù)的均值；方差值計(jì)算器，用于利用所述圖像數(shù)據(jù)的所述均值計(jì)算所述各局部區(qū)域的方差值；比較器，用于比較所計(jì)算的局部方差值；權(quán)重計(jì)算器，用于根據(jù)所比較的結(jié)果將高權(quán)重賦給具有高方差值的局部圖像，并將低權(quán)重賦給具有低方差值的局部圖像；以及圖像重構(gòu)單元，用于利用所確定的權(quán)重合成所述各局部圖像，并執(zhí)行圖像重構(gòu)。
4.如權(quán)利要求3所述的裝置，其中所述圖像控制器還包括預(yù)處理器，用于跟蹤所捕捉圖像的運(yùn)動(dòng)向量，并控制所述各圖像的像素位置相互等同。
5.如權(quán)利要求3所述的裝置，其中所述均值計(jì)算器使用下面的公式計(jì)算圖像數(shù)據(jù)的均值M(i,j)=Σr=-11Σs=-11I(i+r,j+s)9]]>所述方差值計(jì)算器使用下面的公式計(jì)算所述局部圖像數(shù)據(jù)的方差值Var(I(i,j))=Σr=-11Σs=-11[I(i+r,j+s)-M(i,j)]29]]>其中“i”是X軸坐標(biāo)，“j”是Y軸坐標(biāo)，“r”是在3×3區(qū)域中的X軸坐標(biāo)的偏移，“s”是在3×3區(qū)域中的Y軸坐標(biāo)的偏移，I(i，j)是在坐標(biāo)(i，j)的圖像的像素值，M(i，j)是在以坐標(biāo)(i，j)為中心的3×3區(qū)域中的像素值的均值，以及Var(I(i，j))是在以坐標(biāo)(i，j)為中心的3×3區(qū)域中的像素值的方差，所述權(quán)重計(jì)算器使用下面的公式計(jì)算權(quán)重WS(i,j)=σS2(i,j)+1[σS2(i,j)+1]+[σL2(i,j)+1]]]>WL(i,j)=σL2(i,j)+1[σS2(i,j)+1]+[σL2(i,j)+1],]]>以及所述圖像重構(gòu)單元使用下面的公式執(zhí)行圖像重構(gòu)R(i，j)＝WS(i，j)×IS(i，j)+WL(i，j)×IL(i，j)
6.如權(quán)利要求3所述的裝置，其中所述各權(quán)重滿足下面的等式WS(i，j)+WL(i，j)＝1
7.一種用在移動(dòng)電話或手持電話中的圖像處理裝置，包括通信組件，用于執(zhí)行無線通信功能；數(shù)據(jù)處理器，用于執(zhí)行由所述通信組件傳送的/接收的信號(hào)的調(diào)制/解調(diào)和編碼/解碼功能；控制器，用于處理在通信模式中由所述數(shù)據(jù)處理器傳送的/接收的所述信號(hào)，并在圖像處理模式中產(chǎn)生圖像處理控制信號(hào)；定時(shí)控制器，用于在所述圖像處理模式中產(chǎn)生至少兩個(gè)具有不同曝光時(shí)間的曝光控制信號(hào)；圖像傳感器，用于利用所述曝光控制信號(hào)獲取具有不同照明度的實(shí)際相同的各圖像；圖像處理器，用于將每個(gè)從所述圖像傳感器獲取的圖像劃分成多個(gè)各具有預(yù)定尺寸的局部圖像，計(jì)算所述各局部圖像的方差值，相互比較所計(jì)算的局部方差值，將高權(quán)重賦給具有高方差值的局部圖像，將低權(quán)重賦給具有低方差值的局部圖像，合成所述各局部圖像，并建立重構(gòu)的圖像；多個(gè)存儲(chǔ)器，用于存儲(chǔ)由所述圖像傳感器產(chǎn)生的所述各圖像，并存儲(chǔ)由所述圖像處理器重構(gòu)的圖像；以及顯示器，用于顯示所述獲取的圖像和所述重構(gòu)的圖像。
8.如權(quán)利要求7所述的裝置，其中所述圖像處理器包括局部區(qū)域分配器，用于確定所述圖像數(shù)據(jù)的各局部區(qū)域；均值計(jì)算器，用于計(jì)算所確定各局部區(qū)域的圖像數(shù)據(jù)的均值；方差值計(jì)算器，用于利用所述圖像數(shù)據(jù)的所述均值計(jì)算所述各局部區(qū)域的方差值；比較器，用于比較所計(jì)算的各局部方差值；權(quán)重計(jì)算器，用于根據(jù)所比較的結(jié)果將高權(quán)重賦給具有高方差值的局部圖像，并將低權(quán)重賦給具有低方差值的局部圖像；以及圖像重構(gòu)單元，用于利用所確定的權(quán)重合成所述各局部圖像，并執(zhí)行圖像重構(gòu)。
9.一種用在包含數(shù)碼照相機(jī)的裝置中的圖像重構(gòu)方法，包括步驟獲取/顯示具有不同照明度的實(shí)際相同的各圖像；將所獲取的每個(gè)圖像劃分成多個(gè)各具有預(yù)定尺寸的局部圖像，并計(jì)算所述各局部圖像的圖像數(shù)據(jù)的局部方差值；相互比較所計(jì)算的各局部方差值，將高權(quán)重賦給具有高局部方差值的局部圖像，將低權(quán)重賦給具有低局部方差值的局部圖像；對(duì)所述各局部區(qū)域的圖像數(shù)據(jù)施加所確定的權(quán)重，執(zhí)行圖像重構(gòu)，并顯示所重構(gòu)的圖像。
10.如權(quán)利要求9所述的方法，其中計(jì)算所述局部方差值的所述步驟還包括步驟確定所述圖像數(shù)據(jù)對(duì)局部區(qū)域；計(jì)算所確定各局部區(qū)域的圖像數(shù)據(jù)的均值；以及利用所述圖像數(shù)據(jù)的所述均值計(jì)算所述各局部區(qū)域的方差值。
11.如權(quán)利要求10所述的方法，其中所述確定和賦給權(quán)重的步驟還包括步驟比較所計(jì)算的各局部方差值，以及根據(jù)所述比較的結(jié)果，將高權(quán)重賦給具有高局部方差值的局部圖像，將低權(quán)重賦給具有低局部方差值的局部圖像。
12.如權(quán)利要求11所述的方法，還包括步驟獲取不同的各圖像，跟蹤所獲取各圖像的運(yùn)動(dòng)向量，并控制所述各圖像的像素位置相互等同。
13.如權(quán)利要求10所述的方法，其中所述均值使用下面的公式計(jì)算M(i,j)=Σr=-11Σs=-11I(i+r,j+s)9]]>所述方差值使用下面的公式計(jì)算Var(I(i,j))=Σr=-11Σs=-11[I(i+r,j+s)-M(i,j)]29]]>其中“i”是X軸坐標(biāo)，“j”是Y軸坐標(biāo)，“r”是在3×3區(qū)域中的X軸坐標(biāo)的偏移，“s”是在3×3區(qū)域中的Y軸坐標(biāo)的偏移，I(i，j)是在坐標(biāo)(i，j)的圖像的像素值，M(i，j)是在以坐標(biāo)(i，j)為中心的3×3區(qū)域中的像素值的均值，以及Var(I(i，j))是在以坐標(biāo)(i，j)為中心的3×3區(qū)域中的像素值的方差，所述權(quán)重使用下面的公式計(jì)算WS(i,j)=σS2(i,j)+1[σS2(i,j)+1]+[σL2(i,j)+1]]]>WL(i,j)=σL2(i,j)+1[σS2(i,j)+1]+[σL2(i,j)+1],]]>以及所述圖像重構(gòu)使用下面的公式執(zhí)行R(i，j)＝WS(i，j)×IS(i，j)+WL(i，j)×IL(i，j)
14.一種用在包含數(shù)碼照相機(jī)的裝置中的圖像重構(gòu)方法，包括步驟在圖像重構(gòu)模式中在短時(shí)曝光期間驅(qū)動(dòng)圖像傳感器，在所述圖像重構(gòu)模式中在相對(duì)長時(shí)曝光期間驅(qū)動(dòng)所述圖像傳感器，并獲取具有不同照明度的第一和第二幀圖像；將實(shí)際相同的所述第一和第二幀圖像的圖像數(shù)據(jù)賦給各具有預(yù)定尺寸的各局部圖像；計(jì)算每個(gè)局部區(qū)域的圖像數(shù)據(jù)的局部方差值；將所述第一幀圖像的局部方差值與所述第二幀圖像的局部方差值做比較，將高權(quán)重賦給具有高局部方差值的一個(gè)局部圖像，并將低權(quán)重賦給具有低局部方差值的另外局部圖像；以及對(duì)所述第一和第二幀圖像的各局部區(qū)域的圖像數(shù)據(jù)施加所確定的權(quán)重，執(zhí)行圖像重構(gòu)，并顯示所重構(gòu)的圖像。
15.一種用在包含有數(shù)碼照相機(jī)的裝置中的運(yùn)動(dòng)圖像顯示方法，包括步驟在圖像重構(gòu)模式下在第一時(shí)曝光期間驅(qū)動(dòng)圖像傳感器，以獲取第一圖像，計(jì)算所述第一圖像的第一局部方差值，并存儲(chǔ)所述第一局部方差值；在圖像重構(gòu)模式下在第二時(shí)曝光期間驅(qū)動(dòng)所述圖像傳感器，以獲取第二圖像，計(jì)算所述第二圖像的第二局部方差值，并存儲(chǔ)所述第二局部方差值；將所述第二圖像的所述第二局部方差值與所述第一圖像的所述第一局部方差值做比較，將高權(quán)重賦給具有高局部方差值的一個(gè)局部圖像，并將低權(quán)重賦給具有低局部方差值的另外局部圖像；以及對(duì)所述第一和第二圖像的相應(yīng)局部區(qū)域的圖像數(shù)據(jù)施加所確定的權(quán)重，執(zhí)行一個(gè)圖像重構(gòu)，并顯示所重構(gòu)的圖像。
16.一種用在包含數(shù)碼照相機(jī)的裝置中的圖像重構(gòu)方法，包括步驟在圖像重構(gòu)模式下，控制選擇具有不同照明度的第一和第二圖像；如果選擇了所述第一和第二圖像，將所述第一和第二圖像實(shí)際相同的的圖像數(shù)據(jù)賦給各具有預(yù)定尺寸的各局部區(qū)域，并計(jì)算所述各局部區(qū)域的圖像數(shù)據(jù)的局部方差值；相互比較所述第一和第二圖像的所述局部方差值，將高權(quán)重賦給具有高局部方差值的一個(gè)局部圖像，并將低權(quán)重賦給具有低局部方差值的另外局部圖像；以及對(duì)所述第一和第二圖像的各局部區(qū)域的圖像數(shù)據(jù)施加所確定的權(quán)重，執(zhí)行圖像重構(gòu)，并顯示所重構(gòu)的圖像。
全文摘要
這里提供了一種裝置和用在包含數(shù)碼照相機(jī)的裝置中的圖像重構(gòu)方法。所述裝置和方法包括在圖像重構(gòu)模式下在短時(shí)曝光期間驅(qū)動(dòng)圖像傳感器，在圖像重構(gòu)模式下在相對(duì)長時(shí)曝光期間驅(qū)動(dòng)圖像傳感器，并獲取具有不同照明度的第一和第二幀圖像；將第一和第二幀圖像的實(shí)際相同的圖像數(shù)據(jù)賦給各具有預(yù)定尺寸的各局部區(qū)域；計(jì)算每個(gè)所述局部區(qū)域的圖像數(shù)據(jù)的局部方差值；將所述第一幀圖像的局部方差值與所述第二幀圖像的局部方差值做比較，將高權(quán)重賦給具有高局部方差值的一個(gè)局部圖像，并將低權(quán)重賦給具有低局部方差值的另外局部圖像；對(duì)所述第一和第二幀圖像的各局部區(qū)域的圖像數(shù)據(jù)施加所確定的權(quán)重，執(zhí)行圖像重構(gòu)，并顯示所重構(gòu)的圖像。
文檔編號(hào)H04N5/765GK1592361SQ20041007481
公開日2005年3月9日 申請(qǐng)日期2004年8月30日 優(yōu)先權(quán)日2003年8月29日
發(fā)明者林采煥, 樸永植 申請(qǐng)人:三星電子株式會(huì)社