專利名稱：使用對象跟蹤的用于數(shù)字圖像穩(wěn)定的設(shè)備和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及數(shù)字圖像處理，并更具體地，涉及能夠在獲得數(shù)字圖像時(shí)校 正由于手抖動(dòng)引起的圖像模糊現(xiàn)象的用于數(shù)字圖像穩(wěn)定的設(shè)備和方法。
背景技術(shù)：
近來，利用諸如CCD (電荷耦合器件)或CMOS (互補(bǔ)金屬氧化物半導(dǎo) 體)之類的圖像傳感器技術(shù)的數(shù)字相機(jī)正被廣泛使用。數(shù)字相機(jī)被商業(yè)化用 作^義相機(jī)產(chǎn)品(camera-only-product),并且典型地被安裝在諸如移動(dòng)電話或 PDA之類的手持式終端中。
然而，手持式終端的中央處理單元并不具有個(gè)人計(jì)算機(jī)的高時(shí)鐘速度和 存儲(chǔ)容量。而且，手持式終端的發(fā)展趨勢傾向于終端的厚度和尺寸的降低， 使得終端在安裝諸如相機(jī)之類的附加裝置時(shí)具有空間限制。而且，在向手持 式終端中的僅相機(jī)產(chǎn)品應(yīng)用各種圖像處理技術(shù)(例如，用于防止由于拍攝者 的手抖動(dòng)引起的數(shù)字圖像惡化的數(shù)字圖像穩(wěn)定技術(shù))時(shí)存在限制。
典型的數(shù)字相機(jī)支持自動(dòng)曝光模式。在自動(dòng)曝光模式中，EV(曝光值) 根據(jù)進(jìn)行拍攝的位置的亮度而自動(dòng)地改變。也就是，在暗地方，EV增加，而 在亮地方，EV減小。
然而，EV的增加導(dǎo)致曝光時(shí)間的增加。這可能會(huì)導(dǎo)致圖像;漠糊現(xiàn)象， 因?yàn)樵谡掌蟹从秤捎谑侄秳?dòng)引起的焦點(diǎn)的小量調(diào)節(jié)(tweak)。傳統(tǒng)上，為 了防止圖像模糊現(xiàn)象，引入了各種圖像穩(wěn)定技術(shù)，例如DIS(數(shù)字圖像穩(wěn)定)、 EIS (電圖像穩(wěn)定)或OIS (光學(xué)圖像穩(wěn)定)。
DIS技術(shù)使用存儲(chǔ)器中存儲(chǔ)的圖像信號來檢測/補(bǔ)償手抖動(dòng)效果。DIS技術(shù)使用在圖像拾取裝置中生成的并被存儲(chǔ)在存儲(chǔ)器中的圖像信號來檢測運(yùn)動(dòng) 矢量，并且使用檢測到的運(yùn)動(dòng)矢量來改變存儲(chǔ)器的讀取定時(shí)，以補(bǔ)償手抖動(dòng)。 DIS技術(shù)具有簡單圖像穩(wěn)定的優(yōu)點(diǎn)。然而，因?yàn)楦淖兞舜鎯?chǔ)器的讀取定
時(shí)，所以可從存儲(chǔ)器讀取的圖像的尺寸等于有效像素區(qū)域的尺寸。因此，DIS 技術(shù)通過數(shù)字縮放來放大從存儲(chǔ)器讀取的圖像并播放/記錄放大后的圖像，這 導(dǎo)致圖像質(zhì)量的惡化。
EIS技術(shù)使用角速度傳感器和高像素圖像拾取裝置來檢測/補(bǔ)償手抖動(dòng)效 果。EIS技術(shù)使用水平/垂直角速度傳感器來檢測手顫動(dòng)的量和方向，并且使 用檢測到的手顫動(dòng)的量和方向來改變高像素圖像拾取裝置的輸出定時(shí)，以便 補(bǔ)償手抖動(dòng)。
由于高像素圖像拾取裝置的輸出定時(shí)改變，所以由從高像素圖像拾取裝 置輸出的圖像信號組成的圖像的尺寸等于原始圖像的尺寸。這是由于在EIS 技術(shù)中使用的高像素圖像拾取裝置具有比有效像素的數(shù)目更多數(shù)目的像素而 產(chǎn)生的。因此，EIS技術(shù)能夠減少所播放/所記錄的圖像的質(zhì)量惡化。然而， EIS技術(shù)需要角速度傳感器和高像素圖像拾取裝置，這導(dǎo)致制造成本增加。
OIS技術(shù)使用角速度傳感器和棱鏡來檢測/補(bǔ)償手抖動(dòng)效果。OIS技術(shù)與 EIS技術(shù)的相同之處在于使用水平/垂直角速度傳感器來檢測手顫動(dòng)的量和方 向。然而，區(qū)別在于OIS技術(shù)使用能夠改變圖像拾取裝置上的入射光的路徑 的棱鏡來補(bǔ)償手抖動(dòng)。
OIS技術(shù)不會(huì)經(jīng)受所播放/所記錄的圖像的質(zhì)量惡化，并且不需要高圖像 拾取裝置。然而，OIS技術(shù)需要角速度傳感器和棱鏡，這增加了拍攝裝置的 體積和制造成本。而且，OIS技術(shù)難以控制棱鏡。
發(fā)明內(nèi)容
本發(fā)明的一個(gè)目的是提供一種用于消除對于諸如用以補(bǔ)償手抖動(dòng)的角速 度傳感器或棱鏡之類的單獨(dú)硬件的需求的數(shù)字圖像穩(wěn)定方法。
本發(fā)明的另一目的是提供一種用于在安裝于具有有限的硬件資源的終端 (例如移動(dòng)電話或PDA )中的數(shù)字相機(jī)中降低圖像質(zhì)量惡化和圖像模糊現(xiàn)象 的數(shù)字圖像穩(wěn)定方法。
為了實(shí)現(xiàn)上述目的，根據(jù)本發(fā)明的一種使用對象跟蹤的用于數(shù)字圖像穩(wěn) 定的設(shè)備，包括(1)圖像信號處理單元，用于輸出在第一曝光值條件下獲得的第 一數(shù)字圖像數(shù)據(jù)和在第二曝光值條件下獲得的多個(gè)第二數(shù)字圖像數(shù)
據(jù)；(2)手抖動(dòng)補(bǔ)償單元，用于通過對象跟蹤來補(bǔ)償比較級第二數(shù)字圖像相 對于基準(zhǔn)第二數(shù)字圖像的運(yùn)動(dòng)，并且通過將每個(gè)補(bǔ)償后比較級圖像與基準(zhǔn)圖 像重疊來生成手抖動(dòng)補(bǔ)償后圖像；和(3)圖像屬性校正單元，用于基于第一 數(shù)字圖像的屬性來校正手抖動(dòng)補(bǔ)償后圖像的屬性。
根據(jù)本發(fā)明，所述設(shè)備還包括曝光模式轉(zhuǎn)換單元，用于基于第一曝光值 條件自適應(yīng)地確定第二曝光值條件，并且將圖像傳感器的曝光屬性從第一曝 光值條件變?yōu)榈诙毓庵禇l件。
優(yōu)選地，所述第一曝光值條件是自動(dòng)曝光模式的曝光值條件，而所述第 二曝光值條件對應(yīng)于比自動(dòng)曝光模式的照度更低的照度。
優(yōu)選地，所述第一數(shù)字圖像數(shù)據(jù)是在自動(dòng)曝光模式中獲得的預(yù)覽圖像數(shù) 據(jù)，而所述第二數(shù)字圖像數(shù)據(jù)是在圖像捕獲^f莫式中按照規(guī)則時(shí)間間隔連續(xù)生 成的全尺寸捕獲靜止圖像數(shù)據(jù)。
根據(jù)本發(fā)明，所述手抖動(dòng)補(bǔ)償單元包括(1)對象標(biāo)記單元，用于將多 個(gè)第二數(shù)字圖像分類為基準(zhǔn)圖像和比較級圖像，并且使用對象跟蹤來標(biāo)記基 準(zhǔn)圖像的對象和每個(gè)比較級圖像的對象；(2)運(yùn)動(dòng)值計(jì)算單元，用于將每個(gè) 比較級圖像的對象與基準(zhǔn)圖像的對象進(jìn)行匹配，計(jì)算匹配后對象的參數(shù)，并 且通過所計(jì)算的參數(shù)來計(jì)算每個(gè)比較級圖像相對于基準(zhǔn)圖像的運(yùn)動(dòng)值；(3) 運(yùn)動(dòng)補(bǔ)償單元，用于將每個(gè)所計(jì)算的運(yùn)動(dòng)值施加到對應(yīng)的比較級圖像，以便 補(bǔ)償每個(gè)比較級圖像的運(yùn)動(dòng)；和(4)補(bǔ)償后圖像生成單元，用于將每個(gè)運(yùn)動(dòng) 補(bǔ)償后的比較級圖像與基準(zhǔn)圖像重疊，以便生成手抖動(dòng)補(bǔ)償后圖像。
優(yōu)選地，所述對象標(biāo)記單元包括圖像二值化單元，用于將基準(zhǔn)圖像和 每個(gè)比較級圖像轉(zhuǎn)換為二進(jìn)制圖像；和對象標(biāo)記器，用于從基準(zhǔn)二進(jìn)制圖像 和每個(gè)比較級二進(jìn)制圖像中提取對象，并且標(biāo)記所提取的對象。更優(yōu)選地， 所述對象標(biāo)記單元還包括圖像濾波器，用于過濾基準(zhǔn)圖像和每個(gè)比較級圖 像，以便對圖像進(jìn)行邊界銳化(boundary-sharpened);和圖像合成器，用于將 從圖像濾波器輸出的邊界銳化后圖像與二進(jìn)制圖像進(jìn)行合成。在這種情況下， 所述對象標(biāo)記器標(biāo)記來自合成后圖像的對象。
根據(jù)本發(fā)明，所述設(shè)備還可在所述對象標(biāo)記單元之前包括圖像尺寸調(diào)整 器(resizer)，用于通過將第二數(shù)字圖像的尺寸按比例縮放為預(yù)定尺寸或者從 第二數(shù)字圖像中剪切預(yù)定寬度的邊界，來調(diào)整多個(gè)第二數(shù)字圖像的尺寸。所述設(shè)備可以作為選擇在所述對象標(biāo)記單元之前包括圖像選擇單元，用于如果 比較級圖像相對于基準(zhǔn)圖像的運(yùn)動(dòng)矢量的幅度超過臨界值，或者如果基準(zhǔn)圖 像與比較級圖像之間的亮度差不超過臨界值，則從用于對象標(biāo)記的圖像中排 除比較級圖像。
在本發(fā)明中，每個(gè)比較級圖像的運(yùn)動(dòng)值包括從由根據(jù)平移的運(yùn)動(dòng)值、根
據(jù)旋轉(zhuǎn)的運(yùn)動(dòng)值、根據(jù)按比例縮放的運(yùn)動(dòng)值、和根據(jù)修剪(shear)的運(yùn)動(dòng)值、 或者它們的組合組成的組中選擇的任意一個(gè)。
優(yōu)選地，所述圖像屬性校正單元包括色彩校正單元，用于通過用第一 數(shù)字圖像的像素?cái)?shù)據(jù)替換手抖動(dòng)補(bǔ)償后圖像的像素?cái)?shù)據(jù)，或者通過考慮第一 數(shù)字圖像與手抖動(dòng)補(bǔ)償后圖像之間的尺寸比率基于第 一數(shù)字圖像的像素?cái)?shù)據(jù) 來內(nèi)插手抖動(dòng)補(bǔ)償后圖像的像素?cái)?shù)據(jù)，來校正手抖動(dòng)補(bǔ)償后圖像的色彩。所 述圖像屬性校正單元可以附加或者替換地包括亮度校正單元，用于定量地計(jì) 算第 一數(shù)字圖像與手抖動(dòng)補(bǔ)償后圖像之間的亮度差，自適應(yīng)地選擇亮度校正 強(qiáng)度，并且通過所選擇的強(qiáng)度來校正手抖動(dòng)補(bǔ)償后圖像的亮度。
本發(fā)明還包括使用對象跟蹤的數(shù)字圖像穩(wěn)定方法。
考慮結(jié)合附圖進(jìn)行的詳細(xì)描述，本發(fā)明的特征和優(yōu)點(diǎn)將變得更加明顯， 全文中類似的附圖標(biāo)記表示類似的部分，并且其中
圖1是圖示根據(jù)本發(fā)明實(shí)施例的使用對象跟蹤的用于數(shù)字圖像穩(wěn)定的設(shè) 備的方框圖。
圖2是圖示根據(jù)本發(fā)明實(shí)施例的手抖動(dòng)補(bǔ)償單元的方框圖。
圖3是圖示根據(jù)本發(fā)明實(shí)施例的對象標(biāo)記單元的方框圖。
圖4是圖示根據(jù)本發(fā)明另 一實(shí)施例的對象標(biāo)記單元的方框圖。
圖5是圖示根據(jù)本發(fā)明另一實(shí)施例的手抖動(dòng)補(bǔ)償單元的方框圖。
圖6是圖示根據(jù)本發(fā)明另 一實(shí)施例的手抖動(dòng)補(bǔ)償單元的方框圖。
圖7概念地圖示了根據(jù)本發(fā)明實(shí)施例的由運(yùn)動(dòng)值計(jì)算單元計(jì)算的對象參數(shù)。
圖8是圖示根據(jù)本發(fā)明的手抖動(dòng)補(bǔ)償單元的操作的示例的流程圖。 圖9是圖示其中施加圖像處理模塊的色彩校正單元基于預(yù)覽圖像校正手 抖動(dòng)補(bǔ)償后圖像的色彩的處理的流程圖。圖10是圖示其中施加圖像處理模塊的亮度校正單元基于預(yù)覽圖像校正 手抖動(dòng)補(bǔ)償后圖像的亮度的處理的流程圖。
圖ll是示出從在預(yù)覽模式中生成預(yù)覽圖像到通過取景器(view finder) 輸出預(yù)覽圖像的處理的方框圖。
圖12是示出其中校正被捕獲靜止圖像的圖像模糊現(xiàn)象的處理流程的方 框圖。
圖13圖示了圖像(A)和圖像(B)，該圖像(A)由在自動(dòng)曝光模式中 沒有圖像穩(wěn)定功能的典型數(shù)字拍攝裝置拍攝，該圖像(B)由實(shí)現(xiàn)根據(jù)本發(fā)明 的使用對象跟蹤的數(shù)字圖像穩(wěn)定方法的數(shù)字拍攝裝置拍攝。
具體實(shí)施例方式
盡管該說明書包含許多細(xì)節(jié)，但是這些都不應(yīng)當(dāng)被解釋為對本發(fā)明或權(quán) 利要求的范圍的限制，而是相反，被解釋為本發(fā)明的特殊實(shí)施例特定的描述。 在該說明書中的單獨(dú)實(shí)施例的上下文中描述的某些特征也可以在單個(gè)實(shí)施例 中組合實(shí)現(xiàn)。相反，在單個(gè)實(shí)施例的上下文中描述的各種特征也可以在多個(gè)
應(yīng)當(dāng)理解，說明書和所附權(quán)利要求中使用的術(shù)語不必限于一般含義和字 典含義，而是應(yīng)當(dāng)基于與此處所描述的本發(fā)明的技術(shù)方面對應(yīng)的含義和概念 進(jìn)行解釋。
根據(jù)本發(fā)明的使用對象跟蹤的用于數(shù)字圖像穩(wěn)定的設(shè)備被安裝在各種數(shù) 字拍攝裝置中。數(shù)字拍攝裝置包括例如數(shù)字相機(jī)、數(shù)字?jǐn)z像機(jī)、具有內(nèi)置數(shù) 字相機(jī)的移動(dòng)電話、PDA和個(gè)人多媒體播放器。數(shù)字拍攝裝置被配置用來通 過用戶的快門操作獲得物體的圖像，將所獲得的圖像轉(zhuǎn)換為數(shù)字圖像，并且 將該數(shù)字圖像存儲(chǔ)在存儲(chǔ)介質(zhì)中。
與傳統(tǒng)相機(jī)不同，商業(yè)數(shù)字拍攝裝置支持預(yù)覽功能，用于通過具有諸如 LCD之類的顯示器的取景器查看照片中將要包含的物體的圖像。因此，用戶 在預(yù)覽模式中通過取景器查看根據(jù)數(shù)字拍攝裝置的移動(dòng)按照短幀間隔改變的 圖像，并且當(dāng)用戶發(fā)覺期望的最佳圖像時(shí)，用戶操作快門來獲得該物體的數(shù) 字靜止圖像。
根據(jù)本發(fā)明的使用對象跟蹤的用于數(shù)字圖像穩(wěn)定的設(shè)備獲得在第一曝光 值條件下拍攝的第一數(shù)字圖像和在第二曝光值條件(小于第一曝光值條件)
ii下拍攝的多個(gè)第二數(shù)字圖像，通過對象跟蹤計(jì)算每個(gè)比較級第二數(shù)字圖像相 對于基準(zhǔn)第二數(shù)字圖像的運(yùn)動(dòng)值，根據(jù)每個(gè)計(jì)算的運(yùn)動(dòng)值來補(bǔ)償對應(yīng)第二數(shù) 字圖像的運(yùn)動(dòng)，將(多個(gè))運(yùn)動(dòng)補(bǔ)償后圖像與基準(zhǔn)圖像重疊以便生成手抖動(dòng) 補(bǔ)償后圖像，并且使用第一數(shù)字圖像的屬性來校正手抖動(dòng)補(bǔ)償后圖像的屬性。
在本發(fā)明的示例性實(shí)施例中，第一數(shù)字圖像是預(yù)覽圖像，而第二數(shù)字圖 像是捕獲的靜止圖像。預(yù)覽圖像是在操作快門之前以短時(shí)間間隔在取景器上 顯示的數(shù)字圖像，而捕獲的靜止圖像是在操作快門時(shí)以用戶設(shè)置的分辨率拍 攝的物體的靜止數(shù)字圖像。然而，本發(fā)明不限于這一點(diǎn)。第一數(shù)字圖像應(yīng)當(dāng) 被解釋為在比第二數(shù)字圖像更高的曝光值條件中捕獲并以這樣的短幀間隔拍 攝以去除手抖動(dòng)效果的影響的數(shù)字圖像。
參考圖1,根據(jù)本發(fā)明的使用對象跟蹤的用于數(shù)字圖像穩(wěn)定的設(shè)備被安 裝在各種數(shù)字拍攝裝置中并且執(zhí)行圖像穩(wěn)定功能。該設(shè)備包括圖像傳感器10、
圖像信號處理單元20、傳感器控制器30、施加圖像處理模塊40、圖像顯示 才莫塊50和用戶接口 60。
圖像傳感器IO拾取物體的圖像，并且將該圖像的模擬圖像信號輸出到圖 像信號處理單元20。優(yōu)選地，圖像傳感器IO是使用CCD (電荷耦合器件) 或CMOS (互補(bǔ)金屬氧化物半導(dǎo)體)技術(shù)的圖像拾取裝置。然而，本發(fā)明不 限于特定類型的圖像傳感器。
在數(shù)字拍攝裝置的快門操作之前，圖像傳感器IO以短幀間隔(例如，30 f/s)生成并輸出物體的預(yù)覽圖像(AP)。當(dāng)數(shù)字拍攝裝置的快門操作時(shí)，圖 像傳感器10以規(guī)則間隔輸出物體的多個(gè)捕獲靜止圖像(AC)。所述多個(gè)捕獲 靜止圖像(AC)以比預(yù)覽圖像(AP)更長的幀間隔輸出。預(yù)覽圖像(AP) 和所述多個(gè)捕獲靜止圖像(AC)分別在第一曝光值條件和第二曝光值條件下 生成。這里，曝光值縮寫為EV，并且通過包括表示圖像傳感器10的快門速 度的"f，和表示圖像傳感器10的靈敏度的ISO增益(下文中稱作T，)的 參數(shù)來定義。圖像傳感器10的曝光值由傳感器控制器30來設(shè)置。當(dāng)曝光值 增加時(shí)，圖像傳感器10的曝光時(shí)間增加。對應(yīng)于特定曝光值的特定"f，和 T，值由圖像傳感器10的制造公司預(yù)先定義并且以查找表的形式參考。
優(yōu)選地，第一曝光值大于第二曝光值。也就是，當(dāng)?shù)谝黄毓庵凳荅V1和 第二曝光值是EV2時(shí)，滿足條件"EV1>EV2"。優(yōu)選地，第一曝光值是對應(yīng) 于數(shù)字拍攝裝置的自動(dòng)曝光模式的曝光值。作為選擇，第一曝光值可以由用戶通過用戶接口 60來任意地設(shè)置或者可以基于對應(yīng)于自動(dòng)曝光模式的曝光
值增加或減少與預(yù)置寬度一樣多。增加或減少寬度由數(shù)字拍攝裝置的制造公 司設(shè)置為優(yōu)選值。
優(yōu)選地，在第一曝光值條件下生成的預(yù)覽圖像(AP)是在數(shù)字拍攝裝置 的快門搡作之前在預(yù)覽模式中在通過圖像顯示模塊50的取景器90提供的物 體的運(yùn)動(dòng)圖像中的、在操作快門的最近時(shí)間生成的圖像。作為參考，施加圖 像處理模塊40將預(yù)覽圖像存儲(chǔ)在顯示存儲(chǔ)器70中，并且顯示操作單元80通 過取景器卯的顯示器以運(yùn)動(dòng)圖像的形式輸出所存儲(chǔ)的預(yù)覽圖像。
以非常短的幀間隔連續(xù)生成預(yù)覽圖像(AP)。因此，在第一曝光值條件 下獲得的預(yù)覽圖像(AP)免于由于拍攝者的手抖動(dòng)引起的圖像模糊現(xiàn)象。預(yù) 覽圖像(AP)與通過快門操作獲得的多個(gè)捕獲靜止圖像(AC)中包含基本相 同的物體的范圍。而且，預(yù)覽圖像(AP)在自動(dòng)曝光模式中生成，并且因此 保持比在較低曝光值條件下更好的物體的亮度和色彩屬性。
其間，捕獲的靜止圖像(AC)是當(dāng)數(shù)字拍攝裝置的快門操作時(shí)在第二曝 光值條件下獲得的圖像。該捕獲的靜止圖像(AC)是在與預(yù)覽圖像(AP)的 第一曝光值條件相比足夠短的曝光時(shí)間條件下獲得的。由此，捕獲的靜止圖 像(AC)幾乎不受手抖動(dòng)影響。當(dāng)圖像傳感器10的曝光時(shí)間減少時(shí)，手抖 動(dòng)的影響減少。然而，如果當(dāng)獲得捕獲的靜止圖像(AC)時(shí)曝光時(shí)間減少， 則捕獲的靜止圖像(AC )以及預(yù)覽圖像(AP )不保持物體的亮度和色彩屬性。
圖像信號處理單元20接收從圖像傳感器IO輸出的模擬圖像信號，將模 擬圖像信號轉(zhuǎn)換為數(shù)字圖像信號，并且將該數(shù)字圖像信號輸出到施加圖像處 理模塊40。數(shù)字圖像信號包括圖像中包含的像素的亮度信號(Y)和色差信 號(Cb和Cr)。數(shù)字圖像信號可以是YVU (YCbCr)顏色坐標(biāo)系統(tǒng)以外的顏 色坐標(biāo)系統(tǒng)例如RGB (紅、綠、藍(lán))中的信號。
在數(shù)字拍攝裝置的快門操作之前，圖像信號處理單元20以規(guī)則幀間隔接 收在圖像傳感器10中生成的預(yù)覽圖像(AP)。處理單元20然后將該預(yù)覽圖 像(AP)轉(zhuǎn)換為數(shù)字圖像信號，并且遵照取景器90的顯示器的標(biāo)準(zhǔn)分辨率 (例如320*240或240*320)來縮小(downscale)數(shù)字圖像信號。其間，當(dāng) 數(shù)字拍攝裝置的快門操作時(shí)，圖像信號處理單元20接收圖像傳感器10中以 規(guī)則幀間隔連續(xù)生成的多個(gè)捕獲靜止圖像(AC),將該捕獲靜止圖像(AC) 轉(zhuǎn)換為數(shù)字圖像信號，并且遵照拍攝者設(shè)置的分辨率(例如320*240或256*192 )縮小數(shù)字圖像信號。圖像信號處理單元20所處理的預(yù)覽圖像(DP) 和多個(gè)捕獲靜止圖像(DC)被輸出到施加圖像處理模塊40。預(yù)覽圖像(DP) 的尺寸被縮小到取景器90的顯示器的尺寸，并因此小于被捕獲的靜止圖像 (DC)的尺寸。其間，預(yù)覽圖像(DP)和捕獲靜止圖像(DC)的縮小可》、 通過施加圖像處理模塊40來執(zhí)行。
圖像信號處理單元20可以包括用于編碼數(shù)字圖像信號的圖像編碼單元 100。優(yōu)選地，圖像編碼單元100通過JPEG (聯(lián)合攝影專家組)標(biāo)準(zhǔn)來編碼 數(shù)字圖像信號。然而，本發(fā)明不限于特定的編碼方法。圖像編碼單元100可 以僅編碼轉(zhuǎn)換為數(shù)字圖像信號的捕獲靜止圖像(DC)，并且在一些情況下， 可以省略圖像編碼處理。在圖像信號處理單元20編碼并輸出捕獲靜止圖像 (DC)的情況下，施加圖像處理模塊40優(yōu)選地包括用于解碼該捕獲靜止圖 像(DC)的解碼單元110。
圖像信號處理單元20已知為ISP(圖像信號處理器)，并且用于數(shù)字化圖 像信號的處理為本領(lǐng)域的普通技術(shù)人員公知。因此，這里省略其詳細(xì)描述。
傳感器控制器30在施加圖像處理模塊40的控制下設(shè)置圖像傳感器10的 曝光值條件。在拍攝裝置的快門操作之前，傳感器控制器30將圖像傳感H 10設(shè)置為第一曝光值條件。當(dāng)快門操作時(shí)，傳感器控制器30將圖像傳感器 IO設(shè)置為第二曝光值條件。傳感器控制器30從施加圖像處理模塊40接收對 應(yīng)于第一曝光值條件和第二曝光值條件的參數(shù)。如上所述，所述參數(shù)包括快 門速度"f，和ISO增益'T，。
施加圖像處理模塊40在快門操作之前以預(yù)覽模式操作，并且在快門操作 之后以靜止圖像捕獲模式操作。為此目的，施加圖像處理模塊40包括曝光模 式轉(zhuǎn)換單元120。在快門操作之前，曝光模式轉(zhuǎn)換單元120控制傳感器控制 器30將圖像傳感器IO設(shè)置為第一曝光值條件，并且在預(yù)覽模式中操作圖像 傳感器IO。因此，圖像傳感器10以預(yù)定幀間隔生成預(yù)覽圖像(AP),并且將 該預(yù)覽圖像(AP)輸出到圖像信號處理單元20。然后，施加圖像處理模塊 40從圖4象信號處理單元20接收在第一曝光值條件中周期地生成的數(shù)字化的 預(yù)覽圖像(DP)，并且將該數(shù)字化的預(yù)覽圖像(DP)存儲(chǔ)在顯示存儲(chǔ)器70中。 通過取景器90的顯示器以運(yùn)動(dòng)圖像的形式輸出所存儲(chǔ)的預(yù)覽圖像(DP)?！?br>
當(dāng)快門操作時(shí)，曝光模式轉(zhuǎn)換單元120從顯示存儲(chǔ)器70中讀取在快門操 作之前的最近時(shí)間生成的預(yù)覽圖像(DP)，以便獲得預(yù)覽圖像(DP)。接著，曝光模式轉(zhuǎn)換單元120基于第一曝光值條件自適應(yīng)地確定第二曝光值條件，
并且控制傳感器控制器30將圖像傳感器10的曝光值條件從第一曝光值條件 變?yōu)榈诙毓庵禇l件，從而轉(zhuǎn)換為靜止圖像捕獲模式。
這里，"自適應(yīng)地確定曝光值條件"是指通過參考預(yù)置的基準(zhǔn)曝光值基于 第一曝光值條件確定第二曝光值條件。為此目的，優(yōu)選地提供傳感器數(shù)據(jù)表 130來創(chuàng)建定義第二曝光值條件的參數(shù)(即"f，和'T，值)與定義第一曝光 值條件的參數(shù)(即"f，和T，值)之間的一一映射關(guān)系。傳感器數(shù)據(jù)表130 被存儲(chǔ)在寄存器(registry)中，并且當(dāng)施加圖像處理模塊40操作時(shí)被參考。 其間，本發(fā)明基于第一曝光值條件自適應(yīng)地確定第二曝光值條件。用于自適 應(yīng)地確定曝光值條件的配置不限于上述示例(即，查找表)，并且可以在其他 配置中進(jìn)行實(shí)現(xiàn)。
在圖像傳感器10的曝光值條件被轉(zhuǎn)換為第二曝光值條件之后，施加圖像 處理模塊40控制傳感器控制器30將多個(gè)靜止圖像捕獲信號發(fā)送到圖像傳感 器10。然后，圖像傳感器10以規(guī)則幀間隔連續(xù)地生成物體的多個(gè)捕獲靜止 圖像(AC)，并且將所述捕獲靜止圖像(AC)輸出到圖像信號處理單元20。 圖像信號處理單元20連續(xù)接收、數(shù)字化、按比例縮放所述多個(gè)捕獲靜止圖像， 并且將其輸出到施加圖像處理模塊40。
施加圖像處理模塊40包括手抖動(dòng)補(bǔ)償單元140,用于通過對象跟蹤基于 所述多個(gè)捕獲靜止圖像(DC)中的一個(gè)圖像(基準(zhǔn)圖像)來補(bǔ)償其他圖像(比 較級圖像)的運(yùn)動(dòng)，并且將(多個(gè))運(yùn)動(dòng)補(bǔ)償后圖像與基準(zhǔn)圖像重疊，以便 生成手抖動(dòng)補(bǔ)償后圖像。
補(bǔ)償比較級圖像的運(yùn)動(dòng)包括從基準(zhǔn)圖像和比較級圖像中提取對象，標(biāo)記 所提取的對象，匹配標(biāo)記的對象，定量地計(jì)算(多個(gè))所匹配對象的運(yùn)動(dòng)值， 并且將每個(gè)所計(jì)算的運(yùn)動(dòng)值施加到對應(yīng)的比較級圖像，以便補(bǔ)償比較級圖像 的運(yùn)動(dòng)。
圖2示出了手抖動(dòng)補(bǔ)償單元140,其包括對象標(biāo)記單元141、運(yùn)動(dòng)值計(jì)算 單元142、運(yùn)動(dòng)補(bǔ)償單元143和補(bǔ)償后圖像生成單元144。
對象標(biāo)記單元141從圖像信號處理單元20接收多個(gè)捕獲靜止圖像(DC》。 對象標(biāo)記單元141將所述多個(gè)捕獲靜止圖像(DC)分類為基準(zhǔn)圖像和比較級 圖像。這里，比較級圖像是指至少一個(gè)比較級圖像。然后，對象標(biāo)記單元141 將基準(zhǔn)圖像和每個(gè)比較級圖像轉(zhuǎn)換為二進(jìn)制圖像，從基準(zhǔn)二進(jìn)制圖像和每個(gè)比較級二進(jìn)制圖像中提取對象，并且標(biāo)記所提取的對象。
優(yōu)選地，對象標(biāo)記單元141將多個(gè)捕獲靜止圖像(DC)中的首先拍攝的 圖像選擇為基準(zhǔn)圖像。替換地，對象標(biāo)記單元141可以選擇多個(gè)被捕獲靜止 圖像(DC)中的最近或中間拍攝的圖像作為基準(zhǔn)圖像。例如，如果拍攝了 5 個(gè)捕獲靜止圖像(DC)，則可以選擇第一圖像、第三圖像和第五圖像中的任 意一個(gè)作為基準(zhǔn)圖像。
對象是二進(jìn)制圖像中彼此相連的白像素組。在對象的像素?cái)?shù)目超過臨界 值(例如30000)的情況下，對象標(biāo)記單元141可以將對應(yīng)的對象看作背景。 優(yōu)選地，對象標(biāo)記單元141使用4相連成分標(biāo)記或8相連成分標(biāo)記來提取對 象。該4相連成分標(biāo)記基于目標(biāo)像素而跟蹤上、下、左和右方向的四個(gè)^f象素 以便提取對象，而該8相連成分標(biāo)記基于對象像素而跟蹤上、下、左和右方 向的四個(gè)像素以及對角方向的四個(gè)像素以便_提取對象。此外，對象標(biāo)記單元 140可以使用閉合輪廓對象掃描方法或者開放輪廓對象掃描方法來提取對象。 上述對象提取方法為本領(lǐng)域的普通技術(shù)人員已知，并省略它們的描述。
圖3示出了根據(jù)本發(fā)明第一實(shí)施例的對象標(biāo)記單元141，其包括用于將 基準(zhǔn)圖像和每個(gè)比較級圖像轉(zhuǎn)換為黑白二進(jìn)制圖像的圖像二值化單元1411。 該對象標(biāo)記單元141還包括對象標(biāo)記器1412，用于接收每個(gè)二進(jìn)制圖像，從 每個(gè)圖像中提取對象，并且標(biāo)記所提取的對象。
圖像二值化包括計(jì)算圖像的直方圖分布、以及將亮度大于特定闊值的像 素設(shè)置為白和將亮度小于特定閾值的像素設(shè)置為黑。下文中，用于基于特定 閾值將每個(gè)像素的亮度設(shè)置為黑或白的處理被稱作限值(thresholding)步驟。 該閾值可以是從直方圖分布計(jì)算的圖像的平均亮度值。然而，本發(fā)明不限于 這一點(diǎn)。
圖4示出了根據(jù)本發(fā)明第二實(shí)施例的對象標(biāo)記單元441,其包括圖像 二值化單元1411，用于通過限值步驟將基準(zhǔn)圖像和每個(gè)比較級圖像轉(zhuǎn)換為二 進(jìn)制圖像；圖像濾波器1413，用于將基準(zhǔn)二進(jìn)制圖像和每個(gè)比較級二進(jìn)制圖 像過濾為邊界銳化后圖像；圖像合成器1414,用于將從圖像濾波器1413輸 出的邊界銳化后圖像與從圖像二值化單元1411輸出的對應(yīng)二進(jìn)制圖像進(jìn)行 合成；和對象標(biāo)記器1412，用于從合成后基準(zhǔn)圖像和每個(gè)合成后比較級圖像 中提取對象，并且標(biāo)記所提取的對象。這里，合成后基準(zhǔn)圖像是其中基準(zhǔn)圖 像的二進(jìn)制圖像與基準(zhǔn)圖像的邊界銳化后圖像合成的圖像，并且合成后比較級圖像是其中比較級圖像的二進(jìn)制圖像與比較級圖像的邊界銳化后圖像合成 的圖像。
在如上所述從基準(zhǔn)圖像中提取對象并且將比較級圖像與邊界銳化后圖像 合成時(shí)，增強(qiáng)了對象的邊界，并且更容易地提取對象。優(yōu)選地，圖像濾波器
1413是拉普拉斯(Laplacian)濾波器或Sobel邊緣濾波器。然而，本發(fā)明不 限于特定類型的圖像濾波器。
參考圖2,運(yùn)動(dòng)值計(jì)算單元142從對象標(biāo)記單元141接收基準(zhǔn)圖像和每 個(gè)比較級圖像的所標(biāo)記的對象數(shù)據(jù)。然后，運(yùn)動(dòng)值計(jì)算單元142將基準(zhǔn)圖像 的對象與每個(gè)比較級圖像的對象進(jìn)行匹配，并且計(jì)算每個(gè)對象的參數(shù)。
圖7概念地圖示了由運(yùn)動(dòng)值計(jì)算單元142計(jì)算的對象的參數(shù)。對象的參 數(shù)包括對象的面積(S);當(dāng)包括該對象的正方形邊界被形成為具有預(yù)定界 限時(shí)的該對象的邊界長度(邊界的外圍長度)；該正方形的中心坐標(biāo)(0);該 對象的質(zhì)心坐標(biāo)(C);在穿過中心坐標(biāo)(0)并且在兩端處與對象邊界相遇的 線當(dāng)中的長軸長度(Maxo)和短軸長度(Mino)和它們的角度；在穿過質(zhì)心 坐標(biāo)(C)并且在兩端處與對象邊界相遇的線當(dāng)中的長軸長度(Maxc)和短 軸長度(Minc)和它們的角度；或者當(dāng)按照標(biāo)記順序連接對象的質(zhì)心坐標(biāo)時(shí) 每條連接線(L)的長度及其角度。
接下來，運(yùn)動(dòng)值計(jì)算單元142使用所計(jì)算的參數(shù)計(jì)算每個(gè)比較級圖像的 運(yùn)動(dòng)值。相對于基準(zhǔn)圖像來計(jì)算每個(gè)比較級圖像的運(yùn)動(dòng)值。也就是，每個(gè)比 較級圖像的運(yùn)動(dòng)值表示比較級圖像相對于基準(zhǔn)圖像的移動(dòng)程度。每個(gè)比較級 圖像的運(yùn)動(dòng)值包括從由根據(jù)平移的運(yùn)動(dòng)值、根據(jù)旋轉(zhuǎn)的運(yùn)動(dòng)值、根據(jù)按比例 縮放的運(yùn)動(dòng)值、和根據(jù)修剪的運(yùn)動(dòng)值、或者它們的組合組成的組中選擇的任 意一個(gè)。
例如，通過對基準(zhǔn)圖像和每個(gè)比較級圖像的匹配后對象之間的中心坐標(biāo) 或質(zhì)心坐標(biāo)的差進(jìn)行平均化，來計(jì)算根據(jù)平移的運(yùn)動(dòng)值。
通過將連接基準(zhǔn)圖像和每個(gè)比較級圖像的質(zhì)心坐標(biāo)的線進(jìn)行匹配、然后 對這些連接線之間的角度進(jìn)行平均化，來計(jì)算根據(jù)旋轉(zhuǎn)的運(yùn)動(dòng)值。作為選擇， 通過將連接基準(zhǔn)圖像和每個(gè)比較級圖像的質(zhì)心坐標(biāo)的線進(jìn)行匹配、然后對預(yù) 置基準(zhǔn)軸與該連接線之間的角度差進(jìn)行平均化，來計(jì)算根據(jù)旋轉(zhuǎn)的運(yùn)動(dòng)值。
通過對每個(gè)比較級圖像的匹配后對象之間的長軸長度的比率、短軸長度 的比率、或者基準(zhǔn)圖像與邊界長度的比率或面積的比率進(jìn)行平均化，來計(jì)算根據(jù)按比例縮放的運(yùn)動(dòng)值。
使用基準(zhǔn)圖像與每個(gè)比較級圖像的匹配后對象之間的長軸長度的比率、 短軸長度的比率、邊界長度的比率、以及面積的比率、或者使用當(dāng)在圖像的 水平方向和垂直方向上計(jì)算預(yù)置基準(zhǔn)軸與基準(zhǔn)圖像和每個(gè)比較級圖像的質(zhì)心
坐標(biāo)的連接線之間的角度差的分布時(shí)該分布的外形(profile)梯度，來計(jì)算根 據(jù)修剪的運(yùn)動(dòng)值。
當(dāng)已知基準(zhǔn)圖像與每個(gè)比較級圖像的各種對象參數(shù)時(shí)，可以通過上述方 法以外的其他方法來替換地計(jì)算每個(gè)比較級圖像相對于基準(zhǔn)圖像的運(yùn)動(dòng)值。
運(yùn)動(dòng)值計(jì)算單元142將每個(gè)比較級圖像的運(yùn)動(dòng)值數(shù)據(jù)輸出到運(yùn)動(dòng)補(bǔ)償羊 元143。運(yùn)動(dòng)補(bǔ)償單元143計(jì)算用于補(bǔ)償每個(gè)比較級圖像的運(yùn)動(dòng)的矩陣。
優(yōu)選地，該矩陣是仿射(affin)變換矩陣。然而，本發(fā)明不限于特定類 型的矩陣。該仿射變換矩陣公知用于執(zhí)行矩陣變換，包括平移、旋轉(zhuǎn)、按比 例縮放和修剪。矩陣的行和列數(shù)據(jù)可以通過所計(jì)算的運(yùn)動(dòng)值來運(yùn)算。
運(yùn)動(dòng)補(bǔ)償單元143推導(dǎo)出每個(gè)比較級圖像的變換矩陣，并且在二值化之 前，用推導(dǎo)出的矩陣對每個(gè)原始比較級圖像執(zhí)行矩陣運(yùn)算，以便補(bǔ)償每個(gè)比 較級圖像的運(yùn)動(dòng)。然后，運(yùn)動(dòng)補(bǔ)償單元143將每個(gè)運(yùn)動(dòng)補(bǔ)償后比較級圖像和 基準(zhǔn)圖像輸出到補(bǔ)償后圖像生成單元144。
比較級圖像的運(yùn)動(dòng)補(bǔ)償包括從由根據(jù)平移的運(yùn)動(dòng)補(bǔ)償、根據(jù)旋轉(zhuǎn)的運(yùn)動(dòng) 補(bǔ)償、根據(jù)按比例縮放的運(yùn)動(dòng)補(bǔ)償、和根據(jù)修剪的運(yùn)動(dòng)補(bǔ)償、或者它們的組 合組成的組中選擇的任意一個(gè)。為了減少與比較級圖像的運(yùn)動(dòng)補(bǔ)償有關(guān)的操 作開銷，優(yōu)選地，按照根據(jù)修剪、按比例縮放、旋轉(zhuǎn)和平移的運(yùn)動(dòng)補(bǔ)償?shù)捻?序來執(zhí)行操作。然而，本發(fā)明不限于這一點(diǎn)。
補(bǔ)償后圖像生成單元144從運(yùn)動(dòng)補(bǔ)償單元143接收每個(gè)運(yùn)動(dòng)補(bǔ)償后比較 級圖像和基準(zhǔn)圖像。然后，補(bǔ)償后圖像生成單元144將所有比較級圖像與基 準(zhǔn)圖像重疊，以便生成手抖動(dòng)補(bǔ)償后圖像，并且輸出該手抖動(dòng)補(bǔ)償后圖像。
這里，圖像重疊包括對每個(gè)顏色通道的基準(zhǔn)圖像和(多個(gè))比較級圖像 的色彩數(shù)據(jù)進(jìn)行平均化、以及用獲得的每個(gè)顏色通道的色彩數(shù)據(jù)的平均值來 替換基準(zhǔn)圖像的色彩數(shù)據(jù)。在一些情況下，當(dāng)對每個(gè)顏色通道的色彩數(shù)據(jù)進(jìn) 行平均化以重疊圖像時(shí)，可以排除基準(zhǔn)圖像的色彩數(shù)據(jù)。
圖5示出了手抖動(dòng)補(bǔ)償單元的另一實(shí)施例。手抖動(dòng)補(bǔ)償單元540包括圖 像尺寸調(diào)整器145，其在對象標(biāo)記單元141之前。圖像尺寸調(diào)整器145縮小從圖像信號處理單元20接收的預(yù)覽圖像(DP)和多個(gè)捕獲靜止圖像(DC)， 或者剪切所述圖像的邊界以便減小所述圖像的尺寸。因?yàn)閷ο髢A向于集中在 圖像的中心部分，因此執(zhí)行用于圖像尺寸調(diào)整的邊界剪切。如果圖像尺寸調(diào) 整器145被包含在手抖動(dòng)補(bǔ)償單元140中，則諸如圖像二值化單元1411、對 象標(biāo)記器1412和圖像濾波器1413之類的邏輯塊對更小的尺寸調(diào)整后圖像執(zhí) 行操作。因此，減少了每個(gè)邏輯塊的操作開銷。在運(yùn)動(dòng)值計(jì)算單元142使用 通過縮小而被尺寸調(diào)整的比較級圖像來計(jì)算運(yùn)動(dòng)值之后，運(yùn)動(dòng)值計(jì)算單元142 可以考慮縮小因子基于原始比較級圖像來轉(zhuǎn)換計(jì)算的運(yùn)動(dòng)值。
圖6示出了手抖動(dòng)補(bǔ)償單元的另一實(shí)施例。手抖動(dòng)補(bǔ)償單元640包括圖 像選擇單元146，其在對象標(biāo)記器141之前。圖像選擇單元146將多個(gè)捕獲 靜止圖像(DC)分類為基本圖像和比較級圖像。用于選擇基準(zhǔn)圖像的基礎(chǔ)如 上所述。圖像選擇單元146計(jì)算每個(gè)比較級圖像相對于基準(zhǔn)圖像的運(yùn)動(dòng)矢量。 每個(gè)比較級圖像的運(yùn)動(dòng)矢量是表示比較級圖像相對于基準(zhǔn)圖像的運(yùn)動(dòng)程度的 索引，并且是以諸如MPEG (運(yùn)動(dòng)圖像專家組)或H.26x之類的公知圖像壓 縮標(biāo)準(zhǔn)的典型方式來計(jì)算的。然后，如果運(yùn)動(dòng)矢量的幅度過大或者運(yùn)動(dòng)矢量 未被計(jì)算，則圖像選擇單元146確定基準(zhǔn)圖像中包含的物體不同于比較級圖 像中包含的物體，并且從用于手抖動(dòng)補(bǔ)償?shù)膱D像中排除對應(yīng)的比較級圖像。 這可能是因?yàn)槭诸潉?dòng)量過大或者在拍攝比較級圖像時(shí)另一個(gè)物體突然侵入到 圖像拾取范圍內(nèi)而發(fā)生。另一方面，如果比較級圖像的運(yùn)動(dòng)矢量在適當(dāng)范圍 內(nèi)，則圖像選擇單元146確定該比較級圖像可被用來補(bǔ)償手抖動(dòng)效果，并且 將預(yù)覽圖像(DP)和捕獲靜止圖像(DC)輸入到對象標(biāo)記單元141中。然后， 對象標(biāo)記單元141執(zhí)行如上所述的對象標(biāo)記操作。
另外，圖像選擇單元146定量地計(jì)算基準(zhǔn)圖像與每個(gè)比較級圖像之間的 亮度差。如果所述差小于預(yù)定等級，則圖像選擇單元146從手抖動(dòng)補(bǔ)償中排 除對應(yīng)的比較級圖像。例如，圖像選擇單元146計(jì)算基準(zhǔn)圖像與比較級圖像 之間的異或運(yùn)算后的圖像，對異或運(yùn)算后的圖像的亮度進(jìn)行平均化，并且將 所獲得的亮度平均值定義為基準(zhǔn)圖像與比較級圖像之間的亮度差。如果基準(zhǔn) 圖像與比較級圖像之間的亮度差小于預(yù)定等級(例如0.85 )，則圖像選擇單元 146確定不存在對象的有意義的運(yùn)動(dòng)，并且不將對應(yīng)的比較級圖像輸出到對 象標(biāo)記單元141。另一方面，如果基準(zhǔn)圖像與比較級圖像之間的差大于預(yù)定 等級(例如0.85),則圖像選擇單元146確定存在對象的有意義的運(yùn)動(dòng)，并且將對應(yīng)的比較級圖像輸出到對象標(biāo)記單元141。如上所述，使用基準(zhǔn)圖像與 每個(gè)比較級圖像之間的亮度差的圖像選擇可以減少用于對象標(biāo)記的操作開 銷。
圖像選擇單元146可被插入在如圖5所示的圖像尺寸調(diào)整器145與對象 標(biāo)記單元141之間。在這種情況下，圖像選擇單元146對尺寸調(diào)整后基準(zhǔn)圖 像和比較級圖像執(zhí)行上述操作。
圖8示出了根據(jù)本發(fā)明的手抖動(dòng)補(bǔ)償單元140的操作的示例。下述的每 個(gè)步驟由手抖動(dòng)補(bǔ)償單元140執(zhí)行。
第一捕獲靜止圖像被輸入(P10)并且被指定為基準(zhǔn)圖像(P20)。注意， 用作基準(zhǔn)圖像的捕荻靜止圖像可任意地改變，并且在基準(zhǔn)圖像之后拍攝的捕 獲靜止圖像變成比較級圖像。
第二捕獲靜止圖像(k = 2)被輸入為比較級圖像(P30)，并且計(jì)算比較 級圖像相對于基準(zhǔn)圖像的運(yùn)動(dòng)矢量(P40)。將所計(jì)算的運(yùn)動(dòng)矢量與臨界值相 比較，以便確定運(yùn)動(dòng)矢量的幅度是否超過臨界值(P50)。
如果在P50中確定未計(jì)算運(yùn)動(dòng)矢量或者所計(jì)算的運(yùn)動(dòng)矢量超過臨界值， 則不執(zhí)行比較級圖像的對象標(biāo)記步驟，而取而代之執(zhí)行P60。相反，如果在 P50中確定所計(jì)算的運(yùn)動(dòng)矢量未超過臨界值，則執(zhí)行P70,以便定量地計(jì)算基 準(zhǔn)圖像與比較級圖像之間的亮度差。例如，計(jì)算基準(zhǔn)圖像與比較級圖像的異 或運(yùn)算后的圖像，計(jì)算異或運(yùn)算后的圖像的平均亮度，并且將亮度的平均值 定義為基準(zhǔn)圖像與比較級圖像之間的亮度差。
接下來，該處理檢查基準(zhǔn)圖像與比較級圖像之間的亮度差是否超過預(yù)置 的臨界值。如果該亮度差超過預(yù)置的臨界值，則在比較級圖像中存在對象的 有意義的運(yùn)動(dòng)，并且執(zhí)行對象標(biāo)記步驟(P卯)。如果該亮度差未超過預(yù)置的 臨界值，則省略比較級圖像的對象標(biāo)記步驟，并執(zhí)行P60。
從基準(zhǔn)圖像和比較級圖像中提取對象，并且通過幾何運(yùn)算來計(jì)算對象參 數(shù)(P90)。優(yōu)選地，執(zhí)行從圖像的對象提取，使得該圖像被轉(zhuǎn)換為二進(jìn)制圖 像。二進(jìn)制圖像中彼此相連的白像素組被識別為對象，并且提取該對象。更 優(yōu)選地，執(zhí)行從圖像的對象提取，使得在對象被識別并且從邊界銳化后圖像 和二進(jìn)制圖像的合成圖像中提取之前，該圖像被過濾以便邊界銳化并被合成。 用于提取對象參數(shù)的處理在上面進(jìn)行了詳細(xì)描述，并省略其描述。
從基準(zhǔn)圖像和比較級圖像中提取的對象參數(shù)彼此匹配，并且計(jì)算比較級圖像相對于基準(zhǔn)圖像的運(yùn)動(dòng)值(pioo)。這里，每個(gè)比較級圖像的運(yùn)動(dòng)值包括
從由根據(jù)平移的運(yùn)動(dòng)值、根據(jù)旋轉(zhuǎn)的運(yùn)動(dòng)值、根據(jù)比例縮放的運(yùn)動(dòng)值、和根 據(jù)修剪的運(yùn)動(dòng)值、或者它們的組合組成的組中選擇的任意一個(gè)。然后，使用 所計(jì)算的運(yùn)動(dòng)值計(jì)算用于運(yùn)動(dòng)補(bǔ)償?shù)木仃?，并且通過仿射變換對比較級圖像
補(bǔ)償運(yùn)動(dòng)(P110)。
接下來，該處理檢查運(yùn)動(dòng)補(bǔ)償后的比較級圖像的順序(k)達(dá)到了預(yù)置數(shù) (N) (P120)。 N是用于補(bǔ)償圖像的手抖動(dòng)的捕獲靜止圖像的數(shù)目，并且被 預(yù)先設(shè)置。根據(jù)P120，如果k小于或等于N，則執(zhí)行P60，以便使比較級圖 像的順序遞增l，并且處理返回到P30。然后，輸入第二捕獲靜止圖像到第N 捕獲靜止圖作為比較級圖像，計(jì)算比較級圖像的運(yùn)動(dòng)值，并使用該運(yùn)動(dòng)值對 比較級圖像補(bǔ)償運(yùn)動(dòng)。重復(fù)該處理，直到k大于N為止。如果k大于N，則 對所有比較級圖像補(bǔ)償運(yùn)動(dòng)，并由此執(zhí)行P130。
運(yùn)動(dòng)補(bǔ)償后比較級圖像和(其中判斷出基本上不存在對象的運(yùn)動(dòng)的)沒 有實(shí)質(zhì)運(yùn)動(dòng)的比較級圖像與基準(zhǔn)圖像重疊，以便生成手抖動(dòng)補(bǔ)償后圖像 (P130)。上面更詳細(xì)地描述了圖像重疊。在一些情況下，可以從用于圖像重 疊的圖像中排除其中判斷出基本上不存在對象的運(yùn)動(dòng)的比較級圖像。對于那 些圖像，可以省略P40到P80,以便減少手抖動(dòng)補(bǔ)償單元140的操作開銷。
盡管圖8中未示出，但是本發(fā)明可在從基準(zhǔn)圖像和比較級圖像中提取對 象之前、還包括縮小基準(zhǔn)圖像和比較級圖像或者通過剪切圖像的邊界來調(diào)整 基準(zhǔn)圖像和比較級圖像的尺寸。本發(fā)明可以還包括圖像選擇步驟。在計(jì)算比 較級圖像相對于基準(zhǔn)圖像的運(yùn)動(dòng)矢量之后，并且如果運(yùn)動(dòng)矢量的幅度超過臨 界值，則從運(yùn)動(dòng)補(bǔ)償中排除對應(yīng)的比較級圖像。在計(jì)算基準(zhǔn)圖像與比較級圖 像之間的亮度差之后，并且如果該亮度差不超過臨界值，則從運(yùn)動(dòng)補(bǔ)償中排 除對應(yīng)的比較級圖像。圖像尺寸調(diào)整步驟或者圖像選擇步驟可以減少用于對 象提取所需的操作開銷。
現(xiàn)在描述在獲得手抖動(dòng)補(bǔ)償后圖像之后的圖像屬性校正。
參考圖1，在通過手抖動(dòng)補(bǔ)償單元140生成手抖動(dòng)補(bǔ)償后圖像之后，使 用在預(yù)覽模式中獲得的預(yù)覽圖像(DP)校正手抖動(dòng)補(bǔ)償后圖像的各種屬性。
優(yōu)選地，使用預(yù)覽圖像(DP)校正的手抖動(dòng)補(bǔ)償后圖像的屬性包括圖像 色彩、圖像噪聲和圖像亮度。為此目的，施加圖像處理模塊40被提供有圖像 屬性校正單元150，該圖像屬性校正單元150包括色彩校正單元151、噪聲校
21正單元l52和亮度校正單元153。優(yōu)選地，按照校正圖像色彩、圖像噪聲和
圖像亮度的順序，依次執(zhí)行手抖動(dòng)補(bǔ)償后圖像的圖像屬性校正。然而，本發(fā) 明不限于特定順序的圖像屬性校正，并可以按照任意順序來執(zhí)行圖像屬性校 正。
參考圖1和9來描述色彩校正處理。首先，色彩校正單元151將手抖動(dòng) 補(bǔ)償后圖像按比例縮放到預(yù)覽圖像(DP)的尺寸，以便生成縮小的圖像(SIO)。 接下來，色彩校正單元151使用預(yù)覽圖像(DP)作為基準(zhǔn)圖像來計(jì)算縮小的 圖像的運(yùn)動(dòng)矢量(S20)。運(yùn)動(dòng)矢量表示縮小的圖像中包含的對象相對于預(yù)覽 圖像(DP)的移動(dòng)方向和移動(dòng)量。運(yùn)動(dòng)矢量可以按照諸如MPEG (運(yùn)動(dòng)圖像 專家組)或R26x之類的公知圖像壓縮標(biāo)準(zhǔn)的典型方式來計(jì)算。即，按照縮 小的圖像被劃分為均勻尺寸的塊的方式來計(jì)算運(yùn)動(dòng)矢量，并且推斷出從中移 動(dòng)每個(gè)塊的基準(zhǔn)圖像的面積。在計(jì)算運(yùn)動(dòng)矢量之后，色彩校正單元151根據(jù) 該運(yùn)動(dòng)矢量來移動(dòng)預(yù)覽圖像(DP)的每個(gè)像素?cái)?shù)據(jù)的位置(S30)。然后，色 彩校正單元151基于完成了每個(gè)像素?cái)?shù)據(jù)的位置移動(dòng)處理的預(yù)覽圖像(DP), 使用內(nèi)插方法，來校正手抖動(dòng)補(bǔ)償后圖像的像素?cái)?shù)據(jù)(S40)。即，色彩校正 單元151基于(當(dāng)生成縮小的圖像時(shí)應(yīng)用的)縮放因子，將預(yù)覽圖像(DP) 的每個(gè)像素?cái)?shù)據(jù)的位置(Xi， y」)轉(zhuǎn)換為手抖動(dòng)補(bǔ)償后圖像的位置(X!， Yj)。 接下來，色彩校正單元151用對應(yīng)于預(yù)覽圖像(DP)的位置(Xi, y"的像素 數(shù)據(jù)替換對應(yīng)于手抖動(dòng)補(bǔ)償后圖像的位置(X!， Yj )的像素?cái)?shù)據(jù)。預(yù)覽圖像(DP) 的像素的數(shù)目小于手抖動(dòng)補(bǔ)償后圖像的像素的數(shù)目，并由此手抖動(dòng)補(bǔ)償后圖 像的所有像素?cái)?shù)據(jù)不被預(yù)覽圖像(DP)的像素?cái)?shù)據(jù)替代。因此，色彩校正單 元151對手抖動(dòng)補(bǔ)償后圖像的像素?cái)?shù)據(jù)進(jìn)行內(nèi)插，以便使用相鄰的替代后的 像素?cái)?shù)據(jù)來填充未被預(yù)覽圖像(DP)的像素?cái)?shù)據(jù)替代的像素。所述內(nèi)插方法 包括雙線性(Bi畫linear)內(nèi)插、雙立方(Bi-Cubic)內(nèi)插或B-樣條(B-spline) 內(nèi)插，然而，本發(fā)明不限于這一點(diǎn)。
經(jīng)過上述色彩校正處理的手抖動(dòng)補(bǔ)償后圖像被輸入到施加圖像處理模塊 40的噪聲校正單元152。噪聲校正單元152使用各種公知噪聲濾波器來去膝 手抖動(dòng)補(bǔ)償后圖像的噪聲和錯(cuò)誤色彩。所述濾波器包括低通濾波器、中值濾 波器、高斯濾波器、高斯濾波器的拉普拉斯算子、或者高斯濾波器的差。然 而，本發(fā)明不限于這一點(diǎn)，可以使用其他公知的濾波技術(shù)來去除噪聲。
經(jīng)過如上所述的噪聲和錯(cuò)誤色彩去除的手抖動(dòng)補(bǔ)償后圖像被輸入到亮度校正單元153。亮度校正單元153定量地計(jì)算預(yù)覽圖像(DP)與手抖動(dòng)補(bǔ)償 后圖像之間的亮度差，自適應(yīng)地確定手抖動(dòng)補(bǔ)償后圖像的亮度校正強(qiáng)度，并 且校正手抖動(dòng)補(bǔ)償后圖像的亮度。
參考圖l和圖IO來描述亮度校正處理。首先，亮度校正單元153將手抖 動(dòng)補(bǔ)償后圖像縮小到預(yù)覽圖像(DP)的尺寸，以便生成縮小的圖像(S50)。 這時(shí)，不需要單獨(dú)地執(zhí)行步驟S50，并且可以再次使用為色彩校正而生成的 縮小的圖像。接下來，亮度校正單元153定量地計(jì)算縮小的圖像與預(yù)覽圖像 (DP)之間的亮度差(S60)。該亮度差可以使用兩個(gè)圖像之間的直方圖的平 均值的差來計(jì)算。例如，在縮小的圖像和預(yù)覽圖像(DP)的直方圖的平均值 分別為"85"和"140"的情況下，平均值的差為"55"。接下來，亮度校正 單元153根據(jù)平均值的差自適應(yīng)地確定亮度校正強(qiáng)度，并且通過所確定的強(qiáng) 度來校正手抖動(dòng)補(bǔ)償后圖像的亮度(S70 )?？梢詫①ゑR函數(shù)或Retinex算法應(yīng) 用于亮度校正。在這種情況下，亮度校正強(qiáng)度是伽馬函數(shù)或Retinex算法的強(qiáng) 度。為了自適應(yīng)地選擇亮度校正算法的強(qiáng)度，優(yōu)選地以查找表170的形式準(zhǔn) 備可根據(jù)平均值的差選擇的強(qiáng)度等級，并且參考該查找表170。
通過定義第 一曝光值和第二曝光值的參數(shù)之間的差，可以定量地計(jì)算手 抖動(dòng)補(bǔ)償后圖像與預(yù)覽圖像(DP)之間的亮度差。也就是，手抖動(dòng)補(bǔ)償后圖 像與預(yù)覽圖像(DP)之間的亮度差可以通過定義第一曝光值和第二曝光值的 參數(shù)(即，"f，和'T，)之間的差進(jìn)行計(jì)算。例如，在對應(yīng)于第一曝光值的"f， 和T值分別是"1/30"和"200"、以及對應(yīng)于第二曝光值的"f，和T 值分別是"1/60"和"100"的情況下，快門速度和ISO增益的差分別被定量 計(jì)算為"1/60"和"100"。接下來，亮度校正單元153通過"f，和T值的 差來自適應(yīng)地確定亮度校正強(qiáng)度，并且校正手抖動(dòng)補(bǔ)償后圖像的亮度。可按 照與上述實(shí)施例相同的方式將伽馬函數(shù)或Retinex算法應(yīng)用于亮度校正。在這 種情況下，亮度校正強(qiáng)度是伽馬函數(shù)或Retinex算法的強(qiáng)度。為了自適應(yīng)地選 擇亮度校正算法的強(qiáng)度，優(yōu)選地以查找表的形式準(zhǔn)備可根據(jù)"f，和'T，值的 差選擇的強(qiáng)度等級，并且參考該查找表。
本發(fā)明中用于校正手抖動(dòng)補(bǔ)償后圖像的亮度的伽馬函數(shù)或Retinex算法 在現(xiàn)有技術(shù)中廣為人知，并在此處省略其詳細(xì)描述。本發(fā)明不限于特定種類 的亮度校正函數(shù)或算法，并且可以應(yīng)用用于調(diào)節(jié)手抖動(dòng)補(bǔ)償后圖像的亮度的 各種/》知理i侖。
23在色彩校正單元151、噪聲校正單元152和亮度校正單元153校正處理 之后，編碼并輸出手抖動(dòng)補(bǔ)償后圖像。為此目的，施加圖像處理模塊40還包 括用于編碼該手抖動(dòng)補(bǔ)償后圖像的編碼單元160。優(yōu)選地，編碼單元160通 過JPEG標(biāo)準(zhǔn)來編碼手抖動(dòng)補(bǔ)償后圖像，以便生成圖像文件并輸出該圖像文 件。然而，本發(fā)明不限于特定的編碼方法。所述圖像文件可被存儲(chǔ)在數(shù)字拍 攝裝置的備用(inactive)存儲(chǔ)介質(zhì)例如閃存中。 -
用戶接口 60是提供給數(shù)字拍攝裝置的普通接口，用于調(diào)節(jié)用于獲得數(shù)字 圖像所需的各種參數(shù)(例如數(shù)字相機(jī)的焦點(diǎn)、光學(xué)或數(shù)字放大/縮小、白平衡 或曝光模式)，并操作快門。如果數(shù)字拍攝裝置被安裝在諸如移動(dòng)電話之類的 手持式終端中，則用戶接口 60可實(shí)施為手持式終端的小鍵盤。
現(xiàn)在描述如上配置的使用對象跟蹤的用于數(shù)字圖像穩(wěn)定的設(shè)備的數(shù)字拍 攝處理。下述假設(shè)在操作數(shù)字拍攝裝置之后，通過用戶接口 60的操縱來啟 動(dòng)拍攝模式。
參考圖1和11，當(dāng)拍攝模式開始時(shí)，施加圖像處理模塊40將傳感器數(shù) 據(jù)表130加載到存儲(chǔ)器中，該數(shù)據(jù)表130用于基于第一曝光值條件而選擇第 二曝光值條件。然后，當(dāng)拍攝模式開始時(shí)，施加圖像處理模塊40控制傳感器 控制器30將圖像傳感器IO設(shè)置為第一曝光值條件(FIO)。用于定義曝光值 的參數(shù)(例如快門速度"f，和ISO增益'T，)參考傳感器數(shù)據(jù)表130。優(yōu)選 地，第一曝光值條件對應(yīng)于自動(dòng)曝光模式?？商鎿Q地，第一曝光值條件可以 通過用戶接口 60由用戶任意地設(shè)置。
當(dāng)圖像傳感器10被設(shè)置為第一曝光值條件時(shí)，施加圖像處理模塊40向 傳感器控制器30請求生成預(yù)覽圖像(F20)。然后，傳感器控制器30將預(yù)覽 圖像生成信號周期地發(fā)送到圖像傳感器10 (F30)。然后，圖像傳感器10按 照規(guī)則幀間隔以模擬圖像信號的形式將物體的預(yù)覽圖像(AP)輸出到圖像信 號處理單元20 (F40)。圖像信號處理單元20對從圖像傳感器IO周期地接收 的預(yù)覽圖像信號進(jìn)行數(shù)字化，將數(shù)字化的圖像信號縮小到取景器90的顯示器 的尺寸，并且將縮小的圖像輸出到施加圖像處理模塊40 (F50)。接著，施加 圖像處理模塊40接收縮小的預(yù)覽圖像(DP)并且在顯示存儲(chǔ)器70中周期地 存儲(chǔ)該預(yù)覽圖像(DP) (F60)。顯示操作單元80讀取在顯示存儲(chǔ)器70中周 期地存儲(chǔ)的預(yù)覽圖像(DP ) (F70 )。接下來，顯示操作單元80將預(yù)覽圖像(DP ) 轉(zhuǎn)換為模擬圖像信號，并且通過取景器90的顯示器按照規(guī)則間隔輸出預(yù)覽圖像(DP ) ( F80 )。
圖12示出了下列處理，其中通過在4喿作數(shù)字拍攝裝置的快門時(shí)生成預(yù)覽 圖像(DP)和手抖動(dòng)補(bǔ)償后圖像、并且基于預(yù)覽圖像(DP)的屬性校正手抖 動(dòng)補(bǔ)償后圖像的屬性，來校正捕獲靜止圖像的圖像模糊現(xiàn)象。
參考圖1和12，當(dāng)拍攝者在取景器90的顯示器中捕獲期望的圖像并且 操作快門時(shí)，施加圖像處理模塊40將圖像處理模式從預(yù)覽模式改變?yōu)殪o止圖 像捕獲模式。接著，施加圖像處理模塊40從顯示存儲(chǔ)器70中讀取在操作快 門之前的最近時(shí)間生成的預(yù)覽圖像(DP),以便獲得預(yù)覽圖像(DP) (FIOO)。 接著，施加圖像處理模塊40通過參考傳感器數(shù)據(jù)表基于第一曝光值條件來自 適應(yīng)地確定第二曝光值條件，并且控制傳感器控制器30將圖像傳感器10設(shè) 置為第二曝光條件(FllO)。用于基于第一曝光值條件計(jì)算第二曝光值條件的 配置如上所述。
當(dāng)圖像傳感器10被設(shè)置為第二曝光值條件時(shí)，施加圖像處理模塊40向 傳感器控制器30請求生成多個(gè)捕獲靜止圖像(F120 )。傳感器控制器30將多 個(gè)捕獲靜止圖像生成信號發(fā)送到圖像傳感器IO(FDO)。然后，圖像傳感器 10以規(guī)則間隔連續(xù)地捕獲物體的多個(gè)捕獲靜止圖像(AC)，并且以模擬圖像 信號的形式將捕獲靜止圖像(AC )順序地輸出到圖像信號處理單元20( F140 )。 圖像信號處理單元20對從圖像傳感器IO接收的多個(gè)捕獲靜止圖像(AC)進(jìn) 行數(shù)字化，將數(shù)字化的圖像的尺寸縮放到由拍攝者通過用戶接口 60設(shè)置的圖 像尺寸，并且將縮放后的圖像輸出到施加圖像處理模塊40 (F150)。
然后，施加圖像處理模塊40分類多個(gè)捕獲靜止圖像(DC),使得單個(gè)捕 獲靜止圖像被用作基準(zhǔn)圖像，其他捕獲靜止圖像被用作比較級圖像。該施加 圖像處理模塊40補(bǔ)償比較級圖像相對于基準(zhǔn)圖像的運(yùn)動(dòng)，并且將運(yùn)動(dòng)補(bǔ)償后 比較級圖像與基準(zhǔn)圖像重疊，以便生成手抖動(dòng)補(bǔ)償后圖像。接著，施加圖像 處理模塊40使用預(yù)覽圖像(DP)的色彩和亮度屬性來校正手抖動(dòng)補(bǔ)償后圖 像的色彩和亮度，并且從手抖動(dòng)補(bǔ)償后圖像中去除各種噪聲和色彩缺陷，以 便獲得免于由于手抖動(dòng)引起的圖像模糊現(xiàn)象的捕獲靜止圖像。所獲得的捕獲 靜止圖像被編碼，并且以文件的形式記錄到存儲(chǔ)介質(zhì)中或者通過取景器90輸 出。
圖13比較圖像(A)和圖像(B)，該圖像(A)由在自動(dòng)曝光模式中沒 有圖像穩(wěn)定功能的典型數(shù)字拍攝裝置拍攝，而該圖像(B)由執(zhí)行根據(jù)本發(fā)明的使用對象跟蹤的數(shù)字圖像穩(wěn)定方法的數(shù)字拍攝裝置拍攝。如圖13所示，由 根據(jù)本發(fā)明的數(shù)字圖像穩(wěn)定方法獲得的圖像免于圖像模糊現(xiàn)象，并且更加明 亮和清晰。
在上述實(shí)施例中，圖像信號處理單元20和施加圖像處理模塊40是根據(jù) 它們的功能劃分的單獨(dú)單元。然而，圖像信號處理單元20和施加圖像處理模 塊40可被集成到單個(gè)模塊中，或者施加圖像處理模塊40中包含的至少一個(gè) 子元件可被構(gòu)造為單獨(dú)模塊。而且，預(yù)覽圖像(DP)的縮放因子不受取景器 90的顯示器的尺寸的限制。因此，預(yù)覽圖像(DP)的縮放因子可以根據(jù)用于 運(yùn)動(dòng)補(bǔ)償?shù)牟东@靜止圖像(DC)的尺寸而改變。例如，可以調(diào)節(jié)預(yù)覽圖像(DP) 的縮放因子，使得捕獲靜止圖像(DC)的寬度和高度是預(yù)覽圖像(DC)的 寬度和高度的整數(shù)倍。在這種情況下，當(dāng)校正捕獲靜止圖像(DC)的色彩時(shí)， 在映射預(yù)覽圖像(DP)和捕獲靜止圖像(DC)的像素?cái)?shù)據(jù)的位置方面，減少 了操作開銷。
根據(jù)本發(fā)明的數(shù)字圖像穩(wěn)定方法可被合并為計(jì)算機(jī)可讀介質(zhì)中的計(jì)算機(jī) 可讀代碼。該計(jì)算機(jī)可讀介質(zhì)包括用于存儲(chǔ)可由計(jì)算機(jī)系統(tǒng)讀取的數(shù)據(jù)的各 種存儲(chǔ)裝置。計(jì)算機(jī)可讀介質(zhì)的一些示例是ROM、 RAM、 CD-ROM、磁帶、 軟盤或光數(shù)據(jù)存儲(chǔ)裝置，并且能夠以載波(例如經(jīng)由因特網(wǎng)傳輸)的形式合 并。計(jì)算機(jī)可讀介質(zhì)可以存儲(chǔ)并運(yùn)行在經(jīng)由網(wǎng)絡(luò)彼此連接的計(jì)算機(jī)系統(tǒng)中分 發(fā)并且可由計(jì)算機(jī)通過分發(fā)方法讀取的代碼。
上面僅描述了一些實(shí)施方式?；诒旧暾堉兴枋黾八鶊D示的發(fā)明，可 以估支出其他實(shí)現(xiàn)、增強(qiáng)和變形。
根據(jù)本發(fā)明的一方面，與EIS或OIS技術(shù)不同，本發(fā)明能夠去除由于手 抖動(dòng)引起的圖像模糊現(xiàn)象，而不需要用于測量手抖動(dòng)程度的硬件，例如角速 度傳感器或棱鏡。因此，本發(fā)明降低了數(shù)字拍攝裝置的制造成本，并且獲得 了良好質(zhì)量的數(shù)字靜止圖像。
根據(jù)本發(fā)明的另一方面，與DIS技術(shù)不同，本發(fā)明在存儲(chǔ)捕獲靜止圖像 時(shí)不涉及數(shù)字縮放。因此本發(fā)明能夠獲得比DIS技術(shù)更好質(zhì)量的數(shù)字靜止圖 像。
根據(jù)本發(fā)明的另 一方面，本發(fā)明使用保持物體的亮度和色彩屬性的預(yù)覽 圖像來校正捕獲靜止圖像。因此本發(fā)明能夠獲得更清晰更亮的數(shù)字靜止圖像。 根據(jù)本發(fā)明的另一方面，本發(fā)明使用濾波器來去除在校正捕獲靜止圖像的色彩數(shù)據(jù)時(shí)創(chuàng)建的噪聲，由此改善了圖像的質(zhì)量<
權(quán)利要求
1. 一種用于數(shù)字圖像穩(wěn)定的設(shè)備，包括圖像信號處理單元，操作用于輸出在第一曝光值條件下獲得的第一數(shù)字圖像數(shù)據(jù)和在第二曝光值條件下獲得的多個(gè)第二數(shù)字圖像數(shù)據(jù)；補(bǔ)償單元，操作用于使用對象跟蹤來補(bǔ)償多個(gè)比較級第二數(shù)字圖像相對于基準(zhǔn)第二數(shù)字圖像的運(yùn)動(dòng)，和通過將每個(gè)補(bǔ)償后比較級圖像與基準(zhǔn)圖像重疊，來生成補(bǔ)償后圖像；和圖像屬性校正單元，操作用于基于該第一數(shù)字圖像的屬性來校正補(bǔ)償后圖像的屬性。
2. 如權(quán)利要求l所述的設(shè)備，其中所述圖像信號處理單元操作用于從圖像傳感器接收第一曝光值條件下的 圖像信號和第二曝光值條件下的多個(gè)圖像信號；和所述設(shè)備還包括曝光模式轉(zhuǎn)換單元，操作用于基于第一曝光值條件自適應(yīng)地確定第二曝光值條件，和將圖像傳感器的曝光屬性從第 一曝光值條件改變?yōu)榈诙毓庵禇l件。
3. 如權(quán)利要求l所述的設(shè)備，其中 所述第一曝光值條件是自動(dòng)曝光模式的曝光值條件，和 所述第二曝光值條件是與比自動(dòng)曝光模式的照度更低的照度對應(yīng)的曝光值條件。
4. 如權(quán)利要求2所述的設(shè)備，還包括 傳感器控制器，操作用于改變圖像傳感器的曝光值條件；和 傳感器數(shù)據(jù)表，定義基于第一曝光值條件而選擇的第二曝光值條件；和 其中所述曝光模式轉(zhuǎn)換單元通過參考所述傳感器數(shù)據(jù)表而基于第一曝光值條件確定第二曝光值條件，并且控制所述傳感器控制器將圖像傳感器的曝 光值條件改變?yōu)榈诙毓庵禇l件。
5. 如權(quán)利要求l所述的設(shè)備，其中所述第一數(shù)字圖像數(shù)據(jù)是在自動(dòng)曝光 模式中獲得的預(yù)覽圖像數(shù)據(jù)。
6. 如權(quán)利要求5所述的設(shè)備，其中所述第一數(shù)字圖像數(shù)據(jù)是在預(yù)覽模式 中以規(guī)則幀間隔生成預(yù)覽圖像數(shù)據(jù)的快門操作之前生成的預(yù)覽圖像數(shù)據(jù)。
7. 如權(quán)利要求l所述的設(shè)備，其中所述第二數(shù)字圖像數(shù)據(jù)是在圖像捕獲 模式中以規(guī)則時(shí)間間隔生成的全尺寸捕獲靜止圖像數(shù)據(jù)。
8. 如權(quán)利要求l所述的設(shè)備，其中所述補(bǔ)償單元包括 對象標(biāo)記單元，操作用于將多個(gè)第二數(shù)字圖像分類為基準(zhǔn)圖像和比較級圖像，和使用對象跟蹤來標(biāo)記基準(zhǔn)圖像的對象和每個(gè)比較級圖像的對象； 運(yùn)動(dòng)值計(jì)算單元，操作用于將每個(gè)比較級圖像的對象與基準(zhǔn)圖像的對象進(jìn)行匹配， 計(jì)算匹配后的對象的參數(shù)，和通過所計(jì)算的參數(shù)來計(jì)算每個(gè)比較級圖像相對于基準(zhǔn)圖像的運(yùn)動(dòng)值；運(yùn)動(dòng)補(bǔ)償單元，操作用于將每個(gè)所計(jì)算的運(yùn)動(dòng)值施加到對應(yīng)的比較級圖像，以便補(bǔ)償每個(gè)比較級圖像的運(yùn)動(dòng)；和補(bǔ)償后圖像生成單元，操作用于將每個(gè)運(yùn)動(dòng)補(bǔ)償后比較級圖像與基準(zhǔn)圖 像重疊，以便生成補(bǔ)償后圖像。
9. 如權(quán)利要求8所述的設(shè)備，其中所述對象標(biāo)記單元包括 圖像二值化單元，操作用于將基準(zhǔn)圖像和每個(gè)比較級圖像轉(zhuǎn)換為二進(jìn)制圖像；和對象標(biāo)記器，操作用于從基準(zhǔn)二進(jìn)制圖像和每個(gè)比較級二進(jìn)制圖像中提取對象，和 標(biāo)記所提取的對象。
10. 如權(quán)利要求9所述的設(shè)備，其中所述對象標(biāo)記單元還包括 圖像濾波器，操作用于過濾基準(zhǔn)圖像和每個(gè)比較級圖像，以便銳化圖像的邊界；和圖像合成器，操作用于將從圖像濾波器輸出的邊界銳化后圖像與二進(jìn)制 圖像進(jìn)行合成，其中所述對象標(biāo)記器對來自合成后圖像的對象進(jìn)行標(biāo)記。
11. 如權(quán)利要求9所述的設(shè)備，還包括圖像尺寸調(diào)整器，用于在第二 數(shù)字圖像被對象標(biāo)記單元處理之前，通過將第二數(shù)字圖像的尺寸按比例縮放為預(yù)定尺寸或者從第二數(shù)字圖像中剪切預(yù)定寬度的邊界，來調(diào)整多個(gè)第二數(shù) 字圖像的尺寸。
12. 如權(quán)利要求9所述的設(shè)備，還包括圖像選擇單元，操作用于如果 滿足下列條件比較級圖像相對于基準(zhǔn)圖像的運(yùn)動(dòng)矢量的幅度超過第一臨界值，或者 基準(zhǔn)圖像與比較級圖像之間的亮度差不超過第二臨界值， 則從用于對象標(biāo)記的圖像中排除該比較級圖像。
13. 如權(quán)利要求9所述的設(shè)備，其中每個(gè)比較級圖像的運(yùn)動(dòng)值包括從由 根據(jù)平移的運(yùn)動(dòng)值、根據(jù)旋轉(zhuǎn)的運(yùn)動(dòng)值、根據(jù)按比例縮放的運(yùn)動(dòng)值、和根據(jù) 修剪的運(yùn)動(dòng)值、或者它們的組合組成的組中選擇的任意一個(gè)。
14. 如權(quán)利要求l所述的設(shè)備，其中所述圖像屬性校正單元包括色彩校 正單元，用于通過下列步驟來校正補(bǔ)償后圖像的色彩用第一數(shù)字圖像的像素?cái)?shù)據(jù)替換補(bǔ)償后圖像的像素?cái)?shù)據(jù)，或者 考慮補(bǔ)償后圖像與第一數(shù)字圖像之間的尺寸比率，基于第一數(shù)字圖像的 像素?cái)?shù)據(jù)來對補(bǔ)償后圖像的像素?cái)?shù)據(jù)進(jìn)行內(nèi)插。
15. 如權(quán)利要求l所述的設(shè)備，其中所述圖像屬性校正單元包括亮度校正單元，操作用于計(jì)算第 一數(shù)字圖像與補(bǔ)償后圖像之間的亮度差，自適應(yīng)地選擇亮度校正強(qiáng)度，和通過所選擇的亮度校正強(qiáng)度來校正補(bǔ)償后圖像的亮度。
16. —種使用對象跟蹤的用于數(shù)字圖像穩(wěn)定的方法，包括接收在第 一曝光值條件下獲得的第 一數(shù)字圖像數(shù)據(jù)和在第二曝光值條件 下獲得的多個(gè)第二數(shù)字圖像數(shù)據(jù)；使用對象跟蹤來補(bǔ)償多個(gè)比較級第二數(shù)字圖像相對于基準(zhǔn)第二數(shù)字圖像 的運(yùn)動(dòng)，并且通過將每個(gè)補(bǔ)償后比較級圖像與基準(zhǔn)圖像重疊，來生成補(bǔ)償后 圖像；和基于第一數(shù)字圖像的屬性來校正補(bǔ)償后圖像的屬性。
17. 如權(quán)利要求16所述的方法，還包括在接收第一數(shù)字圖像數(shù)據(jù)和第 二數(shù)字圖像數(shù)據(jù)之前，加載用于定義基于第一曝光值條件選擇的第二曝光值條件的傳感器數(shù)據(jù)表；感測第一曝光值條件，在所迷第一曝光值條件下拍攝第一數(shù)字圖像； 通過參考所述傳感器數(shù)據(jù)表，而基于第一曝光值條件自適應(yīng)地確定第二 曝光值條件；和將圖像傳感器的曝光屬性從第 一曝光值條件改變?yōu)榈诙毓庵禇l件。
18. 如權(quán)利要求16所述的方法，其中 所述第一曝光值條件是自動(dòng)曝光模式的曝光值條件，和 所述第二曝光值條件是與比自動(dòng)曝光模式的照度更低的照度對應(yīng)的曝光值條件。
19. 如權(quán)利要求16所述的方法，其中所述第一數(shù)字圖像數(shù)據(jù)是在自動(dòng)曝 光模式中以規(guī)則幀間隔生成預(yù)覽圖像數(shù)據(jù)的快門操作之前生成的預(yù)覽圖像數(shù) 據(jù)。
20. 如權(quán)利要求16所述的方法，其中所述第二數(shù)字圖像數(shù)據(jù)是在圖像捕 獲模式中以規(guī)則時(shí)間間隔生成的捕獲靜止圖像數(shù)據(jù)。
21. 如權(quán)利要求16所述的方法，其中所述補(bǔ)償運(yùn)動(dòng)的步驟包括 將多個(gè)第二數(shù)字圖像分類為基準(zhǔn)圖像和比較級圖像； 從基準(zhǔn)圖像和每個(gè)比較級圖像中提取對象，標(biāo)記所提取的對象，并且計(jì)算每個(gè)標(biāo)記的對象的參數(shù)；將每個(gè)比較級圖像的對象與基準(zhǔn)圖像的對象進(jìn)行匹配，并且使用所匹配 的對象的參數(shù)來計(jì)算每個(gè)比較級圖像的運(yùn)動(dòng)值；將每個(gè)所計(jì)算的運(yùn)動(dòng)值施加到對應(yīng)的比較級圖像，以便補(bǔ)償每個(gè)比較級圖像的運(yùn)動(dòng)；和將每個(gè)運(yùn)動(dòng)補(bǔ)償后比較級圖像與基準(zhǔn)圖像重疊，以便生成手抖動(dòng)補(bǔ)償后 圖像。
22. 如權(quán)利要求21所述的方法，其中所述提取對象的步驟包括 將用于對象提取的圖像轉(zhuǎn)換為二進(jìn)制圖像；和檢測對象，該對象包括二進(jìn)制圖像中彼此相連的多個(gè)白像素；和 提取該對象。
23. 如權(quán)利要求21所述的方法，其中所述提取對象的步驟包括 過濾圖像以便銳化圖像的邊界；將所述圖像轉(zhuǎn)換為二進(jìn)制圖像； 將邊界銳化后圖像與二進(jìn)制圖像進(jìn)行合成；檢測對象，該對象包括合成后圖像中彼此相連的多個(gè)白像素；和 提取該對象。
24. 如權(quán)利要求21所述的方法，還包括在提取對象之前， 將每個(gè)第二數(shù)字圖像按比例縮放或者邊界剪切到預(yù)定尺寸，以便調(diào)整第二數(shù)字圖像的尺寸；或 如果滿足下列條件比較級圖像的運(yùn)動(dòng)矢量的幅度超過第一臨界值，或者 基準(zhǔn)圖像與比較級圖像之間的亮度差不超過第二臨界值， 則從用于對象標(biāo)記的圖像中排除該比較級圖像。
25. 如權(quán)利要求21所述的方法，其中每個(gè)比較級圖像的運(yùn)動(dòng)值包括從由 根據(jù)平移的運(yùn)動(dòng)值、根據(jù)旋轉(zhuǎn)的運(yùn)動(dòng)值、根據(jù)按比例縮放的運(yùn)動(dòng)值、和根據(jù) 修剪的運(yùn)動(dòng)值、或者它們的組合組成的組中選擇的任何一個(gè)。
26. 如權(quán)利要求16所述的方法，其中所述校正屬性的步驟包括通過下列 步驟來校正補(bǔ)償后圖像的色彩用第一數(shù)字圖像的像素?cái)?shù)據(jù)替換補(bǔ)償后圖像的像素?cái)?shù)據(jù)，或者 考慮補(bǔ)償后圖像與第 一數(shù)字圖像之間的尺寸比率，而根據(jù)第 一數(shù)字圖像 的像素?cái)?shù)據(jù)來對補(bǔ)償后圖像的像素?cái)?shù)據(jù)進(jìn)行內(nèi)插。
27. 如權(quán)利要求16所述的方法，其中所述校正屬性的步驟包括計(jì)算第 一數(shù)字圖像與補(bǔ)償后圖像之間的亮度差；自適應(yīng)地選擇亮度校正強(qiáng)度；和通過所選擇的亮度校正強(qiáng)度來校正補(bǔ)償后圖像的亮度。
全文摘要
一種使用對象跟蹤的用于數(shù)字圖像穩(wěn)定的設(shè)備可以在沒有單獨(dú)硬件的情況下獲得免于由于手抖動(dòng)引起的圖像模糊現(xiàn)象的數(shù)字靜止圖像，并且可以獲得沒有噪聲的明亮清晰的圖像。所述設(shè)備包括圖像信號處理單元，用于輸出在第一曝光值條件下獲得的第一數(shù)字圖像數(shù)據(jù)和在第二曝光值條件下獲得的多個(gè)第二數(shù)字圖像數(shù)據(jù)；手抖動(dòng)補(bǔ)償單元，用于使用對象跟蹤來補(bǔ)償比較級第二數(shù)字圖像相對于基準(zhǔn)第二數(shù)字圖像的運(yùn)動(dòng)，并且通過將每個(gè)補(bǔ)償后比較級圖像與基準(zhǔn)圖像重疊來生成手抖動(dòng)補(bǔ)償后圖像；和圖像屬性校正單元，用于基于第一數(shù)字圖像的屬性來校正手抖動(dòng)補(bǔ)償后圖像的屬性。
文檔編號H04N5/243GK101426092SQ20081017041
公開日2009年5月6日 申請日期2008年11月3日 優(yōu)先權(quán)日2007年11月2日
發(fā)明者李榮信 申請人:韓國科亞電子股份有限公司