專利名稱：手抖動(dòng)補(bǔ)正裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及手抖動(dòng)補(bǔ)正裝置。
背景技術(shù)：
靜止畫面手抖動(dòng)補(bǔ)正技術(shù)是減輕靜止畫面攝影中的手抖動(dòng)的技術(shù)，檢測(cè)手抖動(dòng)，根據(jù)其檢測(cè)結(jié)果使圖像穩(wěn)定，從而實(shí)現(xiàn)。
在檢測(cè)手抖動(dòng)的方法中，有使用手抖動(dòng)傳感器(角速度傳感器)的方法、解析并檢測(cè)圖像的電子方式。在使圖像穩(wěn)定的方法中有使透鏡或攝像元件穩(wěn)定的光學(xué)方式、由圖像處理除去由手抖動(dòng)引起的模糊的電子方式。
而完全電子方式的手抖動(dòng)補(bǔ)正技術(shù)即通過只解析/處理拍攝后的一個(gè)手抖動(dòng)圖像，而生成除去手抖動(dòng)的圖像的技術(shù)沒有達(dá)到實(shí)用水平。難以通過解析一個(gè)手抖動(dòng)圖像，求出由手抖動(dòng)傳感器取得的精度的手抖動(dòng)信號(hào)。
因此，使用手抖動(dòng)傳感器檢測(cè)手抖動(dòng)，使用該手抖動(dòng)數(shù)據(jù)，通過圖像處理除去手抖動(dòng)模糊是現(xiàn)實(shí)的。把基于圖像處理的模糊的除去稱作圖像復(fù)原?；谑侄秳?dòng)傳感器和圖像復(fù)原的手法在這里稱作電子方式手抖動(dòng)補(bǔ)正。須指出的是，把使用手抖動(dòng)傳感器檢測(cè)手抖動(dòng)，驅(qū)動(dòng)光學(xué)系統(tǒng)(透鏡、攝像元件)，補(bǔ)正圖像的手法稱作光學(xué)方式手抖動(dòng)補(bǔ)正。電子方式手抖動(dòng)補(bǔ)正與光學(xué)方式手抖動(dòng)補(bǔ)正相比，在成本、尺寸、耗電方面具有優(yōu)點(diǎn)。本發(fā)明涉及電子方式手抖動(dòng)補(bǔ)正。
可是，如果手抖動(dòng)或照相模糊等圖像的惡化過程明確，則通過使用溫納濾波器或稱作一般反濾波器的圖像復(fù)原濾波器，能減輕該惡化。圖像復(fù)原濾波器一般由二維FIR濾波器構(gòu)成。由硬件實(shí)現(xiàn)手抖動(dòng)補(bǔ)正裝置時(shí)，二維FIR濾波器的尺寸由于硬件的制約，抽頭尺寸的上限值固定。因此，如果手抖動(dòng)尺寸變?yōu)槟骋欢ㄖ狄陨?，圖像復(fù)原濾波器的全部系數(shù)成分就不能進(jìn)入二維FIR濾波器的抽頭數(shù)內(nèi)，補(bǔ)正效果下降。因此，能進(jìn)行圖像復(fù)原的手抖動(dòng)尺寸的上限值受制約。
發(fā)明內(nèi)容
本發(fā)明的目的在于，提供即使手抖動(dòng)尺寸大時(shí)，也能取得充分的補(bǔ)正效果的手抖動(dòng)補(bǔ)正裝置。
本發(fā)明的第一手抖動(dòng)補(bǔ)正裝置根據(jù)手抖動(dòng)信號(hào)生成圖像復(fù)原濾波器，使用取得的圖像復(fù)原濾波器對(duì)手抖動(dòng)圖像進(jìn)行圖像復(fù)原，其特征在于，包括使用所給與的水平方向的縮小率和垂直方向的縮小率縮小手抖動(dòng)信號(hào)的手抖動(dòng)信號(hào)縮小部件；根據(jù)由手抖動(dòng)信號(hào)縮小部件縮小的手抖動(dòng)信號(hào)生成圖像復(fù)原濾波器的圖像復(fù)原濾波器生成部件；用與由手抖動(dòng)信號(hào)縮小部件縮小手抖動(dòng)信號(hào)時(shí)使用的水平方向以及垂直方向的縮小率相同的縮小率縮小手抖動(dòng)圖像的圖像縮小部件；使用由圖像復(fù)原濾波器生成部件生成的圖像復(fù)原濾波器對(duì)由圖像縮小部件縮小的手抖動(dòng)圖像進(jìn)行圖像復(fù)原的圖像復(fù)原部件；通過把由圖像復(fù)原部件復(fù)原的復(fù)原圖像放大，生成對(duì)于手抖動(dòng)圖像的復(fù)原圖像的圖像放大部件。
作為手抖動(dòng)信號(hào)縮小部件，例如使用決定預(yù)先設(shè)定的水平方向的縮小率和垂直方向的縮小率，使用決定的水平方向的縮小率和垂直方向的縮小率縮小手抖動(dòng)信號(hào)的部件。
作為手抖動(dòng)信號(hào)縮小部件，使用分別根據(jù)手抖動(dòng)信號(hào)的水平方向尺寸以及垂直方向尺寸，決定水平方向的縮小率和垂直方向的縮小率，使用決定的水平方向的縮小率和垂直方向的縮小率縮小手抖動(dòng)信號(hào)的部件。
本發(fā)明的第二手抖動(dòng)補(bǔ)正裝置，根據(jù)手抖動(dòng)信號(hào)生成圖像復(fù)原濾波器，使用取得的圖像復(fù)原濾波器對(duì)手抖動(dòng)圖像進(jìn)行圖像復(fù)原，其特征在于，包括使用所給與的水平方向的縮小率和垂直方向的縮小率縮小手抖動(dòng)信號(hào)的手抖動(dòng)信號(hào)縮小部件；根據(jù)由手抖動(dòng)信號(hào)縮小部件縮小的手抖動(dòng)信號(hào)生成圖像復(fù)原濾波器的圖像復(fù)原濾波器生成部件；把手抖動(dòng)圖像分解為多個(gè)抽取圖像的圖像分解部件；使用圖像復(fù)原濾波器生成部件生成的圖像復(fù)原濾波器對(duì)由圖像分解部件分解的各抽取圖像進(jìn)行圖像復(fù)原的圖像復(fù)原部件；合成由圖像復(fù)原部件復(fù)原的各復(fù)原圖像，生成對(duì)于手抖動(dòng)圖像的復(fù)原圖像的圖像合成部件。
作為手抖動(dòng)信號(hào)縮小部件，使用決定預(yù)先設(shè)定的水平方向的縮小率和垂直方向的縮小率，使用決定的水平方向的縮小率和垂直方向的縮小率縮小手抖動(dòng)信號(hào)的部件。
作為手抖動(dòng)信號(hào)縮小部件，例如使用分別根據(jù)手抖動(dòng)信號(hào)的水平方向尺寸以及垂直方向尺寸，決定水平方向的縮小率和垂直方向的縮小率，使用決定的水平方向的縮小率和垂直方向的縮小率縮小手抖動(dòng)信號(hào)的部件。
作為圖像分解部件，例如使用把手抖動(dòng)圖像分解為考慮由手抖動(dòng)信號(hào)縮小部件縮小手抖動(dòng)信號(hào)時(shí)使用的水平方向以及垂直方向的縮小率的數(shù)量的抽取圖像的部件。
本發(fā)明的第三手抖動(dòng)補(bǔ)正裝置，根據(jù)手抖動(dòng)信號(hào)生成圖像復(fù)原濾波器，使用取得的圖像復(fù)原濾波器對(duì)手抖動(dòng)圖像進(jìn)行圖像復(fù)原，其特征在于，包括通過把手抖動(dòng)信號(hào)與給定的閾值比較，判定手抖動(dòng)尺寸的大小的手抖動(dòng)尺寸判定部件；當(dāng)由手抖動(dòng)尺寸判定部件判定為手抖動(dòng)尺寸小時(shí)，執(zhí)行基于第一模式的手抖動(dòng)補(bǔ)正處理的第一手抖動(dòng)補(bǔ)正部件；當(dāng)由手抖動(dòng)尺寸判定部件判定為手抖動(dòng)尺寸大時(shí)，執(zhí)行基于第二模式的手抖動(dòng)補(bǔ)正處理的第二手抖動(dòng)補(bǔ)正部件；第一手抖動(dòng)補(bǔ)正部件具有根據(jù)手抖動(dòng)信號(hào)生成圖像復(fù)原濾波器的第一圖像復(fù)原濾波器生成部件；使用由第一圖像復(fù)原濾波器生成部件取得的圖像復(fù)原濾波器對(duì)手抖動(dòng)圖像進(jìn)行圖像復(fù)原的第一圖像復(fù)原部件；第二手抖動(dòng)補(bǔ)正部件具有使用所給與的水平方向的縮小率和垂直方向的縮小率縮小手抖動(dòng)信號(hào)的手抖動(dòng)信號(hào)縮小部件；根據(jù)由手抖動(dòng)信號(hào)縮小部件縮小的手抖動(dòng)信號(hào)生成圖像復(fù)原濾波器的第二圖像復(fù)原濾波器生成部件；用與由手抖動(dòng)信號(hào)縮小部件縮小手抖動(dòng)信號(hào)時(shí)使用的水平方向以及垂直方向的縮小率相同的縮小率縮小手抖動(dòng)圖像的圖像縮小部件；使用由第二圖像復(fù)原濾波器生成部件生成的圖像復(fù)原濾波器對(duì)由圖像縮小部件縮小的手抖動(dòng)圖像進(jìn)行圖像復(fù)原的第二圖像復(fù)原部件；通過把由圖像復(fù)原部件復(fù)原的復(fù)原圖像放大，生成對(duì)于手抖動(dòng)圖像的復(fù)原圖像的圖像放大部件。
作為手抖動(dòng)信號(hào)縮小部件，例如使用決定預(yù)先設(shè)定的水平方向的縮小率和垂直方向的縮小率，使用決定的水平方向的縮小率和垂直方向的縮小率縮小手抖動(dòng)信號(hào)的部件。
作為手抖動(dòng)信號(hào)縮小部件，例如使用分別根據(jù)手抖動(dòng)信號(hào)的水平方向尺寸以及垂直方向尺寸，決定水平方向的縮小率和垂直方向的縮小率，使用決定的水平方向的縮小率和垂直方向的縮小率縮小手抖動(dòng)信號(hào)的部件。
本發(fā)明的第四手抖動(dòng)補(bǔ)正裝置，根據(jù)手抖動(dòng)信號(hào)生成圖像復(fù)原濾波器，使用取得的圖像復(fù)原濾波器對(duì)手抖動(dòng)圖像進(jìn)行圖像復(fù)原，其特征在于，包括通過把手抖動(dòng)信號(hào)與給定的閾值比較，判定手抖動(dòng)尺寸的大小的手抖動(dòng)尺寸判定部件；當(dāng)由手抖動(dòng)尺寸判定部件判定為手抖動(dòng)尺寸小時(shí)，執(zhí)行基于第一模式的手抖動(dòng)補(bǔ)正處理的第一手抖動(dòng)補(bǔ)正部件；當(dāng)由手抖動(dòng)尺寸判定部件判定為手抖動(dòng)尺寸大時(shí)，執(zhí)行基于第二模式的手抖動(dòng)補(bǔ)正處理的第二手抖動(dòng)補(bǔ)正部件；第一手抖動(dòng)補(bǔ)正部件具有根據(jù)手抖動(dòng)信號(hào)生成圖像復(fù)原濾波器的第一圖像復(fù)原濾波器生成部件；使用由第一圖像復(fù)原濾波器生成部件取得的圖像復(fù)原濾波器對(duì)手抖動(dòng)圖像進(jìn)行圖像復(fù)原的第一圖像復(fù)原部件；第二手抖動(dòng)補(bǔ)正部件具有使用所給與的水平方向的縮小率和垂直方向的縮小率縮小手抖動(dòng)信號(hào)的手抖動(dòng)信號(hào)縮小部件；根據(jù)由手抖動(dòng)信號(hào)縮小部件縮小的手抖動(dòng)信號(hào)生成圖像復(fù)原濾波器的第二圖像復(fù)原濾波器生成部件；把手抖動(dòng)圖像分解為多個(gè)抽取圖像的圖像分解部件；使用圖像復(fù)原濾波器生成部件生成的圖像復(fù)原濾波器對(duì)由圖像分解部件分解的各抽取圖像進(jìn)行圖像復(fù)原的第二圖像復(fù)原部件；通過合成由圖像復(fù)原部件復(fù)原的各復(fù)原圖像，生成對(duì)于手抖動(dòng)圖像的復(fù)原圖像的圖像合成部件。
作為手抖動(dòng)信號(hào)縮小部件，例如使用決定預(yù)先設(shè)定的水平方向的縮小率和垂直方向的縮小率，使用決定的水平方向的縮小率和垂直方向的縮小率縮小手抖動(dòng)信號(hào)的部件。
作為手抖動(dòng)信號(hào)縮小部件，例如使用分別根據(jù)手抖動(dòng)信號(hào)的水平方向尺寸以及垂直方向尺寸，決定水平方向的縮小率和垂直方向的縮小率，使用決定的水平方向的縮小率和垂直方向的縮小率縮小手抖動(dòng)信號(hào)的部件。
作為圖像分解部件，例如使用把手抖動(dòng)圖像分解為考慮由手抖動(dòng)信號(hào)縮小部件縮小手抖動(dòng)信號(hào)時(shí)使用的水平方向以及垂直方向的縮小率的數(shù)量的抽取圖像的部件。
圖1是表示設(shè)置在數(shù)碼相機(jī)中的手抖動(dòng)補(bǔ)正處理電路的結(jié)構(gòu)的框圖。
圖2是表示把角速度傳感器11的輸出放大的放大器以及把放大器輸出變換為數(shù)字值的A/D轉(zhuǎn)換器的框圖。
圖3是表示相機(jī)的旋轉(zhuǎn)量θ[deg]和畫面上的移動(dòng)量d[mm]的關(guān)系的模式圖。
圖4是表示35[mm]膠片換算的圖像尺寸、數(shù)碼相機(jī)的圖像尺寸的模式圖。
圖5是表示從攝影中的各采樣周期的移動(dòng)向量V0、V1、…、Vn取得的手抖動(dòng)的軌跡的模式圖。
圖6是表現(xiàn)手抖動(dòng)的空間濾波器(PSF)的模式圖。
圖7是用于說明Bresenham的直線描繪算法的模式圖。
圖8是表示由圖7的移動(dòng)向量取得的PSF的模式圖。
圖9是表示設(shè)置在數(shù)碼相機(jī)中的手抖動(dòng)補(bǔ)正處理電路的結(jié)構(gòu)的框圖。
圖10是用于說明基于圖像抽取處理部32A的抽取圖像的生成方法的模式圖。
具體實(shí)施例方式
下面，參照
把本發(fā)明應(yīng)用于數(shù)碼相機(jī)時(shí)的實(shí)施例1、2。
實(shí)施例1[1]手抖動(dòng)補(bǔ)正處理電路的結(jié)構(gòu)圖1示出了設(shè)置在數(shù)碼相機(jī)中的手抖動(dòng)補(bǔ)正處理電路的結(jié)構(gòu)。
角速度傳感器11、12為了檢測(cè)相機(jī)的角速度而設(shè)置。而一方的角速度傳感器11檢測(cè)相機(jī)的全景方向的角速度，另一方角速度傳感器12檢測(cè)相機(jī)的傾斜方向的角速度。角速度傳感器11、12的輸出信號(hào)分別由放大器13、14放大后，由A/D轉(zhuǎn)換器15、16變換為數(shù)字?jǐn)?shù)據(jù)。
手抖動(dòng)補(bǔ)正處理電路具有圖像復(fù)原濾波器計(jì)算部20和圖像復(fù)原處理部30。圖像復(fù)原濾波器計(jì)算部20根據(jù)全景方向的角速度數(shù)據(jù)和傾斜方向的角速度數(shù)據(jù)，計(jì)算圖像復(fù)原濾波器(一般反濾波器)的系數(shù)。圖像復(fù)原處理部30根據(jù)由圖像復(fù)原濾波器計(jì)算部20計(jì)算的系數(shù)對(duì)拍攝圖像(手抖動(dòng)圖像)v_tebre進(jìn)行圖像復(fù)原處理。
以下說明圖像復(fù)原濾波器計(jì)算部20和圖像復(fù)原處理部30。
圖像復(fù)原濾波器計(jì)算部20的說明圖像復(fù)原濾波器計(jì)算部20具有手抖動(dòng)信號(hào)/移動(dòng)向量變換處理部21、手抖動(dòng)尺寸判定部22、選擇器23、移動(dòng)向量縮小處理部24、移動(dòng)向量/手抖動(dòng)函數(shù)變換處理部25、手抖動(dòng)函數(shù)/一般反濾波器變換處理部26。
手抖動(dòng)信號(hào)/移動(dòng)向量變換處理部21的說明手抖動(dòng)信號(hào)/移動(dòng)向量變換處理部21把由角速度傳感器11、12檢測(cè)的角速度數(shù)據(jù)(手抖動(dòng)信號(hào))變換為移動(dòng)向量。
手抖動(dòng)的原來數(shù)據(jù)是從攝影開始到攝影結(jié)束之間的角速度傳感器11、12的輸出數(shù)據(jù)。使用角速度傳感器11、12，與相機(jī)的曝光時(shí)期同步，在攝影開始的同時(shí)，以給定的采樣間隔dt[sec]計(jì)測(cè)全景方向和傾斜方向的角速度，取得直到攝影結(jié)束的數(shù)據(jù)。采樣間隔dt[sec]例如是1msec。
如圖2所示，相機(jī)的全景方向的角速度θ’[deg/sec]由角速度傳感器11變換為電壓Vg[mV]后，由放大器13放大。從放大器13輸出的電壓Va[mV]由A/D轉(zhuǎn)換器15變換為數(shù)字值DL[step]。為了把作為數(shù)字值取得的數(shù)據(jù)變換為角速度，使用傳感器靈敏度S[mV/deg/sec]、放大器倍率K[倍]、A/D轉(zhuǎn)換系數(shù)L[mV/step]計(jì)算。
由角速度傳感器11取得的電壓值Vg[mV]與角速度θ’[deg/sec]成比例。這時(shí)的比例常數(shù)是傳感器靈敏度，所以Vg[mV]由以下的表達(dá)式(1)表示。
Vg＝Sθ’…(1)此外，放大器13只把電壓值放大，所以放大的電壓Va[mV]由以下的表達(dá)式(2)表示。
Va＝KVg…(2)由放大器13放大的電壓值Va[mV]進(jìn)行A/D轉(zhuǎn)換，使用n[step](例如-512～512)的數(shù)字值DL[step]表現(xiàn)。如果A/D轉(zhuǎn)換系數(shù)為L[mV/step]，則數(shù)字值DL[step]由以下的表達(dá)式(3)表示。
DL＝Va/L…(3)通過使用所束的表達(dá)式(1)～(3)，如以下的表達(dá)式(4)所示，能從傳感器數(shù)據(jù)求出角速度。
θ’＝(L/KS)DL…(4)從攝影中的角速度數(shù)據(jù)能計(jì)算在拍攝的圖像上產(chǎn)生怎樣的抖動(dòng)。把圖像上的外觀的移動(dòng)稱作移動(dòng)向量。
從角速度數(shù)據(jù)的一個(gè)采樣值到下一采樣值，相機(jī)中產(chǎn)生的旋轉(zhuǎn)量為θ[deg]。這時(shí)，如果假定在其間，相機(jī)以一定角速度旋轉(zhuǎn)，采樣頻率為f＝1/dt[Hz]，則θ[deg]由以下的表達(dá)式(5)表示。
θ＝θ’/f＝(L/KSf)DL…(5)如圖3所示，如果r[mm]為焦距(35[mm]膠片換算)，就從相機(jī)的旋轉(zhuǎn)量θ[deg]通過以下的表達(dá)式(6)求出畫面上的移動(dòng)量d[mm]。
d＝rtanθ…(6)這里求出的移動(dòng)量d[mm]是35[mm]膠片換算時(shí)的手抖動(dòng)的大小，單位是[mm]。實(shí)際計(jì)算處理時(shí)，必須用數(shù)碼相機(jī)的圖像尺寸的單位[pixel]考慮圖像的尺寸。
35[mm]膠片換算的圖像與用數(shù)碼相機(jī)拍攝的[pixel]單位的圖像的縱橫比不同，所以按以下進(jìn)行計(jì)算。如圖4所示，35[mm]膠片換算時(shí)，圖像尺寸的橫×縱決定為36[mm]×24[mm]。用數(shù)碼相機(jī)拍攝的圖像的尺寸為X[pixel]×Y[pixel]，如果水平方向(全景方向)的抖動(dòng)為x[pixel]，垂直方向(傾斜)的抖動(dòng)為y[pixel]，則變換式變?yōu)楸磉_(dá)式(7)、(8)。
x＝dx(X/36)＝rtanθx(X/36)…(7)y＝dy(Y/24)＝rtanθy(Y/24)…(8)所述表達(dá)式(7)、(8)中，對(duì)d和θ使用下標(biāo)x和y，但是下標(biāo)x表示是水平方向的值，下標(biāo)y表示是垂直方向的值。
如果總結(jié)所述表達(dá)式(1)～(8)，則水平方向(全景方向)的抖動(dòng)為x[pixel]、垂直方向(傾斜方向)的抖動(dòng)為y[pixel]分別由以下的表達(dá)式(9)、(10)表示。
x＝rtan{(L/KSf)DLx}X/36…(9)y＝rtan{(L/KSf)DLy}Y/24…(10)通過使用表達(dá)式(9)、(10)，能從作為數(shù)字值取得的相機(jī)各軸的角速度數(shù)據(jù)求出表示圖像的抖動(dòng)量的手抖動(dòng)信號(hào)(移動(dòng)向量)。
能僅取得從傳感器取得的角速度的數(shù)據(jù)的數(shù)量的攝影中的移動(dòng)向量(僅為采樣點(diǎn)的數(shù))，如果把它們的起點(diǎn)和終點(diǎn)按順序連接，就變?yōu)閳D像上的手抖動(dòng)的軌跡。此外，通過觀察各向量的大小，知道該時(shí)刻的手抖動(dòng)的速度。
手抖動(dòng)尺寸判定部22的說明手抖動(dòng)尺寸判定部22根據(jù)由手抖動(dòng)信號(hào)/移動(dòng)向量變換處理部21取得的移動(dòng)向量，判定手抖動(dòng)尺寸是否大，按照判定結(jié)果，控制圖像復(fù)原濾波器計(jì)算部20內(nèi)的選擇器23以及圖像復(fù)原處理部30內(nèi)的選擇器31、34。
攝影中的各采樣周期的移動(dòng)向量為V0、V1、…、Vn，各移動(dòng)向量的水平成分為Vx0、Vx1、…、Vxn，各移動(dòng)向量的垂直成分為Vy0、Vy1、…、Vyn。如圖5所示，通過把攝影中的各采樣周期的移動(dòng)向量V0、V1、…、Vn依次相加，就取得攝影期間內(nèi)的手抖動(dòng)的軌跡。從手抖動(dòng)的軌跡求出水平方向(Px)的最小值Px_min和最大值Px_max、垂直方向(Py)的最小值Py_min和最大值Py_max。然后通過以下的表達(dá)式(11)計(jì)算水平方向的手抖動(dòng)的大小Sz_h、垂直方向的手抖動(dòng)的大小Sz_v。
Sz_h＝Px_max-Px_minSz_v＝Py_max-Py_min…(11)然后，把各方向的手抖動(dòng)的大小(Sz_h，Sz_v)與閾值Th比較。當(dāng)雙方的手抖動(dòng)的大小(Sz_h，Sz_v)都在閾值Th以下時(shí)，判定為手抖動(dòng)尺寸小。至少一放的手抖動(dòng)的大小(Sz_h，Sz_v)比閾值Th大時(shí)，判定為手抖動(dòng)尺寸大。
手抖動(dòng)尺寸判定部22在判定為手抖動(dòng)尺寸小時(shí)，控制選擇器23，使得把由手抖動(dòng)信號(hào)/移動(dòng)向量變換處理部21取得的移動(dòng)向量向移動(dòng)向量/手抖動(dòng)函數(shù)變換處理部25發(fā)送。當(dāng)判定為手抖動(dòng)尺寸大時(shí)，手抖動(dòng)尺寸判定部22控制選擇器23，使得把由手抖動(dòng)信號(hào)/移動(dòng)向量變換處理部21取得的移動(dòng)向量向移動(dòng)向量縮小處理部24發(fā)送。
移動(dòng)向量縮小處理部24的說明移動(dòng)向量縮小處理部24把由手抖動(dòng)信號(hào)/移動(dòng)向量變換處理部21取得的各移動(dòng)向量(手抖動(dòng)信號(hào))的水平成分與水平方向的縮小率Scale_x相乘，把垂直成分與縮小率Scale_y相乘，從而縮小各移動(dòng)向量。該縮小率設(shè)定為各方向的手抖動(dòng)的大小(Sz_h，Sz_v)分別變?yōu)殚撝礣h以下。此外，優(yōu)選設(shè)定縮小率，從而縮小后的各方向的手抖動(dòng)的大小與閾值Th相比，不大幅度減小。
在本實(shí)施例中，縮小率Scale_x、Scale_y如以下的表達(dá)式(12)所示，設(shè)定為整數(shù)分之一的值。
Scale_x＝1/Div_xScale_y＝1/Div_y…(12)在所述的表達(dá)式(12)中，Div_x和Div_y是整數(shù)。Div_x和Div_y的值可以按照對(duì)應(yīng)的方向的手抖動(dòng)的大小(Sz_h，Sz_v)適當(dāng)?shù)貨Q定，但是這里，預(yù)先定為“2”。，Div_x＝Div_y＝2時(shí)，Scale_x＝Scale_y＝1/2。
如果攝影中的各采樣周期的移動(dòng)向量為V0、V1、…、Vn，各移動(dòng)向量的水平成分為Vx0、Vx1、…、Vxn，各移動(dòng)向量的垂直成分為Vy0、Vy1、…、Vyn，則縮小后的移動(dòng)向量V0’、V1’、…、Vn’由以下的表達(dá)式(13)表示。
V0’＝(Vx0×Scale_x，Vy0×Scale_y)V1’＝(Vx1×Scale_x，Vy1×Scale_y)Vn’＝(Vxn×Scale_x，Vyn×Scale_y)…(13)由移動(dòng)向量縮小處理部24取得的移動(dòng)向量發(fā)送給移動(dòng)向量/手抖動(dòng)函數(shù)變換處理部25。
移動(dòng)向量/手抖動(dòng)函數(shù)變換處理部25的說明能使用空間濾波器表示手抖動(dòng)。如果與圖6的左側(cè)的圖中表示的手抖動(dòng)的軌跡(在相機(jī)抖動(dòng)時(shí)圖像上的一點(diǎn)描繪的軌跡、圖像的抖動(dòng)量)一致，對(duì)算符的要素加權(quán)，進(jìn)行空間濾波處理，則在濾波過程中，像素的濃淡值只考慮與手抖動(dòng)的軌跡對(duì)應(yīng)的附近像素的濃淡值，所以能生成手抖動(dòng)圖像。
把與該軌跡一致而加權(quán)的算符稱作Point Spread Function(PSF)，作為手抖動(dòng)的數(shù)學(xué)模型使用。PSF的各要素的加權(quán)是與手抖動(dòng)軌跡通過該要素的時(shí)間成比例的值，成為為了各要素的加權(quán)的總和變?yōu)?而標(biāo)準(zhǔn)化的值。即成為與移動(dòng)向量的大小的倒數(shù)成比例的加權(quán)。當(dāng)考慮手抖動(dòng)對(duì)圖像帶來的影響時(shí)，慢慢移動(dòng)的地方對(duì)圖像帶來大影響。
圖6的中央的圖表示假定手抖動(dòng)的移動(dòng)為等速時(shí)的PSF，圖6的右側(cè)的圖表示考慮實(shí)際的手抖動(dòng)的大小時(shí)的PSF。圖6的右側(cè)的圖中，黑顯示PSF的加權(quán)低(移動(dòng)向量的尺寸大)的要素，白顯示加權(quán)高(移動(dòng)向量的尺寸小)的要素。
由所述[2-1]取得的移動(dòng)向量(圖像的抖動(dòng)量)把手抖動(dòng)的軌跡、軌跡的速度作為數(shù)據(jù)具有。
為了生成PSF，首先從手抖動(dòng)的軌跡決定進(jìn)行PSF的加權(quán)的要素。然后，從手抖動(dòng)的速度決定PSF的要素的加權(quán)。
通過把所述[2-1]中取得的一系列移動(dòng)向量連接，取得用折線近似的手抖動(dòng)的軌跡。該軌跡具有小數(shù)點(diǎn)以下的精度，但是通過把它取整，決定PSF中加權(quán)的要素。因此，在本實(shí)施例中，使用Bresenham的直線描繪算法，決定PSF中加權(quán)的要素。Bresenham的直線描繪算法是在數(shù)字畫面上想畫通過任意2點(diǎn)的值顯示，選擇最佳的點(diǎn)位置的算法。
使用圖7的例子說明Bresenham的直線描繪算法。在圖7中，帶箭頭的直線表示移動(dòng)向量。
(a)從點(diǎn)位置的原點(diǎn)(0，0)出發(fā)，把移動(dòng)向量的水平方向的要素增加一個(gè)。
(b)確認(rèn)移動(dòng)向量的垂直方向的位置，當(dāng)垂直方向的位置比以前的點(diǎn)垂直方向位置大于1時(shí)，把點(diǎn)位置的垂直方向增加一個(gè)。
(c)再把移動(dòng)向量的水平方向的要素增加一個(gè)。
通過在移動(dòng)向量的終點(diǎn)之前重復(fù)這樣的處理，能在點(diǎn)位置再現(xiàn)移動(dòng)向量通過的直線。
利用對(duì)各移動(dòng)向量，向量的大小(速度成分)不同，決定PSF的要素的加權(quán)。加權(quán)取移動(dòng)向量的大小的倒數(shù)，把加權(quán)代入與各移動(dòng)向量對(duì)應(yīng)的要素?？墒牵迅饕氐募訖?quán)標(biāo)準(zhǔn)化，使得各要素的加權(quán)的總和變?yōu)?。圖8表示由圖7的移動(dòng)向量取得的PSF。速度快的地方(移動(dòng)向量長的地方)的加權(quán)變小，速度慢的地方(移動(dòng)向量短的地方)的加權(quán)變大。
須指出的是，移動(dòng)向量/手抖動(dòng)函數(shù)變換處理部25，當(dāng)由手抖動(dòng)尺寸判定部22判定為手抖動(dòng)尺寸小時(shí)，根據(jù)由手抖動(dòng)信號(hào)/移動(dòng)向量變換處理部21取得的移動(dòng)向量生成PSF。而由手抖動(dòng)尺寸判定部22判定為手抖動(dòng)尺寸大時(shí)，根據(jù)由移動(dòng)向量縮小處理部24縮小的移動(dòng)向量生成PSF。
關(guān)于手抖動(dòng)函數(shù)/一般反濾波器變換處理部26圖像以在水平方向?yàn)镹x像素，在垂直方向?yàn)镹y像素的析像度數(shù)字化。用p(i，j)表示位于水平方向第i個(gè)，垂直方向第j的位置的像素的值。基于空間濾波器的圖像的變換是通過注目像素的附近像素的卷積，把變換模型化。卷積的系數(shù)為h(l，m)。這里，為了簡單，如果-n＜1，m＜n，則注目像素的變換能由以下的表達(dá)式(14)表現(xiàn)。此外，把h(l，m)自身稱作空間濾波器，或稱作濾波器系數(shù)。變換的性質(zhì)由h(l，m)的系數(shù)值決定。
p′(i,j)=Σl=-nl=nΣm=-nm=nh(l,m)×p(i+l,j+m)---(14)]]>用數(shù)碼相機(jī)等攝像裝置觀察點(diǎn)光源時(shí)，如果假定圖像的形成過程中沒有惡化，則圖像上觀察的像只某一點(diǎn)具有0以外的像素值，此外的像素值變?yōu)?。實(shí)際的攝像裝置包含惡化過程，所以即使觀察點(diǎn)光源，像也不變?yōu)橐稽c(diǎn)，變?yōu)閿U(kuò)展的像。發(fā)生手抖動(dòng)時(shí)，點(diǎn)光源在畫面上生成與手抖動(dòng)對(duì)應(yīng)的軌跡。
把與對(duì)于點(diǎn)光源的觀察圖像的像素值成比例的值作為系數(shù)具有，系數(shù)值的總和變?yōu)?的空間濾波器稱作Point Spread Function(PSF，點(diǎn)擴(kuò)散函數(shù))。在本實(shí)施例中，作為PSF，使用由移動(dòng)向量/手抖動(dòng)函數(shù)變換處理部25取得的PSF。
把PSF用縱橫(2n+1)×(2n+1)的空間濾波器h(l，m)，-n＜1，m＜n，模型化時(shí)，關(guān)于各像素，沒有模糊的圖像的像素值p(i，j)和有模糊的圖像的像素值p’(i，j)變?yōu)樗霰磉_(dá)式(14)的關(guān)系。這里，實(shí)際能觀察的是模糊圖像的像素值p’(i，j)，沒有模糊的圖像的像素值p(i，j)有必要用任意的方法計(jì)算。
如果關(guān)于全部像素列出所述表達(dá)式(14)，就變?yōu)橐韵碌谋磉_(dá)式(15)。
p′(1,1)=Σl=-nl=nΣm=-nm=nh(l,m)×p(1+l,1+m)]]>p′(1,2)=Σl=-nl=nΣm=-nm=nh(l,m)×p(1+l,2+m)]]>...
p′(1,Nn)=Σl=-nl=nΣm=-nm=nh(l,m)×p(1+l,Nn+m)]]>p′(2,Nn)=Σl=-nl=nΣm=-nm=nh(l,m)×p(2+l,Nn+m)]]>...
p′(Ny,Nn)=Σl=-nl=nΣm=-nm=nh(l,m)×p(Ny+l,Nn+m)---(15)]]>總結(jié)這些表達(dá)式，能用矩陣表現(xiàn)，變?yōu)橐韵碌谋磉_(dá)式(16)。這里，P是按光澤掃描順序把原圖像一維化。
P’＝H×P…(16)如果存在H的逆矩陣H-1，就通過計(jì)算P＝H-1×P，能從惡化的圖像P’求出沒有惡化的圖像P，但是一般不存在H的逆矩陣H-1。對(duì)于不存在逆矩陣的矩陣，存在稱作一般逆矩陣或模擬逆矩陣的矩陣。表達(dá)式(17)表示一般逆矩陣的例子。
H*＝(Ht·H+γ·I)-1·Ht…(17)這里，H*是H的一般逆矩陣，Ht是H的轉(zhuǎn)置矩陣，γ是標(biāo)量，I是與Ht·H相同尺寸的單位矩陣。使用H*計(jì)算以下的表達(dá)式(18)，就能從觀察的手抖動(dòng)圖像P’取得補(bǔ)正了手抖動(dòng)的圖像P。γ是調(diào)整補(bǔ)正的強(qiáng)度的參數(shù)。如果γ小，就變?yōu)閺?qiáng)的補(bǔ)正處理，如果γ大，就變?yōu)槿醯难a(bǔ)正處理。
P’＝H*×P…(18)當(dāng)圖像尺寸為640×480時(shí)，所述表達(dá)式(18)的P變?yōu)?07,200×1的矩陣，H*變?yōu)?07,200×307,200的矩陣。因?yàn)樽優(yōu)檫@樣的非常大的矩陣，所以直接使用所述表達(dá)式(17)、(18)并不實(shí)用。因此，用以下的方法減小計(jì)算中使用的矩陣的尺寸。
首先，在所述表達(dá)式(18)中，成為P的原來的圖像尺寸為63×63等比較小的尺寸。如果63×63的圖像，則P變?yōu)?969×1的矩陣，H*變?yōu)?969×3969的矩陣。H*是把模糊圖像全體變換為補(bǔ)正的圖像全體的矩陣，H*的各行和P的積相當(dāng)于進(jìn)行各像素的補(bǔ)正的計(jì)算。H*的正中的行與P的積相當(dāng)于對(duì)于63×63的圖像的原圖像的正中像素的補(bǔ)正。P是按光澤掃描順序把原圖像一維化，所以相反，把H*的正中的行通過反光澤掃描二維化，能構(gòu)成63×63尺寸的空間濾波器。把這樣構(gòu)成的空間濾波器稱作一般反濾波器(以下稱作圖像復(fù)原濾波器)。
把這樣生成的實(shí)用尺寸的空間濾波器依次對(duì)大的圖像全體的各像素應(yīng)用，能補(bǔ)正模糊圖像。
關(guān)于圖像復(fù)原處理部30圖像復(fù)原處理部30如圖1所示，具有選擇器31、圖像縮小處理部32、濾波器處理部33、選擇器34、圖像放大處理部35。
如上所述，選擇器31、34由手抖動(dòng)尺寸判定部22控制。即手抖動(dòng)尺寸判定部22控制選擇器31，使得當(dāng)判定為手抖動(dòng)尺寸小時(shí)，把手抖動(dòng)圖像v_tebre發(fā)送給濾波器處理部33，當(dāng)判定為手抖動(dòng)尺寸大時(shí)，把手抖動(dòng)圖像v_tebre發(fā)送給圖像縮小處理部32。此外，手抖動(dòng)尺寸判定部22控制選擇器34，使得當(dāng)判定為手抖動(dòng)尺寸小時(shí)，把由濾波器處理部33取得的圖像作為復(fù)原圖像原封不動(dòng)輸出，當(dāng)判定為手抖動(dòng)尺寸大時(shí)，把由濾波器處理部33取得的圖像發(fā)送給圖像放大處理部35。
手抖動(dòng)尺寸小時(shí)由手抖動(dòng)尺寸判定部22判定為手抖動(dòng)尺寸小時(shí)，把手抖動(dòng)圖像v_tebre經(jīng)由選擇器31發(fā)送給濾波器處理部33。濾波器處理部33使用由圖像復(fù)原濾波器計(jì)算部20取得的圖像復(fù)原濾波器，對(duì)手抖動(dòng)圖像v_tebre進(jìn)行濾波處理。由濾波器處理部33取得的圖像作為復(fù)原圖像v_fukugen輸出。須指出的是，濾波器處理部33例如由二維FIR濾波器構(gòu)成。
手抖動(dòng)尺寸大時(shí)由手抖動(dòng)尺寸判定部22判定為手抖動(dòng)尺寸大時(shí)，把手抖動(dòng)圖像v_tebre經(jīng)由選擇器31發(fā)送給圖像縮小處理部32。圖像縮小處理部32用與水平方向的手抖動(dòng)信號(hào)縮小率Scale_x和垂直方向的手抖動(dòng)信號(hào)縮小率Scale_y相同的比例縮小手抖動(dòng)圖像v_tebre。
由圖像縮小處理部32取得的縮小圖像發(fā)送給濾波器處理部33。濾波器處理部33使用由圖像復(fù)原濾波器計(jì)算部20取得的圖像復(fù)原濾波器，對(duì)由圖像縮小處理部32取得的縮小圖像進(jìn)行濾波處理。
由濾波器處理部33取得的圖像發(fā)送給圖像放大處理部35。圖像放大處理部35用與圖像縮小處理部32中使用的各縮小率Scale_x和Scale_y的倒數(shù)對(duì)應(yīng)的比例放大由濾波器處理部33取得的圖像。由圖像放大處理部35取得的圖像作為復(fù)原圖像v_fukugen輸出。
在所述實(shí)施例中，水平方向的手抖動(dòng)信號(hào)縮小率Scale_x和垂直方向的手抖動(dòng)信號(hào)縮小率Scale_y都設(shè)定為1/2，但是希望考慮水平方向的手抖動(dòng)的大小，設(shè)定水平方向的手抖動(dòng)信號(hào)縮小率Scale_x，并且考慮垂直方向的手抖動(dòng)的大小，設(shè)定垂直方向的手抖動(dòng)信號(hào)縮小率Scale_y。
例如，垂直方向的手抖動(dòng)的大小Sz_v為閾值Th以下，水平方向的手抖動(dòng)的大小Sz_h超過閾值Th時(shí)，垂直方向的手抖動(dòng)信號(hào)縮小率Scale_y為1，考慮水平方向的手抖動(dòng)的大小Sz_h，設(shè)定水平方向的手抖動(dòng)信號(hào)縮小率Scale_x。如果這樣，就沒必要在垂直方向縮小手抖動(dòng)圖像，所以復(fù)原圖像的垂直方向的圖像析像度不惡化。
此外，用于判定水平方向的手抖動(dòng)的大小的閾值和用于判定垂直方向的手抖動(dòng)的大小的閾值使用相同的值Th，但是可以使用不同的值。
在所述實(shí)施例中，判別為手抖動(dòng)尺寸大時(shí)，縮小手抖動(dòng)信號(hào)的移動(dòng)向量后，從縮小的移動(dòng)向量生成PSF，但是也可以從手抖動(dòng)信號(hào)的移動(dòng)向量生成PSF后，縮小取得的PSF。
但在所述實(shí)施例中，判別為手抖動(dòng)尺寸大時(shí)，縮小原圖像(手抖動(dòng)圖像)，由濾波器處理部33對(duì)縮小圖像進(jìn)行濾波處理后，放大圖像。因此，擔(dān)心最終取得的復(fù)原圖像的圖像析像度的惡化?？墒窃谑侄秳?dòng)尺寸大時(shí)，由于手抖動(dòng)，失去原圖像內(nèi)的高頻成分，所以幾乎能忽略圖像縮小放大處理引起的析像度下降。
實(shí)施例2[1]手抖動(dòng)補(bǔ)正處理電路的結(jié)構(gòu)圖9表示設(shè)置在數(shù)碼相機(jī)中的手抖動(dòng)補(bǔ)正處理電路的結(jié)構(gòu)。在圖9中，對(duì)于與圖1相同的付與相同的符號(hào)，省略說明。
圖9的手抖動(dòng)補(bǔ)正處理電路如果與圖1的手抖動(dòng)補(bǔ)正處理電路比較，則圖像復(fù)原處理部30A的結(jié)構(gòu)不同。
圖像復(fù)原處理部30A的說明圖像復(fù)原處理部30A具有選擇器31、圖像抽取處理部32A、濾波器處理部33、選擇器34、圖像合成處理部35A。即在圖9的圖像復(fù)原處理部30A中，代替圖1的圖像縮小處理部32，使用圖像抽取處理部32A，并且代替圖1的圖像放大處理部35，使用圖像合成處理部35A。
選擇器31、34由手抖動(dòng)尺寸判定部22控制。即手抖動(dòng)尺寸判定部22控制選擇器31，使得當(dāng)判定為手抖動(dòng)尺寸小時(shí)，把手抖動(dòng)圖像v_tebre發(fā)送給濾波器處理部33，當(dāng)判定為手抖動(dòng)尺寸大時(shí)，把手抖動(dòng)圖像v_tebre發(fā)送給圖像抽取處理部32A。此外，手抖動(dòng)尺寸判定部22控制選擇器34，使得當(dāng)判定為手抖動(dòng)尺寸小時(shí)，把由濾波器處理部33取得的圖像作為復(fù)原圖像原封不動(dòng)輸出，當(dāng)判定為手抖動(dòng)尺寸大時(shí)，把由濾波器處理部33取得的圖像發(fā)送給圖像合成處理部35A。
手抖動(dòng)尺寸小時(shí)由手抖動(dòng)尺寸判定部22判定為手抖動(dòng)尺寸小時(shí)，把手抖動(dòng)圖像v_tebre經(jīng)由選擇器31發(fā)送給濾波器處理部33。濾波器處理部33使用由圖像復(fù)原濾波器計(jì)算部20取得的圖像復(fù)原濾波器，對(duì)手抖動(dòng)圖像v_tebre進(jìn)行濾波處理。由濾波器處理部33取得的圖像作為復(fù)原圖像v_fukugen輸出。
手抖動(dòng)尺寸大時(shí)由手抖動(dòng)尺寸判定部22判定為手抖動(dòng)尺寸大時(shí)，把手抖動(dòng)圖像v_tebre經(jīng)由選擇器31發(fā)送給圖像抽取處理部32A。圖像抽取處理部32A把手抖動(dòng)圖像v_tebre分解為與水平方向的手抖動(dòng)信號(hào)縮小率Scale_x和垂直方向的手抖動(dòng)信號(hào)縮小率Scale_y對(duì)應(yīng)的數(shù)量的抽取圖像。
例如當(dāng)手抖動(dòng)信號(hào)縮小率Scale_x和垂直方向的手抖動(dòng)信號(hào)縮小率Scale_y都為1/2(所述表達(dá)式(12)的Div_x＝Div_y＝2)時(shí)，如圖10所示，把左側(cè)的手抖動(dòng)圖像v_tebre分解為右側(cè)的4個(gè)抽取圖像。在本例子中，手抖動(dòng)圖像v_tebre分解為由奇數(shù)行奇數(shù)列的像素構(gòu)成的第一抽取圖像、由奇數(shù)行偶數(shù)列的像素構(gòu)成的第二抽取圖像、由偶數(shù)行奇數(shù)列的像素構(gòu)成的第三抽取圖像、由偶數(shù)行偶數(shù)列的像素構(gòu)成的第四抽取圖像。后面描述與手抖動(dòng)信號(hào)縮小率Scale_x、Scale_y(Div_x、Div_y)對(duì)應(yīng)的抽取圖像的生成方法。
由圖像抽取處理部32A取得的多個(gè)抽取圖像發(fā)送給濾波器處理部33。濾波器處理部33使用由圖像復(fù)原濾波器計(jì)算部20取得的圖像復(fù)原濾波器，對(duì)由圖像抽取處理部32A取得的多個(gè)抽取圖像進(jìn)行濾波處理。
由濾波器處理部33取得的多個(gè)復(fù)原圖像發(fā)送給圖像合成處理部35A。圖像合成處理部35A把由濾波器處理部33取得的多個(gè)復(fù)原圖像合成，使得各復(fù)原圖像內(nèi)的像素配置在與減少前(分解前)的像素排列相同的位置。由圖像合成處理部35A取得的圖像作為復(fù)原圖像v_fukugen輸出。
基于圖像抽取處理部32A的抽取圖像的生成方法的說明說明基于圖像抽取處理部32A的抽取圖像的生成方法.
(S1)首先，計(jì)算水平、垂直方向的像素抽取數(shù)(Nh、Nv)。
從為了計(jì)算水平方向和垂直方向的手抖動(dòng)信號(hào)縮小率Scale_x、Scale_y而設(shè)定的Div_x、Div_y(參照所述表達(dá)式(12))，根據(jù)表達(dá)式(19)，計(jì)算像素抽取數(shù)(Nh、Nv)。
Nh＝Div_x-1Nv＝Div_y-1…(19)
例如，Div_x＝Div_y＝2時(shí)，Nh＝Nv＝1。
(S2)設(shè)定原圖像(手抖動(dòng)圖像v_tebre)上的參照開始像素位置(Sh，Sv)的初始值(Sh0，Sv0)。通常，(Sh0，Sv0)設(shè)定在原圖像的左上的像素位置(0，0)。即(Sh0，Sv0)變?yōu)?0，0)。
(S3)從參照開始像素位置(Sh，Sv)，在水平方向每隔Nh像素，在垂直方向每隔Nv像素，按格子狀取得像素質(zhì)，生成抽取圖像。當(dāng)Nh＝Nv＝1時(shí)，生成圖10的左側(cè)的原圖像中由帶圓圈的數(shù)字1表示的像素構(gòu)成的抽取圖像。
(S4)把參照開始像素位置在水平方向移動(dòng)1像素。即(Sh，Sv)＝(Sh+1，Sv)。然后，進(jìn)行與所述(S3)相同的處理。當(dāng)Nh＝Nv＝1時(shí)，生成圖10的左側(cè)的原圖像中由帶圓圈的數(shù)字2表示的像素構(gòu)成的抽取圖像。
(S5)把所述(S4)的處理重復(fù)執(zhí)行與水平方向的像素抽取數(shù)Nh對(duì)應(yīng)的次數(shù)。當(dāng)Nh＝1時(shí)，所述(S4)的處理只進(jìn)行1次。
(S6)把參照開始像素位置的水平方向成分回到初始值后，把參照開始像素位置在垂直方向移動(dòng)1像素。即(Sh，Sv)＝(Sh，Sv+1)。然后，進(jìn)行與所述(S3)相同的處理。當(dāng)Nh＝Nv＝1時(shí)，生成圖10的左側(cè)的原圖像中由帶圓圈的數(shù)字3表示的像素構(gòu)成的抽取圖像。然后，把參照開始像素位置在水平方向移動(dòng)1像素。即更新為(Sh，Sv)＝(Sh+1，Sv)。然后，進(jìn)行與所述(S3)相同的處理。當(dāng)Nh＝Nv＝1時(shí)，生成圖10的左側(cè)的原圖像中由帶圓圈的數(shù)字4表示的像素構(gòu)成的抽取圖像。
(S7)把所述(S6)的處理重復(fù)執(zhí)行與垂直方向的像素抽取數(shù)Nv對(duì)應(yīng)的次數(shù)。當(dāng)Nh＝1時(shí)，所述(S6)的處理只進(jìn)行1次。
在所述的實(shí)施例中，把水平方向的手抖動(dòng)信號(hào)縮小率Scale_x和垂直方向的手抖動(dòng)信號(hào)縮小率Scale_y都設(shè)定為1/2，但是希望考慮水平方向的手抖動(dòng)的大小，設(shè)定水平方向的手抖動(dòng)信號(hào)縮小率Scale_x，并且考慮垂直方向的手抖動(dòng)的大小，設(shè)定垂直方向的手抖動(dòng)信號(hào)縮小率Scale_y。
例如，垂直方向的手抖動(dòng)的大小Sz_v為閾值Th以下，水平方向的手抖動(dòng)的大小Sz_h超過閾值Th時(shí)，垂直方向的手抖動(dòng)信號(hào)縮小率Scale_y為1，考慮水平方向的手抖動(dòng)的大小Sz_h，設(shè)定水平方向的手抖動(dòng)信號(hào)縮小率Scale_x。如果這樣，就沒必要在垂直方向抽取手抖動(dòng)圖像，所以復(fù)原圖像的垂直方向的圖像析像度不惡化。
此外，用于判定水平方向的手抖動(dòng)的大小的閾值和用于判定垂直方向的手抖動(dòng)的大小的閾值使用相同的值Th，但是可以使用不同的值。
在所述實(shí)施例中，判別為手抖動(dòng)尺寸大時(shí)，縮小手抖動(dòng)信號(hào)的移動(dòng)向量后，從縮小的移動(dòng)向量生成PSF，但是也可以從手抖動(dòng)信號(hào)的移動(dòng)向量生成PSF后，縮小取得的PSF。
根據(jù)所述實(shí)施例1、2，由于硬件的制約，圖像復(fù)原濾波器的抽頭尺寸受限制時(shí)，即使發(fā)生超過圖像復(fù)原濾波器的抽頭尺寸的大的手抖動(dòng)時(shí)，也能取得具有充分的復(fù)原效果的復(fù)原圖像。此外，即使使用抽頭尺寸小的圖像復(fù)原濾波器，也能對(duì)手抖動(dòng)大的圖像取得充分的復(fù)原效果，所以能對(duì)硬件的成分削減做出貢獻(xiàn)。
權(quán)利要求
1.一種手抖動(dòng)補(bǔ)正裝置，根據(jù)手抖動(dòng)信號(hào)生成圖像復(fù)原濾波器，使用所取得的圖像復(fù)原濾波器對(duì)手抖動(dòng)圖像進(jìn)行圖像復(fù)原，包括手抖動(dòng)信號(hào)縮小部件，使用所給與的水平方向的縮小率和垂直方向的縮小率縮小手抖動(dòng)信號(hào)；圖像復(fù)原濾波器生成部件，根據(jù)由手抖動(dòng)信號(hào)縮小部件所縮小的手抖動(dòng)信號(hào)生成圖像復(fù)原濾波器；圖像縮小部件，用與由手抖動(dòng)信號(hào)縮小部件縮小手抖動(dòng)信號(hào)時(shí)使用的水平方向以及垂直方向的縮小率相同的縮小率縮小手抖動(dòng)圖像；圖像復(fù)原部件，使用由圖像復(fù)原濾波器生成部件所生成的圖像復(fù)原濾波器對(duì)由圖像縮小部件所縮小的手抖動(dòng)圖像進(jìn)行圖像復(fù)原；和圖像放大部件，通過將由圖像復(fù)原部件所復(fù)原的復(fù)原圖像放大，生成針對(duì)手抖動(dòng)圖像的復(fù)原圖像。
2.根據(jù)權(quán)利要求1所述的手抖動(dòng)補(bǔ)正裝置，其特征在于手抖動(dòng)信號(hào)縮小部件決定預(yù)先設(shè)定后的水平方向的縮小率和垂直方向的縮小率，使用所決定的水平方向的縮小率和垂直方向的縮小率縮小手抖動(dòng)信號(hào)。
3.根據(jù)權(quán)利要求1所述的手抖動(dòng)補(bǔ)正裝置，其特征在于手抖動(dòng)信號(hào)縮小部件分別根據(jù)手抖動(dòng)信號(hào)的水平方向的尺寸以及垂直方向的尺寸，決定水平方向的縮小率和垂直方向的縮小率，使用所決定的水平方向的縮小率和垂直方向的縮小率縮小手抖動(dòng)信號(hào)。
4.一種手抖動(dòng)補(bǔ)正裝置，根據(jù)手抖動(dòng)信號(hào)生成圖像復(fù)原濾波器，使用所取得的圖像復(fù)原濾波器對(duì)手抖動(dòng)圖像進(jìn)行圖像復(fù)原，包括手抖動(dòng)信號(hào)縮小部件，使用所給與的水平方向的縮小率和垂直方向的縮小率縮小手抖動(dòng)信號(hào)；圖像復(fù)原濾波器生成部件，根據(jù)由手抖動(dòng)信號(hào)縮小部件所縮小的手抖動(dòng)信號(hào)生成圖像復(fù)原濾波器；圖像分解部件，將手抖動(dòng)圖像分解為多個(gè)抽取圖像；圖像復(fù)原部件，使用由圖像復(fù)原濾波器生成部件所生成的圖像復(fù)原濾波器，對(duì)由圖像分解部件所分解的各抽取圖像進(jìn)行圖像復(fù)原；和圖像合成部件，合成由圖像復(fù)原部件所復(fù)原的各復(fù)原圖像，而生成針對(duì)手抖動(dòng)圖像的復(fù)原圖像。
5.根據(jù)權(quán)利要求4所述的手抖動(dòng)補(bǔ)正裝置，其特征在于手抖動(dòng)信號(hào)縮小部件決定預(yù)先設(shè)定后的水平方向的縮小率和垂直方向的縮小率，使用所決定的水平方向的縮小率和垂直方向的縮小率縮小手抖動(dòng)信號(hào)。
6.根據(jù)權(quán)利要求4所述的手抖動(dòng)補(bǔ)正裝置，其特征在于手抖動(dòng)信號(hào)縮小部件分別根據(jù)手抖動(dòng)信號(hào)的水平方向的尺寸以及垂直方向的尺寸，決定水平方向的縮小率和垂直方向的縮小率，使用所決定的水平方向的縮小率和垂直方向的縮小率縮小手抖動(dòng)信號(hào)。
7.根據(jù)權(quán)利要求4所述的手抖動(dòng)補(bǔ)正裝置，其特征在于圖像分解部件將手抖動(dòng)圖像分解為考慮了由手抖動(dòng)信號(hào)縮小部件縮小手抖動(dòng)信號(hào)時(shí)使用的水平方向以及垂直方向的縮小率的數(shù)量的抽取圖像。
8.一種手抖動(dòng)補(bǔ)正裝置，根據(jù)手抖動(dòng)信號(hào)生成圖像復(fù)原濾波器，使用所取得的圖像復(fù)原濾波器對(duì)手抖動(dòng)圖像進(jìn)行圖像復(fù)原，包括手抖動(dòng)尺寸判定部件，通過將手抖動(dòng)信號(hào)與給定的閾值進(jìn)行比較，而判定手抖動(dòng)尺寸的大小；第一手抖動(dòng)補(bǔ)正部件，當(dāng)由手抖動(dòng)尺寸判定部件判定為手抖動(dòng)尺寸小時(shí)，執(zhí)行基于第一模式的手抖動(dòng)補(bǔ)正處理；和第二手抖動(dòng)補(bǔ)正部件，當(dāng)由手抖動(dòng)尺寸判定部件判定為手抖動(dòng)尺寸大時(shí)，執(zhí)行基于第二模式的手抖動(dòng)補(bǔ)正處理，第一手抖動(dòng)補(bǔ)正部件，具有第一圖像復(fù)原濾波器生成部件，根據(jù)手抖動(dòng)信號(hào)生成圖像復(fù)原濾波器；和第一圖像復(fù)原部件，使用由第一圖像復(fù)原濾波器生成部件所取得的圖像復(fù)原濾波器對(duì)手抖動(dòng)圖像進(jìn)行圖像復(fù)原，第二手抖動(dòng)補(bǔ)正部件，具有手抖動(dòng)信號(hào)縮小部件，使用所給與的水平方向的縮小率和垂直方向的縮小率縮小手抖動(dòng)信號(hào)；第二圖像復(fù)原濾波器生成部件，根據(jù)由手抖動(dòng)信號(hào)縮小部件所縮小的手抖動(dòng)信號(hào)生成圖像復(fù)原濾波器；圖像縮小部件，用與由手抖動(dòng)信號(hào)縮小部件縮小手抖動(dòng)信號(hào)時(shí)使用的水平方向以及垂直方向的縮小率相同的縮小率縮小手抖動(dòng)圖像；第二圖像復(fù)原部件，使用由第二圖像復(fù)原濾波器生成部件所生成的圖像復(fù)原濾波器，對(duì)由圖像縮小部件所縮小的手抖動(dòng)圖像進(jìn)行圖像復(fù)原；和圖像放大部件，通過將由圖像復(fù)原部件所復(fù)原的復(fù)原圖像進(jìn)行放大，而生成針對(duì)手抖動(dòng)圖像的復(fù)原圖像。
9.根據(jù)權(quán)利要求8所述的手抖動(dòng)補(bǔ)正裝置，其特征在于手抖動(dòng)信號(hào)縮小部件決定預(yù)先設(shè)定后的水平方向的縮小率和垂直方向的縮小率，使用所決定的水平方向的縮小率和垂直方向的縮小率縮小手抖動(dòng)信號(hào)。
10.根據(jù)權(quán)利要求8所述的手抖動(dòng)補(bǔ)正裝置，其特征在于手抖動(dòng)信號(hào)縮小部件分別根據(jù)手抖動(dòng)信號(hào)的水平方向的尺寸以及垂直方向的尺寸，決定水平方向的縮小率和垂直方向的縮小率，使用所決定的水平方向的縮小率和垂直方向的縮小率縮小手抖動(dòng)信號(hào)。
11.一種手抖動(dòng)補(bǔ)正裝置，根據(jù)手抖動(dòng)信號(hào)生成圖像復(fù)原濾波器，使用所取得的圖像復(fù)原濾波器對(duì)手抖動(dòng)圖像進(jìn)行圖像復(fù)原，包括手抖動(dòng)尺寸判定部件，通過將手抖動(dòng)信號(hào)與給定的閾值進(jìn)行比較，判定手抖動(dòng)尺寸的大??；第一手抖動(dòng)補(bǔ)正部件，當(dāng)由手抖動(dòng)尺寸判定部件判定為手抖動(dòng)尺寸小時(shí)，執(zhí)行基于第一模式的手抖動(dòng)補(bǔ)正處理；和第二手抖動(dòng)補(bǔ)正部件，當(dāng)由手抖動(dòng)尺寸判定部件判定為手抖動(dòng)尺寸大時(shí)，執(zhí)行基于第二模式的手抖動(dòng)補(bǔ)正處理，第一手抖動(dòng)補(bǔ)正部件，具有第一圖像復(fù)原濾波器生成部件，根據(jù)手抖動(dòng)信號(hào)生成圖像復(fù)原濾波器；和第一圖像復(fù)原部件，使用由第一圖像復(fù)原濾波器生成部件所取得的圖像復(fù)原濾波器，對(duì)手抖動(dòng)圖像進(jìn)行圖像復(fù)原，第二手抖動(dòng)補(bǔ)正部件，具有手抖動(dòng)信號(hào)縮小部件，使用所給與的水平方向的縮小率和垂直方向的縮小率縮小手抖動(dòng)信號(hào)；第二圖像復(fù)原濾波器生成部件，根據(jù)由手抖動(dòng)信號(hào)縮小部件所縮小的手抖動(dòng)信號(hào)生成圖像復(fù)原濾波器；圖像分解部件，將手抖動(dòng)圖像分解為多個(gè)抽取圖像；第二圖像復(fù)原部件，使用由圖像復(fù)原濾波器生成部件所生成的圖像復(fù)原濾波器，對(duì)由圖像分解部件所分解的各抽取圖像進(jìn)行圖像復(fù)原；和圖像合成部件，通過合成由圖像復(fù)原部件所復(fù)原的各復(fù)原圖像，而生成針對(duì)手抖動(dòng)圖像的復(fù)原圖像。
12.根據(jù)權(quán)利要求11所述的手抖動(dòng)補(bǔ)正裝置，其特征在于手抖動(dòng)信號(hào)縮小部件決定預(yù)先設(shè)定后的水平方向的縮小率和垂直方向的縮小率，使用所決定的水平方向的縮小率和垂直方向的縮小率縮小手抖動(dòng)信號(hào)。
13.根據(jù)權(quán)利要求11所述的手抖動(dòng)補(bǔ)正裝置，其特征在于手抖動(dòng)信號(hào)縮小部件分別根據(jù)手抖動(dòng)信號(hào)的水平方向的尺寸以及垂直方向的尺寸，決定水平方向的縮小率和垂直方向的縮小率，使用所決定的水平方向的縮小率和垂直方向的縮小率縮小手抖動(dòng)信號(hào)。
14.根據(jù)權(quán)利要求11所述的手抖動(dòng)補(bǔ)正裝置，其特征在于圖像分解部件將手抖動(dòng)圖像分解為考慮了由手抖動(dòng)信號(hào)縮小部件縮小手抖動(dòng)信號(hào)時(shí)使用的水平方向以及垂直方向的縮小率的數(shù)量的抽取圖像。
全文摘要
一種手抖動(dòng)補(bǔ)正裝置，包括使用所給與的水平方向的縮小率和垂直方向的縮小率縮小手抖動(dòng)信號(hào)的手抖動(dòng)信號(hào)縮小部件；根據(jù)由手抖動(dòng)信號(hào)縮小部件縮小的手抖動(dòng)信號(hào)生成圖像復(fù)原濾波器的圖像復(fù)原濾波器生成部件；用與由手抖動(dòng)信號(hào)縮小部件縮小手抖動(dòng)信號(hào)時(shí)使用的水平方向以及垂直方向的縮小率相同的縮小率縮小手抖動(dòng)圖像的圖像縮小部件；使用由圖像復(fù)原濾波器生成部件生成的圖像復(fù)原濾波器對(duì)由圖像縮小部件縮小的手抖動(dòng)圖像進(jìn)行圖像復(fù)原的圖像復(fù)原部件；通過把由圖像復(fù)原部件復(fù)原的復(fù)原圖像放大，生成對(duì)于手抖動(dòng)圖像的復(fù)原圖像的圖像放大部件。
文檔編號(hào)H04N5/232GK1937719SQ20061015158
公開日2007年3月28日 申請(qǐng)日期2006年9月13日 優(yōu)先權(quán)日2005年9月22日
發(fā)明者福本晉平, 蚊野浩, 藤田日出人, 畑中晴雄 申請(qǐng)人:三洋電機(jī)株式會(huì)社