本發(fā)明涉及一種圖像穩(wěn)定設(shè)備和圖像穩(wěn)定方法。

背景技術(shù)：

已知有一種包括如下圖像穩(wěn)定設(shè)備的攝像設(shè)備和可更換鏡頭，其中該圖像穩(wěn)定設(shè)備用于檢測(cè)照相機(jī)抖動(dòng)并且使得被配置為能夠移動(dòng)以校正由于所檢測(cè)到的照相機(jī)抖動(dòng)而引起的圖像抖動(dòng)的透鏡或圖像傳感器進(jìn)行移動(dòng)。這種方法的圖像穩(wěn)定功能被已知為光學(xué)圖像穩(wěn)定。此外，近年來(lái)，存在用于針對(duì)運(yùn)動(dòng)圖像通過提取如下的幀圖像來(lái)進(jìn)行輸出的圖像穩(wěn)定功能，并且這在小型化/輕量化攝像設(shè)備以及具有攝像設(shè)備的移動(dòng)電話中使用，其中該幀圖像的位置在用于抵消照相機(jī)抖動(dòng)的方向上發(fā)生偏移。這種方法的圖像穩(wěn)定被已知為電子圖像穩(wěn)定。

作為用于檢測(cè)抖動(dòng)的方法，角速度傳感器(陀螺儀傳感器)是代表性的，并且通過基于所檢測(cè)到的角速度使透鏡或圖像傳感器在用于抵消抖動(dòng)的方向上移動(dòng)來(lái)校正該抖動(dòng)。在日本特開2005-43780中，公開了如下內(nèi)容：通過將根據(jù)運(yùn)動(dòng)矢量所計(jì)算出的角速度傳感器的偏移實(shí)時(shí)反饋回至圖像穩(wěn)定驅(qū)動(dòng)量以修改角速度傳感器偏移，來(lái)進(jìn)行預(yù)測(cè)。

此外，近年來(lái)，根據(jù)攝像設(shè)備幀頻的高速化和圖像處理的改進(jìn)，已知有用于通過分析幀之間的圖像的抖動(dòng)以獲得運(yùn)動(dòng)矢量來(lái)檢測(cè)抖動(dòng)的技術(shù)。

另一方面，作為先進(jìn)的攝像方法，存在搖攝，并且存在被攝體處于近距離的微距攝像。微距攝像是在被攝體處于近距離時(shí)所進(jìn)行的攝像，并且在這些情況下，由于無(wú)法忽視除正常角度抖動(dòng)以外的攝像設(shè)備的平移抖動(dòng)成分，因此圖像穩(wěn)定的需求因照相機(jī)抖動(dòng)大于普通攝像時(shí)的照相機(jī)抖動(dòng)而有所增加。結(jié)果，存在如下技術(shù)：通過使用加速度傳感器檢測(cè)平移抖動(dòng)、并根據(jù)角度抖動(dòng)單獨(dú)計(jì)算平移抖動(dòng)成分，來(lái)提高照相機(jī)抖動(dòng)校正量的精度。此外，存在如下技術(shù)：在沒有包括加速度傳感器的情況下，通過根據(jù)圖像穩(wěn)定設(shè)備的驅(qū)動(dòng)量和位置信號(hào)預(yù)測(cè)攝像設(shè)備的加速度成分、并根據(jù)預(yù)測(cè)得到的加速度計(jì)算平移抖動(dòng)成分，來(lái)改善微距攝像時(shí)的圖像穩(wěn)定效果。

搖攝是在根據(jù)移動(dòng)的被攝體而使攝像設(shè)備傾斜或平搖的情況下所進(jìn)行的攝像。在這種攝像方法中，通過在不使正移動(dòng)的被攝體抖動(dòng)而特意使移動(dòng)的被攝體的背景流過而進(jìn)行攝像，使該被攝體突出并且使該被攝體具有運(yùn)動(dòng)。這種攝像方法要求復(fù)雜的技術(shù)，因此存在用于通過驅(qū)動(dòng)圖像穩(wěn)定設(shè)備校正圖像模糊來(lái)進(jìn)行輔助的技術(shù)。

在日本特開2014-211531中，在用于輔助搖攝的方法中，公開了如下內(nèi)容：根據(jù)角速度傳感器的角速度檢測(cè)信號(hào)和運(yùn)動(dòng)矢量來(lái)計(jì)算平搖量，并且使用角速度檢測(cè)信號(hào)和平搖量之間的差來(lái)執(zhí)行圖像穩(wěn)定。據(jù)此，降低了由于搖攝輔助功能中的圖像穩(wěn)定而引起的不利影響。

此外，日本特開2008-192060公開了如下技術(shù)：在利用運(yùn)動(dòng)矢量的抖動(dòng)檢測(cè)中，將圖像分割成小塊，針對(duì)各塊計(jì)算局部運(yùn)動(dòng)矢量，然后根據(jù)多個(gè)局部運(yùn)動(dòng)矢量來(lái)計(jì)算全體的全局運(yùn)動(dòng)矢量。據(jù)此，可以去除因由于圖像噪聲所引起的運(yùn)動(dòng)矢量的錯(cuò)誤計(jì)算或者由于被攝體的移動(dòng)所引起的模糊而造成的照相機(jī)抖動(dòng)以外的元素。

然而，在使用角速度傳感器的圖像穩(wěn)定設(shè)備中，由于以下兩個(gè)原因，因而無(wú)法充分地提高圖像穩(wěn)定的性能。

第一個(gè)原因是角速度傳感器中的偏移計(jì)算誤差。由于角速度傳感器包含傳感器特有的偏移噪聲和因溫度變動(dòng)所引起的低頻帶噪聲，因此在計(jì)算圖像穩(wěn)定值時(shí)的積分處理中無(wú)法施加完全積分。在針對(duì)積分處理以低通濾波器(lpf)進(jìn)行偽積分(pseudointegral)時(shí)，需要犧牲超低頻成分的性能。

第二個(gè)原因是角速度傳感器靈敏度變化。在出廠時(shí)對(duì)攝像設(shè)備進(jìn)行各種調(diào)整以降低靈敏度變化，但由于必然殘留調(diào)整誤差成分，因而必然無(wú)法實(shí)現(xiàn)100％的圖像穩(wěn)定效果。

此外，在通過使用加速度傳感器改善了微距攝像時(shí)的圖像穩(wěn)定效果的情況下，由于包含了加速度傳感器而使成本有所增加。另一方面，在根據(jù)圖像穩(wěn)定設(shè)備的驅(qū)動(dòng)量和位置信號(hào)來(lái)預(yù)測(cè)攝像設(shè)備的加速度的情況下，存在如下問題：如果抖動(dòng)是微小抖動(dòng)，則估計(jì)精度差。

此外，在日本特開2005-43780中，由于通過反饋控制實(shí)時(shí)更新角速度傳感器的偏移，因此存在防抖動(dòng)性能在預(yù)測(cè)中途(等待靜止圖像期間)劣化的情況。盡管這依賴于反饋控制的反饋增益的設(shè)計(jì)，但在使反饋增益變大的情況下，即使預(yù)測(cè)的收斂較快，仍存在防抖動(dòng)性能劣化的問題。此外，在使反饋增益變小的情況下，盡管預(yù)測(cè)期間的防抖動(dòng)性能的劣化程度變小，但收斂速度變慢。

此外，在日本特開2014-211531中，在根據(jù)角速度傳感器的輸出和運(yùn)動(dòng)矢量差來(lái)進(jìn)行平搖量的計(jì)算和平搖判斷的情況下，沒有考慮到靈敏度變化以及作為角速度傳感器特有的噪聲的偏移成分。由于該原因，存在如下情況：計(jì)算結(jié)果殘留有誤差，并且無(wú)法實(shí)現(xiàn)充分的搖攝判斷精度和輔助精度。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明是考慮到上述情形而做出的，并且在進(jìn)行搖攝期間提高了使用角速度傳感器的圖像穩(wěn)定處理中的校正效果。

根據(jù)本發(fā)明，提供了一種圖像穩(wěn)定設(shè)備，包括：轉(zhuǎn)換單元，用于基于照相機(jī)抖動(dòng)檢測(cè)單元的輸出變化來(lái)校正所述照相機(jī)抖動(dòng)檢測(cè)單元所檢測(cè)到的角速度信號(hào)，并且將校正后的角速度信號(hào)轉(zhuǎn)換為照相機(jī)抖動(dòng)量；分離單元，用于將從圖像傳感器所輸出的圖像的各幀分割為多個(gè)區(qū)域，并且使用轉(zhuǎn)換得到的照相機(jī)抖動(dòng)量將各自根據(jù)圖像的幀之間在各區(qū)域的差所計(jì)算出的運(yùn)動(dòng)矢量分離為與被攝體相對(duì)應(yīng)的被攝體矢量和與背景相對(duì)應(yīng)的背景矢量；識(shí)別單元，用于基于所述轉(zhuǎn)換單元校正之前的角速度信號(hào)、所述背景矢量和表示用以光學(xué)地校正抖動(dòng)的校正單元的位置的位置信號(hào)，來(lái)識(shí)別所述照相機(jī)抖動(dòng)檢測(cè)單元的輸出變化；以及改變單元，用于將所述被攝體矢量改變?yōu)樗鲂Ｕ龁卧尿?qū)動(dòng)量，其中，所述轉(zhuǎn)換單元基于所述識(shí)別單元所識(shí)別出的輸出變化來(lái)校正所述角速度信號(hào)。

此外，根據(jù)本發(fā)明，提供了一種圖像穩(wěn)定方法，包括以下步驟：基于照相機(jī)抖動(dòng)檢測(cè)單元的輸出變化來(lái)校正所述照相機(jī)抖動(dòng)檢測(cè)單元所檢測(cè)到的角速度信號(hào)；將校正后的角速度信號(hào)轉(zhuǎn)換為照相機(jī)抖動(dòng)量；將從圖像傳感器所輸出的圖像的各幀分割為多個(gè)區(qū)域；使用轉(zhuǎn)換得到的照相機(jī)抖動(dòng)量將根據(jù)圖像的幀之間在各區(qū)域的差所計(jì)算出的運(yùn)動(dòng)矢量分離為與被攝體相對(duì)應(yīng)的被攝體矢量和與背景相對(duì)應(yīng)的背景矢量；基于校正之前的角速度信號(hào)、所述背景矢量和表示用以光學(xué)地校正抖動(dòng)的校正單元的位置的位置信號(hào)，來(lái)識(shí)別所述照相機(jī)抖動(dòng)檢測(cè)單元的輸出變化；以及將所述被攝體矢量改變?yōu)樗鲂Ｕ龁卧尿?qū)動(dòng)量，其中，基于所識(shí)別出的輸出變化來(lái)校正所述角速度信號(hào)。

根據(jù)以下(參考附圖)對(duì)典型實(shí)施例的說(shuō)明，本發(fā)明的其它特征將變得明顯。

附圖說(shuō)明

包含并構(gòu)成說(shuō)明書一部分的附圖示出了本發(fā)明的實(shí)施例，并與說(shuō)明書一起用來(lái)解釋本發(fā)明的原理。

圖1是示出根據(jù)本發(fā)明實(shí)施例的攝像設(shè)備的功能結(jié)構(gòu)的框圖；

圖2是示出根據(jù)第一實(shí)施例的圖像穩(wěn)定控制單元的結(jié)構(gòu)的框圖；

圖3是說(shuō)明用于根據(jù)角速度信號(hào)、位置信號(hào)和運(yùn)動(dòng)矢量來(lái)識(shí)別角速度傳感器的偏移和靈敏度的方法的圖；

圖4是示出根據(jù)第一實(shí)施例的抖動(dòng)信號(hào)系統(tǒng)識(shí)別單元的結(jié)構(gòu)的框圖；

圖5是根據(jù)第一實(shí)施例的抖動(dòng)信號(hào)系統(tǒng)識(shí)別處理的流程圖；

圖6是示出一般的一階iir濾波器的結(jié)構(gòu)的框圖；

圖7是根據(jù)第一實(shí)施例的變形例的抖動(dòng)信號(hào)系統(tǒng)識(shí)別處理的流程圖；

圖8是示出根據(jù)第二實(shí)施例的圖像穩(wěn)定控制單元的結(jié)構(gòu)的框圖；

圖9是根據(jù)第二實(shí)施例的圖像穩(wěn)定單元的說(shuō)明圖；

圖10a和10b是示出根據(jù)第三實(shí)施例的被攝體以及用于檢測(cè)運(yùn)動(dòng)矢量的塊配置的示例的圖；

圖11是示出根據(jù)第三實(shí)施例的運(yùn)動(dòng)矢量的直方圖的圖；

圖12是示出根據(jù)第三實(shí)施例的搖攝輔助控制單元的結(jié)構(gòu)的框圖；以及

圖13是示出根據(jù)第三實(shí)施例的抖動(dòng)信號(hào)修改單元和被攝體/背景矢量計(jì)算單元的詳細(xì)結(jié)構(gòu)的框圖。

具體實(shí)施方式

以下將根據(jù)附圖來(lái)詳細(xì)說(shuō)明本發(fā)明的各典型實(shí)施例。

第一實(shí)施例

圖1是示出根據(jù)本發(fā)明第一實(shí)施例的包括圖像穩(wěn)定設(shè)備的攝像設(shè)備(這里為用于拍攝靜止圖像和運(yùn)動(dòng)圖像的數(shù)字照相機(jī))的功能結(jié)構(gòu)的框圖。

在圖1中，光學(xué)系統(tǒng)被配置為包括：變焦單元101，其包括放大/縮小用的變焦透鏡；光圈/快門單元103；圖像穩(wěn)定單元105；以及調(diào)焦單元107，其包括用于調(diào)節(jié)焦點(diǎn)的透鏡。對(duì)于變焦單元101，通過變焦驅(qū)動(dòng)控制單元102來(lái)進(jìn)行驅(qū)動(dòng)控制，并且對(duì)于光圈/快門單元103，通過光圈/快門驅(qū)動(dòng)控制單元104來(lái)進(jìn)行驅(qū)動(dòng)控制。此外，對(duì)于圖像穩(wěn)定單元105，通過圖像穩(wěn)定控制單元106來(lái)進(jìn)行驅(qū)動(dòng)控制，并且對(duì)于調(diào)焦單元107，通過調(diào)焦驅(qū)動(dòng)控制單元108來(lái)進(jìn)行驅(qū)動(dòng)控制。

攝像單元109進(jìn)行穿過上述光學(xué)系統(tǒng)的光學(xué)圖像向電信號(hào)的光電轉(zhuǎn)換。將從攝像單元109輸出的電信號(hào)通過圖像信號(hào)處理單元110轉(zhuǎn)換成視頻信號(hào)，并且根據(jù)期望用途通過視頻信號(hào)處理單元111進(jìn)一步進(jìn)行處理。顯示單元112基于從視頻信號(hào)處理單元111輸出的信號(hào)，根據(jù)需要來(lái)進(jìn)行圖像顯示。

電源單元113根據(jù)期望用途向攝像設(shè)備整體供電。外部輸入輸出端子單元114相對(duì)于外部設(shè)備(未示出)進(jìn)行通信信號(hào)和視頻信號(hào)的輸入/輸出。

操作單元115用于對(duì)系統(tǒng)進(jìn)行操作，并且包括圖像穩(wěn)定on/off(開啟/關(guān)閉)開關(guān)、快門釋放按鈕、運(yùn)動(dòng)圖像記錄開關(guān)、重放模式選擇開關(guān)和放大/縮小開關(guān)。

圖像穩(wěn)定on/off開關(guān)使得能夠針對(duì)圖像穩(wěn)定選擇on/off，并且在通過圖像穩(wěn)定on/off開關(guān)針對(duì)圖像穩(wěn)定選擇了on的情況下，照相機(jī)系統(tǒng)控制單元118指示圖像穩(wěn)定控制單元106進(jìn)行圖像穩(wěn)定操作。接收到該指示的圖像穩(wěn)定控制單元106進(jìn)行圖像穩(wěn)定操作，直到進(jìn)行了圖像穩(wěn)定off指示為止。

快門釋放按鈕被配置為使得能夠進(jìn)行兩級(jí)操作，以根據(jù)該按鈕的按壓量來(lái)順次接通第一開關(guān)(sw1)和第二開關(guān)(sw2)。構(gòu)造如下：在近似半按下快門釋放按鈕(第一級(jí))的情況下，接通第一開關(guān)sw1，并且在完全按下快門釋放按鈕(第二級(jí))的情況下，接通第二開關(guān)sw2。在第一開關(guān)sw1接通的情況下，調(diào)焦驅(qū)動(dòng)控制單元108驅(qū)動(dòng)包括調(diào)焦透鏡的調(diào)焦單元107以進(jìn)行焦點(diǎn)調(diào)節(jié)，并且光圈/快門驅(qū)動(dòng)控制單元104驅(qū)動(dòng)光圈/快門單元103以設(shè)置適當(dāng)?shù)钠毓饬?。在第二開關(guān)sw2接通的情況下，將從攝像單元109上曝光的光學(xué)圖像所獲得的圖像數(shù)據(jù)存儲(chǔ)在存儲(chǔ)單元116中。

在按下運(yùn)動(dòng)圖像記錄開關(guān)的情況下，開始運(yùn)動(dòng)圖像拍攝，并且在記錄期間再次按下運(yùn)動(dòng)圖像記錄開關(guān)的情況下，記錄結(jié)束。還可以通過在運(yùn)動(dòng)圖像拍攝期間按下第一開關(guān)sw1和第二開關(guān)sw2，來(lái)應(yīng)對(duì)運(yùn)動(dòng)圖像記錄期間的靜止圖像拍攝。

在按下重放模式選擇開關(guān)的情況下，選擇重放模式。注意，在處于重放模式時(shí)，停止圖像穩(wěn)定操作。

放大/縮小開關(guān)是用于進(jìn)行變焦放大/縮小的指示的開關(guān)。在通過放大/縮小開關(guān)進(jìn)行了變焦放大/縮小指示的情況下，變焦驅(qū)動(dòng)控制單元102在經(jīng)由照相機(jī)系統(tǒng)控制單元118接收到該指示之后，驅(qū)動(dòng)變焦單元101以使變焦單元101移動(dòng)到所指示的變焦位置。與此同時(shí)，調(diào)焦驅(qū)動(dòng)控制單元108基于從攝像單元109發(fā)送來(lái)的并且在圖像信號(hào)處理單元110和視頻信號(hào)處理單元111中處理后的圖像信息來(lái)驅(qū)動(dòng)調(diào)焦單元107以進(jìn)行焦點(diǎn)調(diào)節(jié)。

存儲(chǔ)單元116存儲(chǔ)諸如視頻信息等的各種數(shù)據(jù)。照相機(jī)抖動(dòng)檢測(cè)單元117是角速度傳感器，其中該角速度傳感器使用諸如陀螺儀傳感器等的傳感器來(lái)檢測(cè)照相機(jī)抖動(dòng)量作為角速度，并且輸出要轉(zhuǎn)換成電壓的抖動(dòng)信號(hào)(角速度信號(hào))。照相機(jī)系統(tǒng)控制單元118控制攝像設(shè)備整體。運(yùn)動(dòng)矢量檢測(cè)單元119對(duì)從圖像信號(hào)處理單元110所輸出的視頻信號(hào)的幀圖像之間的抖動(dòng)進(jìn)行分析以檢測(cè)運(yùn)動(dòng)矢量。

圖2是示出根據(jù)第一實(shí)施例的圖像穩(wěn)定控制單元106的結(jié)構(gòu)的框圖。注意，由于針對(duì)俯仰方向和橫擺方向而言結(jié)構(gòu)均相同，因此將僅針對(duì)一個(gè)圖像穩(wěn)定軸給出說(shuō)明。

在圖2中，ad轉(zhuǎn)換單元201將照相機(jī)抖動(dòng)檢測(cè)單元117所輸出的模擬角速度信號(hào)轉(zhuǎn)換成數(shù)字角速度信號(hào)。

高通濾波器(hpf)202從ad轉(zhuǎn)換單元201轉(zhuǎn)換得到的角速度信號(hào)中去除照相機(jī)抖動(dòng)檢測(cè)單元117的偏移成分和溫度漂移成分。積分單元203主要通過使用低通濾波器(lpf)的偽積分進(jìn)行積分，來(lái)將從hpf202輸出的角速度信號(hào)轉(zhuǎn)換為角度數(shù)據(jù)。乘法單元204將通過積分單元203所獲得的角度數(shù)據(jù)轉(zhuǎn)換為圖像穩(wěn)定單元105中所包括的校正透鏡的驅(qū)動(dòng)量。使乘法單元204的靈敏度成為針對(duì)各焦距而有所不同的值，并且無(wú)論何時(shí)焦距改變時(shí)，靈敏度也改變。此外，還反映與照相機(jī)抖動(dòng)檢測(cè)單元117的角速度傳感器的靈敏度調(diào)整相對(duì)應(yīng)的校正量，并且吸收靈敏度變化。以下，該信號(hào)輸出將被稱為第一照相機(jī)抖動(dòng)校正量。

另一方面，積分單元206主要通過使用低通濾波器的偽積分，來(lái)對(duì)去除了稍后將說(shuō)明的抖動(dòng)信號(hào)系統(tǒng)識(shí)別單元214所識(shí)別出的偏移值的角速度信號(hào)進(jìn)行積分，以將該角速度信號(hào)轉(zhuǎn)換為角度數(shù)據(jù)。乘法單元207具有與乘法單元204相同的結(jié)構(gòu)，并且將從積分單元206所獲得的角度數(shù)據(jù)轉(zhuǎn)換為校正透鏡的驅(qū)動(dòng)量。以下，該信號(hào)輸出將被稱為第二照相機(jī)抖動(dòng)校正量。由于該第二照相機(jī)抖動(dòng)校正量與第一照相機(jī)抖動(dòng)校正量相比并沒有通過hpf，因此可以補(bǔ)償包括比第一照相機(jī)抖動(dòng)校正量低的頻帶的抖動(dòng)的抖動(dòng)。

信號(hào)選擇單元208選擇第一照相機(jī)抖動(dòng)校正量或第二照相機(jī)抖動(dòng)校正量。例如，為了在具有諸如靜止圖像拍攝前或平搖操作等的重要照相機(jī)操作的運(yùn)動(dòng)圖像拍攝期間改善視頻的表現(xiàn)，選擇了頻帶較窄的第一照相機(jī)抖動(dòng)校正量。另一方面，為了在靜止圖像曝光期間或者在除平搖操作外的運(yùn)動(dòng)圖像拍攝期間增加圖像穩(wěn)定效果，選擇了作為寬頻帶信號(hào)的第二照相機(jī)抖動(dòng)校正量。

位置檢測(cè)單元212檢測(cè)校正透鏡的位置并將該位置作為電壓輸出，并且ad轉(zhuǎn)換單元213將作為校正透鏡的位置的模擬電壓(位置信號(hào))轉(zhuǎn)換為數(shù)字位置信號(hào)。

限制器單元209將信號(hào)選擇單元208所選擇的第一照相機(jī)抖動(dòng)校正量或第二照相機(jī)抖動(dòng)校正量鉗位到包括校正透鏡的圖像穩(wěn)定單元105能夠移動(dòng)的范圍。pid控制單元210輸入了取值為表示從ad轉(zhuǎn)換單元213輸出的校正透鏡的位置的位置信號(hào)與限制器單元209鉗位后的照相機(jī)抖動(dòng)校正量的差的信號(hào)，并且基于所輸入的差信號(hào)來(lái)輸出用于控制校正透鏡的位置的控制信號(hào)。驅(qū)動(dòng)器單元211將該控制信號(hào)轉(zhuǎn)換為電壓，并且提供用于驅(qū)動(dòng)圖像穩(wěn)定單元105的電流。

將如下的三種信號(hào)輸入至抖動(dòng)信號(hào)系統(tǒng)識(shí)別單元214：從ad轉(zhuǎn)換單元201輸出的角速度信號(hào)、表示從ad轉(zhuǎn)換單元213輸出的校正透鏡位置的位置信號(hào)、以及從運(yùn)動(dòng)矢量檢測(cè)單元119輸出的運(yùn)動(dòng)矢量。抖動(dòng)信號(hào)系統(tǒng)識(shí)別單元214根據(jù)這三種輸入數(shù)據(jù)來(lái)進(jìn)行角速度傳感器偏移和靈敏度及其各自的誤差擴(kuò)散值的總計(jì)四個(gè)計(jì)算。然后，根據(jù)這些計(jì)算的結(jié)果，改變從角速度信號(hào)減去的偏移值、積分單元206中的積分濾波器特性、以及乘法單元207中的轉(zhuǎn)換為校正透鏡的偏移量的增益。

接著，使用圖3來(lái)說(shuō)明用于根據(jù)角速度信號(hào)、位置信號(hào)和運(yùn)動(dòng)矢量來(lái)同時(shí)識(shí)別角速度傳感器偏移和靈敏度的原理。

在施加了攝像設(shè)備中的角速度w的情況下，在攝像設(shè)備內(nèi)所包含的角速度傳感器中，在將角速度w轉(zhuǎn)換為角速度信號(hào)的情況下，與靈敏度變動(dòng)a相乘并將作為角速度傳感器的個(gè)體變化成分的偏移噪聲b與相乘得到的角速度信號(hào)相加。此外，通過lpf402從輸出中截除高頻，由此檢測(cè)到觀測(cè)值(角速度信號(hào))g。這里，將lpf402的特性表示為l(s)，其中s是拉普拉斯變換中所使用的復(fù)數(shù)。注意，在圖3中，lpf402示出在角速度傳感器的內(nèi)部，但即使lpf402處于角速度傳感器的外部也同樣如此。

通過圖像穩(wěn)定控制單元106來(lái)將角速度信號(hào)g轉(zhuǎn)換為校正透鏡的驅(qū)動(dòng)量。這里，將圖像穩(wěn)定控制單元106的轉(zhuǎn)換特性表示為i(s)。該驅(qū)動(dòng)量將被觀測(cè)為位置檢測(cè)單元212所檢測(cè)到的位置信號(hào)h。

另一方面，盡管攝像設(shè)備的角速度w利用單純積分(404)成為攝像設(shè)備整體的真實(shí)抖動(dòng)角度，但無(wú)法觀測(cè)到該信號(hào)。在從攝像設(shè)備整體的抖動(dòng)角度減去位置信號(hào)h的情況下，變?yōu)槭Ｓ喽秳?dòng)角度，并且獲得該剩余抖動(dòng)角度的幀之間的差(405)作為利用運(yùn)動(dòng)矢量檢測(cè)單元119的運(yùn)動(dòng)矢量v。

可以通過以下的等式(1)來(lái)表示圖3的從角速度w到運(yùn)動(dòng)矢量v的傳遞特性。

v＝w-sh...(1)

此外，可以通過以下的等式(2)來(lái)表示圖3的從角速度w到角速度信號(hào)g的傳遞特性。

g＝l(s)(aw+b)...(2)

等式(3)對(duì)應(yīng)于如下情況：從上述等式(1)和(2)中去除無(wú)法觀測(cè)到的實(shí)際角速度w。

g＝al(s)(sh+v)+l(s)b...(3)

此外，由于照相機(jī)抖動(dòng)的頻帶通常為20hz以下并且角速度傳感器的lpf402的截止頻率主流為數(shù)百hz，因此這里可以近似為l(s)≈1。在這種情況下，等式(3)變?yōu)橐韵碌仁?4)。

g＝a(sh+v)+b...(4)

到此為止已經(jīng)說(shuō)明了連續(xù)系統(tǒng)，接著將說(shuō)明離散系統(tǒng)。

進(jìn)行如下設(shè)定：角速度信號(hào)g(k)是y(k)(等式(4)左側(cè)的g)，δh(k)+v(k)是x(k)(等式(4)右側(cè)的sh+v)，并且識(shí)別參數(shù)為θ(k)^t＝(a(k),b(k))。a(k)是角速度傳感器的靈敏度，b(k)是角速度傳感器的偏移，并且k是離散時(shí)間。

y(k)＝g(k)

x(k)＝δh(k)+v(k)

此外，按照如下來(lái)定義新變量z(k)。

根據(jù)等式(4)、(5)和(6)，可以得到以下的狀態(tài)方程。

θ(k+1)＝θ(k)+ε

y(k)＝θ(k)^tz(k)+ω...(7)

其中，ε是表示識(shí)別參數(shù)的變動(dòng)成分的系統(tǒng)噪聲參數(shù)，并且ω是觀測(cè)噪聲參數(shù)。

如從等式(7)可以看出，可以從作為觀測(cè)量的角速度信號(hào)g(k)、位置信號(hào)h(k)和運(yùn)動(dòng)矢量v(k)這三種數(shù)據(jù)，來(lái)識(shí)別作為可被表示為狀態(tài)變量的識(shí)別參數(shù)的角速度傳感器的偏移和靈敏度。此外，通過設(shè)計(jì)作為系統(tǒng)噪聲參數(shù)的ε，適當(dāng)?shù)兀梢赃M(jìn)行包括角速度傳感器靈敏度和角速度傳感器偏移的溫度變動(dòng)成分的識(shí)別。

此外，用于使用卡爾曼濾波器來(lái)識(shí)別等式(7)的θ的濾波步驟如下所述。

(步驟1)卡爾曼增益計(jì)算

(步驟2)識(shí)別參數(shù)計(jì)算

θ(k)＝θ(k-1)+k(k){y(k)-z^t(k)·θ(k-1)}...(9)

(步驟3)識(shí)別誤差擴(kuò)散計(jì)算

其中，k是離散時(shí)間(濾波步驟數(shù))，k是卡爾曼增益(1行×2列)，p是識(shí)別誤差協(xié)方差矩陣(2行×2列)，并且σω是角速度信號(hào)的觀測(cè)噪聲擴(kuò)散參數(shù)(標(biāo)量)。此外，rε是考慮了識(shí)別參數(shù)的溫度變動(dòng)的系統(tǒng)參數(shù)(2行×2列)。對(duì)于識(shí)別誤差擴(kuò)散矩陣p的初始值，賦予適當(dāng)?shù)拇笾底鳛樵O(shè)計(jì)值。然而，如果設(shè)置了非常大的值，則識(shí)別結(jié)果將會(huì)發(fā)散，因此對(duì)于該參數(shù)而言需要根據(jù)觀測(cè)噪聲進(jìn)行調(diào)整。

此外，對(duì)于σω，可以使用角速度信號(hào)的實(shí)際觀測(cè)噪聲值，但如從等式(8)和(10)可以看出，該參數(shù)越大，識(shí)別收斂越慢，并且該參數(shù)越小，收斂越快。另一方面，較大的值將使濾波器穩(wěn)定，而該值越小，越存在識(shí)別結(jié)果將發(fā)散的風(fēng)險(xiǎn)。由于該原因，還可以將該值視為用于確定濾波器的收斂速度的調(diào)整參數(shù)。

另一方面，在卡爾曼濾波器的步驟(3)(等式(10))中，還同時(shí)計(jì)算識(shí)別誤差擴(kuò)散。該識(shí)別誤差擴(kuò)散是作為表示給定時(shí)刻j的識(shí)別結(jié)果θ(j)從k＝0到k＝j(luò)改變了多少的指標(biāo)的值，并且可以被視為與時(shí)刻j的識(shí)別參數(shù)θ的可靠性相對(duì)應(yīng)的值。

如上所述，識(shí)別參數(shù)θ時(shí)時(shí)刻刻收斂并且可靠性增大，但即使在使用遞歸最小二乘法而非卡爾曼濾波器的情況下也同樣如此。然而，利用遞歸最小二乘法，沒有考慮觀測(cè)噪聲和系統(tǒng)噪聲(識(shí)別參數(shù)變動(dòng)成分)，因此濾波魯棒性較低，并且同樣無(wú)法適用于參數(shù)溫度變動(dòng)，因此識(shí)別值將收斂于恒定值。由于該原因，在實(shí)際設(shè)計(jì)中使用卡爾曼濾波器是有利的。

上述是用于識(shí)別角速度傳感器的靈敏度變動(dòng)a和角速度傳感器的偏移b的方法的詳細(xì)說(shuō)明，但簡(jiǎn)要說(shuō)明如下所述。

利用等式(4)，在作為觀測(cè)值的角速度信號(hào)g是y、并且作為圖像穩(wěn)定角速度和運(yùn)動(dòng)矢量的總和的sh+v是x的情況下，等式(4)變?yōu)楹?jiǎn)單的線性模型y＝ax+b，并且可以根據(jù)觀測(cè)值來(lái)確定直線y＝ax+b的斜率a和y截距b。該斜率是角速度傳感器的靈敏度，并且y截距是角速度傳感器的偏移。

注意，通過上述方法所獲得的角速度傳感器的靈敏度在被攝體距離對(duì)應(yīng)于無(wú)限遠(yuǎn)的情況下是純角速度傳感器靈敏度，但在被攝體距離是近距離的情況下并非如此。存在攝像設(shè)備的兩種類型的抖動(dòng)：角度抖動(dòng)和平移抖動(dòng)。等式(11)表示攝像面上的抖動(dòng)量。

δ＝(1+β)fθ(t)+βy(t)...(11)

其中，δ是攝像面上的抖動(dòng)量[mm]，β是攝像倍率，f是焦距[mm]，θ(t)是抖動(dòng)角度[度]，并且y(t)是驅(qū)動(dòng)量[mm]。等式(11)右側(cè)的(1+β)fθ(t)是角度抖動(dòng)成分，并且右側(cè)的βy(t)是平移抖動(dòng)成分。

如從等式(11)可以看出，在被攝體距離短的情況下，即在微距攝像的情況下，攝像倍率β大，因此無(wú)法忽視平移抖動(dòng)成分。在這種情況下，在許多先前示例中，通過加速度傳感器來(lái)感測(cè)作為平移抖動(dòng)成分的元素的驅(qū)動(dòng)量y(t)，單獨(dú)計(jì)算平移抖動(dòng)校正量，并且通過將平移抖動(dòng)校正量與利用角速度信號(hào)所獲得的角度抖動(dòng)成分進(jìn)行合成來(lái)校正這兩種抖動(dòng)成分。然而，在本發(fā)明的識(shí)別方法中，在被攝體距離近的情況下將剩余平移抖動(dòng)檢測(cè)作為運(yùn)動(dòng)矢量，因此識(shí)別出包括平移抖動(dòng)成分的校正靈敏度。也就是說(shuō)，通過使用上述識(shí)別方法，可以在無(wú)需使用加速度傳感器的情況下識(shí)別角度抖動(dòng)和平移抖動(dòng)這兩種抖動(dòng)成分的總增益，并且可以消除抖動(dòng)。

然而，在計(jì)算出考慮了平移抖動(dòng)成分的靈敏度變動(dòng)的情況下，需要適當(dāng)?shù)卦O(shè)計(jì)作為系統(tǒng)變動(dòng)成分參數(shù)的rε。此外，在被攝體距離發(fā)生預(yù)定值以上的變動(dòng)的情況下，為了增加之后的識(shí)別參數(shù)的收斂速度，需要將識(shí)別誤差擴(kuò)散復(fù)位為初始值或者使作為系統(tǒng)噪聲的rε變大。

接著，將使用圖4來(lái)說(shuō)明抖動(dòng)信號(hào)系統(tǒng)識(shí)別單元214的結(jié)構(gòu)。以觀測(cè)數(shù)據(jù)采樣中最慢的運(yùn)動(dòng)矢量采樣所用的30hz或60hz來(lái)進(jìn)行抖動(dòng)信號(hào)系統(tǒng)識(shí)別處理的采樣。在ad轉(zhuǎn)換單元201和213中以數(shù)khz的速率來(lái)對(duì)角速度信號(hào)和位置信號(hào)進(jìn)行采樣，并且使用攝像曝光重心定時(shí)信號(hào)來(lái)與運(yùn)動(dòng)矢量進(jìn)行同步。據(jù)此，在平均值計(jì)算單元501中計(jì)算角速度信號(hào)的曝光重心間的幀之間的平均值，并且在差計(jì)算單元502中根據(jù)位置信號(hào)的曝光重心之間的差來(lái)計(jì)算幀之間的圖像穩(wěn)定角速度。此外，在轉(zhuǎn)換單元503中，運(yùn)動(dòng)矢量被轉(zhuǎn)換為角速度單位的運(yùn)動(dòng)矢量，并且與幀之間的圖像穩(wěn)定角速度相加。將各個(gè)信號(hào)輸入至lpf504和505，以降低混疊(aliasing)。然后，通過將lpf504和505的輸出輸入至卡爾曼濾波器506，來(lái)識(shí)別角速度傳感器的偏移和靈敏度。還同時(shí)輸出表示識(shí)別結(jié)果的可靠性的識(shí)別誤差擴(kuò)散。

接著，使用圖5的流程圖來(lái)說(shuō)明抖動(dòng)信號(hào)系統(tǒng)識(shí)別處理。

首先，在步驟s101中，獲得運(yùn)動(dòng)矢量、角速度信號(hào)和圖像穩(wěn)定角速度這三種觀測(cè)數(shù)據(jù)，注意，角速度信號(hào)是曝光重心之間的平均值，并且圖像穩(wěn)定角速度是位置信號(hào)曝光重心之間的圖像穩(wěn)定角度的微分值。此外，在該階段，對(duì)這三種觀測(cè)數(shù)據(jù)的單位系進(jìn)行匹配。在步驟s102中，進(jìn)行用于利用lpf504和505進(jìn)行抗混疊的低通濾波處理。

接著，在步驟s103中，判斷攝像設(shè)備的運(yùn)動(dòng)。在抖動(dòng)小的情況下(即，在攝像設(shè)備安裝于三腳架的情況下，在攝像設(shè)備放置在不存在抖動(dòng)的基座上且處于靜止?fàn)顟B(tài)的情況下，等等)，這三種觀測(cè)數(shù)據(jù)大致是恒定值。在這些情況下，在執(zhí)行上述的卡爾曼濾波步驟時(shí)，由于觀測(cè)基準(zhǔn)點(diǎn)是固定的，因此無(wú)法進(jìn)行正確的識(shí)別。相反，由于受到觀測(cè)數(shù)據(jù)噪聲的影響，因而識(shí)別結(jié)果精度較低。這是因?yàn)閟/n比差。在相反地抖動(dòng)大的情況下(即，在快速平搖攝像設(shè)備的情況下，在把持?jǐn)z像設(shè)備的同時(shí)行走或跑動(dòng)的情況下，等等)，運(yùn)動(dòng)矢量的精度較低。通常，運(yùn)動(dòng)矢量檢測(cè)范圍比利用角速度傳感器的范圍窄，并且無(wú)法檢測(cè)到大的角速度。此外，存在如下情況：針對(duì)大的抖動(dòng)，攝像時(shí)所拍攝的圖像自身模糊，并且無(wú)法檢測(cè)到正確的運(yùn)動(dòng)矢量。

附加地，針對(duì)大的抖動(dòng)，存在如下可能性：運(yùn)動(dòng)矢量將會(huì)由于以下兩種原因而變形。第一個(gè)原因是如下情況：將作為抖動(dòng)成分其中之一的攝像設(shè)備的側(cè)傾方向的抖動(dòng)作為噪聲疊加在俯仰方向和橫擺方向的運(yùn)動(dòng)矢量上，并且俯仰/橫擺方向的運(yùn)動(dòng)矢量檢測(cè)結(jié)果發(fā)生變形。這在行走的同時(shí)進(jìn)行攝像或者在跑動(dòng)的同時(shí)進(jìn)行攝像的情況下特別顯著。關(guān)于第二個(gè)原因，在攝像設(shè)備使用卷簾快門的情況下，存在俯仰/橫擺方向的運(yùn)動(dòng)矢量上所疊加的相應(yīng)失真成分。這在超過光學(xué)圖像穩(wěn)定設(shè)備的校正界限的足夠大的抖動(dòng)的情況下特別顯著。

僅在步驟s103中所觀測(cè)到的抖動(dòng)量由于這些原因而大于預(yù)先確定的預(yù)定值δ1并小于預(yù)先確定的預(yù)定值δ2(處于預(yù)先確定的范圍內(nèi))的情況下，處理進(jìn)入步驟s104，否則處理返回至步驟s101。注意，抖動(dòng)量可以是角速度信號(hào)自身，或者可以是運(yùn)動(dòng)矢量和位置信號(hào)的總和(模型角速度)。步驟s104、步驟s105和步驟s106是與卡爾曼濾波器相對(duì)應(yīng)的濾波步驟，并且在這些步驟中分別進(jìn)行與上述的等式(8)、等式(9)和等式(10)相對(duì)應(yīng)的處理。

從步驟s107起，判斷作為卡爾曼濾波器計(jì)算結(jié)果的參數(shù)識(shí)別值的收斂程度。在步驟s107中，判斷識(shí)別誤差擴(kuò)散p(k)是否處于預(yù)定值t1和t2之間，并且如果識(shí)別誤差擴(kuò)散p(k)處于預(yù)定值t1和t2之間，則將識(shí)別參數(shù)反映在圖像穩(wěn)定控制單元106中(步驟s108)。此外，在積分單元206的lpf濾波器特性在該特性良好的方向上改變(步驟s109)之后，處理返回至步驟s101。

在步驟s107中，如果識(shí)別誤差擴(kuò)散p(k)未處于預(yù)定值t1和t2之間，則在步驟s110中判斷識(shí)別誤差擴(kuò)散p(k)是否小于或等于預(yù)定值t2。如果識(shí)別誤差擴(kuò)散p(k)小于或等于預(yù)定值t2，則將識(shí)別參數(shù)反映在圖像穩(wěn)定控制單元106中(步驟s111)，并且積分單元206的lpf濾波器特性在該特性比步驟s109更良好的方向(截止頻率較低的方向)上進(jìn)一步改變(步驟s112)。注意，在圖5所示的處理中，由于紙張的空間，因而僅記載了用于判斷識(shí)別結(jié)果的可靠性的兩種模式，但還可以準(zhǔn)備更多模式。在這些情況下，在識(shí)別誤差擴(kuò)散p(k)低于預(yù)定值的情況下，濾波器特性在該特性較為良好的方向(截止頻率較低的方向)上改變。

利用如上所述的第一實(shí)施例，可以高精度地識(shí)別角速度傳感器的靈敏度和偏移，并且由于可以將所識(shí)別出的靈敏度和偏移反映到照相機(jī)抖動(dòng)校正量中，因而可以改善圖像穩(wěn)定效果。

注意，在步驟s109和步驟s112中改變?yōu)V波器特性的情況下，如果利用iir型濾波器來(lái)設(shè)計(jì)用于進(jìn)行偽積分的lpf，則根據(jù)從攝像設(shè)備啟動(dòng)起直到濾波器特性改變定時(shí)為止的時(shí)間來(lái)同時(shí)改變作為中間變量的z是有利的。通常，在通過cpu來(lái)進(jìn)行逐次運(yùn)算濾波器處理的情況下，可以認(rèn)為，由于處理負(fù)荷而將會(huì)通常使用iir型濾波器。

接著，將使用圖6來(lái)說(shuō)明中間變量z。圖6是一般的一階iir濾波器(lpf)的框圖。在圖6中，將輸入in從信號(hào)輸入單元301輸入，并且將濾波器處理后的輸出out從信號(hào)輸出單元306輸出。通過系數(shù)乘法單元302的系數(shù)k1來(lái)確定作為lpf的頻帶的lpf的截止頻率。此外，系數(shù)乘法單元303和304的系數(shù)k2和k3是用于確定lpf輸出的增益的系數(shù)，并且在lpf的情況下，k2＝k3。在偽積分中，作為輸出增益的積分增益是固定的，并且即使在特性改變的情況下，該積分增益也不改變。通過在改變特性的情況下使系數(shù)k1變大，改善了積分特性的低頻成分特性。對(duì)此，可以利用以下的等式(12)來(lái)表示濾波器中間變量z(305)。注意，n是等式(12)中的步驟數(shù)。

z(n+1)＝k1×zn+in...(12)

由于中間變量z極大地依賴于系數(shù)k1并且利用該值來(lái)確定來(lái)自信號(hào)輸出單元306的輸出，因此極大地影響了圖像穩(wěn)定的性能。

由于中間變量z也依賴于步驟數(shù)n，因此需要進(jìn)行如下操作：測(cè)量從攝像設(shè)備啟動(dòng)起直到濾波器特性改變?yōu)橹沟臅r(shí)間，并且據(jù)此來(lái)高精度地計(jì)算中間變量z以進(jìn)行該改變。然而，如果步驟數(shù)n充分大，則中間變量z近似地獨(dú)立于步驟數(shù)n，由此并非上述情況。

然而，可能存在如下情況：根據(jù)cpu處理性能，無(wú)法在預(yù)期時(shí)間內(nèi)高精度地獲得中間變量z。由于在精度不夠良好的情況下在改變中將發(fā)生信號(hào)的不連續(xù)并且攝像設(shè)備的視角將急劇地移動(dòng)，因此在通過圖2的信號(hào)選擇單元208選擇了第二照相機(jī)抖動(dòng)校正量(乘法單元207的輸出)的情況下，中間變量z不改變。濾波器特性變化的收斂需要時(shí)間，但不會(huì)產(chǎn)生急劇的視角變動(dòng)。這是如下情況：主要在運(yùn)動(dòng)圖像拍攝期間進(jìn)行瞄準(zhǔn)時(shí)，在無(wú)需平搖等的情況下增加了運(yùn)動(dòng)圖像穩(wěn)定性能。

另一方面，在信號(hào)選擇單元208選擇第一照相機(jī)抖動(dòng)校正量(乘法單元204的輸出)的情況下，即使精度不夠良好，中間變量z也同時(shí)改變，并且瞬間切換積分單元206的濾波器特性。由于利用第一照相機(jī)抖動(dòng)校正量的圖像穩(wěn)定處于執(zhí)行中，因此第二照相機(jī)抖動(dòng)校正量的不連續(xù)性在圖像中不明顯。存在使得在靜止圖像拍攝前成為本發(fā)明的目的的情形。

變形例

在上述的第一實(shí)施例中，給出了通?？梢詸z測(cè)到運(yùn)動(dòng)矢量的情況的說(shuō)明，但考慮到實(shí)際環(huán)境和照相機(jī)使用狀況，可以認(rèn)為將會(huì)存在如下情況：無(wú)法檢測(cè)到運(yùn)動(dòng)矢量，或者盡管可以檢測(cè)到運(yùn)動(dòng)矢量，但可靠性低。無(wú)法檢測(cè)到運(yùn)動(dòng)矢量的情況是在例如照相機(jī)用于重放模式以及正瀏覽過去拍攝的圖像時(shí)圖像傳感器沒有啟動(dòng)的情況。此外，運(yùn)動(dòng)矢量的可靠性低的情況是例如照相機(jī)所拍攝的被攝體是低對(duì)比度或者是重復(fù)圖案等的情況。如果無(wú)法檢測(cè)到運(yùn)動(dòng)矢量，則必然無(wú)法執(zhí)行識(shí)別處理。另一方面，如果運(yùn)動(dòng)矢量的可靠性低，則存在識(shí)別精度將會(huì)由于運(yùn)動(dòng)矢量的值而下降的可能性，因此不執(zhí)行識(shí)別處理是有利的。

然而，如果沒有執(zhí)行識(shí)別處理的時(shí)間持續(xù)了固定間隔以上，則該時(shí)間段內(nèi)所識(shí)別出的角速度信號(hào)的輸出變化自身將發(fā)生變動(dòng)。在按照原樣反映發(fā)生變動(dòng)的輸出變化的狀態(tài)下執(zhí)行圖像穩(wěn)定的情況下，圖像穩(wěn)定的性能將變差。因此，如果發(fā)生上述情形，則積分單元206的濾波器特性返回至原本的濾波器特性(使頻帶變窄)，并且將識(shí)別誤差擴(kuò)散值復(fù)位為初始值。由此，可以避免圖像穩(wěn)定性能的劣化。此外，在可以檢測(cè)到運(yùn)動(dòng)矢量并且返回至高可靠性狀態(tài)的情況下，識(shí)別誤差擴(kuò)散的值大，因此可以快速地再次識(shí)別發(fā)生變動(dòng)的角速度信號(hào)的輸出變化部分。

使用圖7的流程圖來(lái)說(shuō)明上述處理。注意，對(duì)于與圖5相同的處理，賦予相同的步驟編號(hào)并且省略對(duì)其的說(shuō)明。與圖5的差別在于：首先，在步驟s203中，與抖動(dòng)量一起，進(jìn)一步判斷運(yùn)動(dòng)矢量的可靠性。如果在該判斷中進(jìn)行了不執(zhí)行識(shí)別處理的判斷，則轉(zhuǎn)變至步驟s214。在步驟s214中，對(duì)不執(zhí)行識(shí)別處理的時(shí)間段進(jìn)行計(jì)數(shù)。在步驟s215中，判斷計(jì)數(shù)值是否大于預(yù)定值r。如果計(jì)數(shù)值小于或等于預(yù)定值r，則處理返回至步驟s101。另一方面，如果計(jì)數(shù)值大于預(yù)定值r，則判斷為不執(zhí)行識(shí)別處理的時(shí)間段持續(xù)了預(yù)定持續(xù)時(shí)間，并且在步驟s216中將此時(shí)的識(shí)別誤差擴(kuò)散復(fù)位為初始值p0。此外，在步驟s217中，積分單元206的濾波器特性返回至初始值(頻帶與步驟s109或步驟s112中所設(shè)置的濾波器特性相比變窄)。之后，處理返回至步驟s101。注意，在識(shí)別處理即使執(zhí)行一次的情況下，也在步驟s213中復(fù)位步驟s214中計(jì)數(shù)得到的值。

接著，假定了包括能夠改變焦距的變焦透鏡的攝像設(shè)備。由于在焦距較短的情況下視角較寬，因此與一個(gè)像素相對(duì)應(yīng)的角度較大并且運(yùn)動(dòng)矢量檢測(cè)分辨率能力較低。相反，由于在焦距較長(zhǎng)的情況下視角較窄，因此與一個(gè)像素相對(duì)應(yīng)的角度較小并且運(yùn)動(dòng)矢量檢測(cè)分辨率能力較大。也就是說(shuō)，檢測(cè)到的運(yùn)動(dòng)矢量的變化根據(jù)焦距而發(fā)生變動(dòng)。因此，在使得識(shí)別處理中的卡爾曼濾波器的參數(shù)固定的情況下，根據(jù)焦距，在識(shí)別精度中發(fā)生變化。

有鑒于此，通過改變作為等式(8)中的參數(shù)的觀測(cè)噪聲擴(kuò)散參數(shù)σω，識(shí)別收斂速度發(fā)生改變，但防止了識(shí)別精度變差。更具體地，通過在焦距較短的情況下使σω變大，收斂速度變慢，并且避免了識(shí)別精度變差。相反，通過在焦距較長(zhǎng)的情況下使σω變小，可以使收斂速度保持較快，并且識(shí)別精度高。

此外，考慮了干擾的影響。攝像設(shè)備大幅抖動(dòng)時(shí)的干擾的原因是如先前所述那樣，并且記載了在存在大幅抖動(dòng)時(shí)不進(jìn)入識(shí)別處理序列。相反，可以認(rèn)為干擾原因?qū)?huì)極少的情形是用戶拍攝被攝體并且正保持sw1的情況，因此在這種情況下，將不存在大幅抖動(dòng)的可能性高。此外，在伴隨自動(dòng)調(diào)焦而變?yōu)閷?duì)焦之后，在諸如低對(duì)比度等的情況下檢測(cè)到可靠性低的運(yùn)動(dòng)矢量的可能性低。在這種情況下，可以認(rèn)為通過相對(duì)地提高識(shí)別收斂速度將會(huì)增大識(shí)別精度。

更具體地，在保持sw1期間聚焦之后，通過使等式(8)的觀測(cè)噪聲擴(kuò)散參數(shù)σω變得相對(duì)較小，來(lái)使卡爾曼增益變大，由此提高了識(shí)別收斂速度。此外，通過單純提高圖像傳感器的幀頻來(lái)提高識(shí)別收斂速度。據(jù)此，可以在干擾原因減少的高速識(shí)別處理中進(jìn)一步提高識(shí)別精度。

第二實(shí)施例

接著，說(shuō)明本發(fā)明的第二實(shí)施例。在上述的第一實(shí)施例中，說(shuō)明了可以通過位置檢測(cè)單元212來(lái)檢測(cè)圖像穩(wěn)定單元105的校正透鏡的位置的情況，但在第二實(shí)施例中，將說(shuō)明不存在位置檢測(cè)單元212并且利用開放式控制來(lái)進(jìn)行圖像穩(wěn)定的情況。注意，第二實(shí)施例中的攝像設(shè)備的結(jié)構(gòu)與第一實(shí)施例中參考圖1所述的結(jié)構(gòu)相同，并且將省略對(duì)其的說(shuō)明。

圖8是示出在根據(jù)第二實(shí)施例的開放式控制的情況下的圖像穩(wěn)定控制單元106的結(jié)構(gòu)的框圖。注意，對(duì)于與第一實(shí)施例中參考圖2所述的結(jié)構(gòu)相同的結(jié)構(gòu)，賦予了相同的附圖標(biāo)記，并且適當(dāng)省略對(duì)其的說(shuō)明。

由于在通過開放式控制單元810所執(zhí)行的開放式控制中不存在位置信號(hào)，因而在第二實(shí)施例中根據(jù)角速度信號(hào)來(lái)預(yù)測(cè)位置信號(hào)。圖像穩(wěn)定單元建模單元813定義圖像穩(wěn)定控制單元106的機(jī)械模型，并且進(jìn)行用于預(yù)測(cè)與所進(jìn)行的輸入(輸入[n])相關(guān)的輸出(位置[m])的處理。通過使用圖像穩(wěn)定單元建模單元813所預(yù)測(cè)出的位置信號(hào)，如第一實(shí)施例那樣，與角速度信號(hào)和運(yùn)動(dòng)矢量一起，在抖動(dòng)信號(hào)系統(tǒng)識(shí)別單元214中識(shí)別角速度信號(hào)的輸出變化。

接著，針對(duì)圖像穩(wěn)定單元建模單元813給出說(shuō)明。圖9是用于以二階彈簧質(zhì)量阻尼模型簡(jiǎn)單地表示圖像穩(wěn)定單元建模單元813的圖。進(jìn)行如下設(shè)定：作為圖像穩(wěn)定單元105的可移動(dòng)單元的校正透鏡的重量是m[kg]，彈簧常數(shù)為k[n/m]，阻尼系數(shù)為d[n·s/m]，透鏡驅(qū)動(dòng)位移量為x(t)[m]，并且施加于透鏡的力是u(t)[n]。在這種情況下，根據(jù)運(yùn)動(dòng)方程，以下的等式(13)成立。

在對(duì)上述等式進(jìn)行拉普拉斯變換并且利用傳遞函數(shù)來(lái)表示控制對(duì)象的情況下，以下的等式(14)成立。h(s)是作為控制對(duì)象的圖像穩(wěn)定單元105的數(shù)學(xué)模型的傳遞函數(shù)。

據(jù)此，圖像穩(wěn)定透鏡近似為二階控制對(duì)象，并且表現(xiàn)了傳遞特性。

這里施加于透鏡的力u(t)是從驅(qū)動(dòng)器單元211所輸出的透鏡驅(qū)動(dòng)命令信號(hào)r(t)[n]和與加速度干擾相對(duì)應(yīng)的力d[n]的合成，并且以下等式(15)成立。

u(t)＝r(t)+d(t)…(15)

可以使用加速度傳感器來(lái)補(bǔ)償干擾d[n]。

利用以上所述，預(yù)測(cè)出位置信號(hào)，并且與第一實(shí)施例相同，通過將預(yù)測(cè)出的位置信號(hào)、角速度信號(hào)和運(yùn)動(dòng)矢量輸入至抖動(dòng)信號(hào)系統(tǒng)識(shí)別單元214，可以識(shí)別角速度傳感器的靈敏度和偏移。

第三實(shí)施例

接著，說(shuō)明本發(fā)明的第三實(shí)施例。在第三實(shí)施例中，將說(shuō)明用于在跟蹤運(yùn)動(dòng)被攝體的同時(shí)進(jìn)行拍攝的搖攝輔助功能。

通常，搖攝中使背景流過的快門速度tv的設(shè)置被設(shè)置得較慢，但該快門速度變得越慢，則實(shí)際被攝體的移動(dòng)和攝像設(shè)備的平搖速度之間的偏移將作為被攝體的模糊而殘留越多。因此，用于通過以作為被攝體的實(shí)際移動(dòng)速度和攝像設(shè)備的速度之間的差的速度對(duì)圖像穩(wěn)定單元進(jìn)行驅(qū)動(dòng)來(lái)抵消被攝體的模糊的功能是搖攝輔助功能。

對(duì)此，需要使用運(yùn)動(dòng)矢量來(lái)檢測(cè)被攝體的速度。對(duì)于運(yùn)動(dòng)矢量，針對(duì)畫面內(nèi)的各小塊來(lái)生成局部運(yùn)動(dòng)矢量，并且對(duì)于各個(gè)局部運(yùn)動(dòng)矢量，包括了除被攝體矢量以外的由于平搖所引起的背景矢量。這樣，由于存在兩種類型的運(yùn)動(dòng)矢量，因此變得需要進(jìn)行用于使被攝體矢量和背景矢量分離的處理。

圖10a是示出存在相對(duì)于畫面1101進(jìn)行移動(dòng)的被攝體1102的情況的圖。此外，圖10b是配置有用于檢測(cè)局部運(yùn)動(dòng)矢量的區(qū)域(塊)的圖，并且作為示例，示出了縱向5個(gè)塊×橫向5個(gè)塊。此外，假定被攝體沿向右方向移動(dòng)，并且還假定平搖方向是向右方向以使得能夠跟蹤被攝體。

在這種情況下，從存在運(yùn)動(dòng)被攝體的塊(陰影塊1104)中檢測(cè)到程度較小的抖動(dòng)量作為運(yùn)動(dòng)矢量。另一方面，從剩余的背景塊(非陰影塊1103)，檢測(cè)與平搖匹配的大運(yùn)動(dòng)矢量。后者的平搖速度與根據(jù)表示角速度傳感器所檢測(cè)到的抖動(dòng)量的角速度信號(hào)轉(zhuǎn)換得到的圖像的抖動(dòng)像素量一致，因此抖動(dòng)像素量附近的運(yùn)動(dòng)矢量是背景矢量，并且將其它運(yùn)動(dòng)矢量分離為被攝體矢量。

圖11是如下的直方圖：對(duì)于針對(duì)5×5個(gè)區(qū)域中的各區(qū)域所獲得的局部運(yùn)動(dòng)矢量，在橫軸上表示運(yùn)動(dòng)矢量的大小并且在縱軸上表示頻率。虛線是角速度傳感器的輸出被轉(zhuǎn)換為圖像的抖動(dòng)像素時(shí)的值。如上所述，角速度傳感器的輸出與背景矢量應(yīng)當(dāng)一致，并且對(duì)于被攝體矢量，理想地，存在分離的峰作為抖動(dòng)像素。

然而，實(shí)際上，存在由于溫度和角速度傳感器特有的偏移噪聲所引起的變動(dòng)，并且由于存在因靈敏度變化和溫度所引起的靈敏度變動(dòng)，因此圖11的虛線受到該噪聲的影響而變動(dòng)。由于該原因，噪聲越大，越難以將背景矢量和被攝體矢量分離，因此也影響到搖攝輔助精度。

因此，在第三實(shí)施例中，使用角速度傳感器的輸出以及運(yùn)動(dòng)矢量來(lái)識(shí)別角速度傳感器的輸出變化，并且通過將識(shí)別結(jié)果反映在角速度傳感器的輸出中的信號(hào)與運(yùn)動(dòng)矢量進(jìn)行比較來(lái)進(jìn)行被攝體矢量和背景矢量的分離。

圖12是示出第三實(shí)施例的搖攝輔助控制單元1200的結(jié)構(gòu)的框圖。代替圖像穩(wěn)定控制單元106而是配置搖攝輔助控制單元1200，但結(jié)構(gòu)可以使用圖像穩(wěn)定控制單元106的部分結(jié)構(gòu)。注意，除了搖攝輔助控制單元1200以外，第三實(shí)施例的攝像設(shè)備的結(jié)構(gòu)與第一實(shí)施例中參考圖1所述的結(jié)構(gòu)相同，因此將省略說(shuō)明。此外，對(duì)于圖12中的具有與第一實(shí)施例中參考圖2所述的功能相同的功能的結(jié)構(gòu)，賦予相同的附圖標(biāo)記并且省略對(duì)其的說(shuō)明。

附圖標(biāo)記1301是抖動(dòng)信號(hào)修改單元，其中將背景矢量、來(lái)自照相機(jī)抖動(dòng)檢測(cè)單元117的角速度信號(hào)和來(lái)自ad轉(zhuǎn)換單元213的位置信號(hào)這三個(gè)觀測(cè)值作為輸入而輸入至該抖動(dòng)信號(hào)修改單元。附圖標(biāo)記1302是被攝體/背景矢量計(jì)算單元，其中該被攝體/背景矢量計(jì)算單元用于使用多個(gè)運(yùn)動(dòng)矢量以及抖動(dòng)信號(hào)修改單元1301修改后的抖動(dòng)信號(hào)來(lái)計(jì)算被攝體矢量和背景矢量。

圖13是示出圖12所示的抖動(dòng)信號(hào)修改單元1301和被攝體/背景矢量計(jì)算單元1302的詳細(xì)結(jié)構(gòu)的框圖。將來(lái)自ad轉(zhuǎn)換單元213的位置信號(hào)、來(lái)自照相機(jī)抖動(dòng)檢測(cè)單元117的被ad轉(zhuǎn)換單元1401進(jìn)行ad轉(zhuǎn)換得到的角速度信號(hào)、以及背景矢量輸入至抖動(dòng)信號(hào)系統(tǒng)識(shí)別單元1402。利用輸入的這三個(gè)信號(hào)，與第一實(shí)施例同樣地，識(shí)別角速度傳感器的靈敏度和偏移。在偏移減法單元1404中從角速度信號(hào)中減去所識(shí)別出的偏移，并且在增益乘法單元1405中以相乘來(lái)反映所識(shí)別出的靈敏度。

另一方面，在直方圖處理單元1406中基于運(yùn)動(dòng)矢量檢測(cè)單元119在各區(qū)域中檢測(cè)到的運(yùn)動(dòng)矢量來(lái)生成直方圖。另一方面，抖動(dòng)信號(hào)修改單元1301修改了輸出變化的角速度信號(hào)被輸入至被攝體/背景矢量分離單元1407，與運(yùn)動(dòng)矢量進(jìn)行比較，并且如上所述，進(jìn)行被攝體矢量和背景矢量分離處理。被攝體矢量生成單元1408通過對(duì)被判斷為被攝體矢量的運(yùn)動(dòng)矢量組進(jìn)行平均處理來(lái)生成一個(gè)被攝體矢量。背景矢量生成單元1411通過對(duì)被判斷為背景矢量的運(yùn)動(dòng)矢量組進(jìn)行平均處理來(lái)生成一個(gè)背景矢量。

此外，從圖1所示的變焦驅(qū)動(dòng)控制單元102，輸入當(dāng)前焦距信息。被攝體矢量角速度轉(zhuǎn)換單元1410使用該焦距信息來(lái)將被攝體矢量從圖像的像素轉(zhuǎn)換值轉(zhuǎn)換成角速度轉(zhuǎn)換值。背景矢量角速度轉(zhuǎn)換單元1412使用該焦距信息來(lái)將背景矢量從圖像的像素轉(zhuǎn)換值轉(zhuǎn)換成角速度轉(zhuǎn)換值。

通過針對(duì)每一幀進(jìn)行該處理序列，識(shí)別精度增大，并且所分離出的被攝體矢量的精度增大。此外，通過執(zhí)行以下操作校正了曝光期間移動(dòng)的被攝體的模糊，該操作為：使用通過反映緊挨在靜止圖像曝光之前的精度高的識(shí)別偏移和識(shí)別增益所分離出的高精度被攝體矢量而在靜止圖像曝光期間進(jìn)行圖像穩(wěn)定控制。

這樣，利用第三實(shí)施例，由于可以以良好的精度進(jìn)行背景矢量和被攝體矢量的分離，因此可以改善搖攝輔助精度。

注意，在上述實(shí)施例中，說(shuō)明了通過驅(qū)動(dòng)圖像穩(wěn)定單元105中所包括的校正透鏡來(lái)光學(xué)地進(jìn)行圖像穩(wěn)定的情況，但本發(fā)明不限于此。例如，可以采用驅(qū)動(dòng)攝像單元109的結(jié)構(gòu)，或者可以采用一起驅(qū)動(dòng)校正透鏡和攝像單元109的結(jié)構(gòu)。

盡管已經(jīng)參考典型實(shí)施例描述了本發(fā)明，但是應(yīng)該理解，本發(fā)明不局限于所公開的典型實(shí)施例。所附權(quán)利要求書的范圍符合最寬泛的解釋，以包含所有這類修改、等同結(jié)構(gòu)和功能。