專利名稱：攝像裝置及抖動(dòng)校正方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種具備了對(duì)圖像抖動(dòng)進(jìn)行校正功能的數(shù)碼相機(jī)等的 攝像裝置。另外，本發(fā)明涉及一種實(shí)現(xiàn)該功能的抖動(dòng)校正方法。
背景技術(shù)：
手抖動(dòng)校正技術(shù)是減輕拍攝時(shí)手抖動(dòng)的技術(shù)，作為在數(shù)碼相機(jī)等的 攝像裝置上的差異化技術(shù)而受到重視。
在校正手抖動(dòng)的方式中，有建議采用短曝光時(shí)間拍攝參照?qǐng)D像的方 式。在這種方式中， 一方面通過適當(dāng)?shù)钠毓鈺r(shí)間拍攝校正對(duì)象圖像，另 一方面通過比適當(dāng)曝光時(shí)間還短的曝光時(shí)間拍攝參照?qǐng)D像，用參照?qǐng)D像 對(duì)校正對(duì)象圖像的抖動(dòng)進(jìn)行校正。
由于在短曝光時(shí)間內(nèi)拍攝的參照?qǐng)D像的抖動(dòng)比較小，所以可利用參 照?qǐng)D像對(duì)校正對(duì)象圖像的抖動(dòng)狀態(tài)進(jìn)行推斷等。如果可推斷校正對(duì)象圖 像的抖動(dòng)狀態(tài)，就可以通過圖像還原處理等降低校正對(duì)象圖像的抖動(dòng)。
另夕卜，有建議采用傅立葉(Fourier)反復(fù)法進(jìn)行圖像還原處理。圖 37是表示實(shí)現(xiàn)傅立葉反復(fù)法的構(gòu)成的框圖。在傅立葉反復(fù)法中， 一邊 通過復(fù)原圖像和點(diǎn)擴(kuò)展函數(shù)(Point Spread Function)的修正， 一邊通過反 復(fù)進(jìn)行傅立葉變換和逆傅立葉變換，從惡化圖像推斷出最終的復(fù)原圖 像。為了進(jìn)行傅立葉反復(fù)法，需要給出初期的復(fù)原圖像(復(fù)原圖像的初 始值)，作為初期的復(fù)原圖像， 一般采用作為隨機(jī)圖像或手抖動(dòng)圖像的 惡化圖像。
通過采用參照?qǐng)D像進(jìn)行圖像處理來校正手抖動(dòng)的方法，由于不需要 角速度傳感器等手抖動(dòng)檢測(cè)傳感器，所以非常有助于降低攝像裝置的成 本。
然而，考慮到實(shí)際拍攝裝置的使用情況等，必須對(duì)釆用參照?qǐng)D像的 方式進(jìn)行深入研究。

發(fā)明內(nèi)容
本發(fā)明的第一攝像裝置，其特征在于，具備通過拍攝取得圖像的 攝像部；對(duì)通過拍攝取得的第一圖像的抖動(dòng)，根據(jù)上述第一圖像和以比
上述第一圖像拍攝時(shí)的曝光時(shí)間更短的曝光時(shí)間拍攝了的第二圖像，進(jìn)
行校正的抖動(dòng)校正處理部；控制可否實(shí)行基于上述抖動(dòng)校正處理部的校 正的控制部。
具體如，上述控制部具備推斷上述第二圖像抖動(dòng)程度的抖動(dòng)推斷 部，并根據(jù)其推斷結(jié)果，控制可否由上述抖動(dòng)校正處理部實(shí)行校正。
更具體如，上述抖動(dòng)推斷部，根據(jù)上述第一圖像的邊緣強(qiáng)度與上述 第二圖像的邊緣強(qiáng)度相比較的結(jié)果，推斷上述第二圖像的抖動(dòng)程度。
又如，在上述第一圖像拍攝時(shí)與在上述第二圖像拍攝時(shí)，用于調(diào)節(jié) 拍攝圖像亮度的靈敏度不同，上述抖動(dòng)推斷部通過抑制因上述第一圖像 拍攝時(shí)的靈敏度與上述第二圖像拍攝時(shí)的靈敏度的不同而引起的上述 第一及第二圖像的邊緣強(qiáng)度之間的差異的處理來實(shí)行上述比較。
或如，上述抖動(dòng)推斷部，根據(jù)上述第一圖像和上述第二圖像之間位 置的偏差量推斷上述第二圖像的抖動(dòng)程度。
進(jìn)而或如，上述抖動(dòng)推斷部，根據(jù)用上述第一圖像及上述第二圖像 求得的上述第一圖像的推斷圖像惡化函數(shù)，推斷上述第二圖像的抖動(dòng)程 度。
又如，上述抖動(dòng)推斷部，參照矩陣表現(xiàn)了上述推斷圖像惡化函數(shù)時(shí) 的上述推斷圖像惡化函數(shù)的各元素值，在參照了的數(shù)值內(nèi)，提取偏離了 規(guī)定的數(shù)值范圍的數(shù)值，并根據(jù)提取了的數(shù)值的合計(jì)值，推斷上述第二 圖像的抖動(dòng)程度。
本發(fā)明的第二攝像裝置，其特征在于，具備攝像部，通過拍攝取 得圖像；抖動(dòng)校正處理部，對(duì)通過拍攝所得的第一圖像的抖動(dòng)，根據(jù)上 述第一圖像和以比上述第一圖像拍攝時(shí)的曝光時(shí)間更短的曝光時(shí)間拍 攝了的1張以上的第二圖像實(shí)行校正；控制部，根據(jù)上述第一圖像的拍 攝參數(shù)，控制可否實(shí)行基于上述抖動(dòng)校正處理部的校正或控制用于該校 正的上述第二圖像的張數(shù)。具體如，上述控制部，具備第二圖像拍攝控制部，根據(jù)上述第一 圖像的拍攝參數(shù)判定可否拍攝上述第二圖像并控制上述攝像部；校正控 制部，根據(jù)可否拍攝上述第二圖像的判斷結(jié)果，控制可否實(shí)行基于上述 抖動(dòng)校正處理部的校正。。
或如，上述控制部，具備第二圖像拍攝控制部，根據(jù)上述第一圖像 的拍攝參數(shù)決定在上述抖動(dòng)校正處理部中的校正所用的上述第二圖像 的張數(shù)，并控制上述攝像部，按所決定出的張數(shù)拍攝上述第二圖像，上 述第二圖像拍攝控制部，決定上述第二圖像的張數(shù)是l張或多張，上述 抖動(dòng)校正處理部，當(dāng)上述第二圖像的張數(shù)為多張時(shí)，通過對(duì)上述多張的 第二圖像進(jìn)行相加合成生成1張合成圖像，并根據(jù)上述第一圖像和上述 合成圖像校正上述第一圖像的抖動(dòng)。
另外具體如，上述第一圖像的拍攝參數(shù)，包括在上述第一圖像拍攝 時(shí)的焦距、曝光時(shí)間及為了調(diào)節(jié)圖像亮度的靈敏度。
另外具體如，上述第二圖像拍攝控制部，根據(jù)上述第一圖像的拍攝 參數(shù)，設(shè)定上述第二圖像的拍攝參數(shù)。
另外具體如，在第一或第二攝像裝置中，上述抖動(dòng)校正處理部，對(duì) 基于上述第一圖像的圖像和基于上述第二圖像的圖像分別作為惡化圖 像和初期的復(fù)原圖像進(jìn)行處理，用傅立葉反復(fù)法校正第一圖像的抖動(dòng)。 另外具體如，在第一或第二攝像裝置中，上述抖動(dòng)校正處理部，具 有圖像惡化函數(shù)導(dǎo)出部，求出表示上述第一圖像整體抖動(dòng)的圖像惡化函 數(shù)，并根據(jù)上述圖像惡化函數(shù)校正上述第一圖像的抖動(dòng)，上述圖像惡化 函數(shù)導(dǎo)出部，從將基于上述第一圖像的圖像轉(zhuǎn)換到頻域上所得的第一函 數(shù)和將基于上述第二圖像的圖像轉(zhuǎn)換到頻域上所得的第二函數(shù)，臨時(shí)求 出在頻域上的上述圖像惡化函數(shù)，并通過采用規(guī)定的限制條件對(duì)所求得 的在頻域上的上述圖像惡化函數(shù)轉(zhuǎn)換到空間區(qū)域上而得到的函數(shù)進(jìn)行 修正處理，最終求出上述圖像惡化函數(shù)。
或如，在第一或第二攝像裝置中，上述抖動(dòng)校正處理部，通過對(duì)上 述第一圖像、上述第二圖像、以及由降低上述第二圖像的噪聲而得出的 第三圖像進(jìn)行合成，生成校正了上述第一圖像抖動(dòng)的抖動(dòng)校正圖像。
更具體如，上述抖動(dòng)校正處理部，在生成了作為上述第一圖像以及上述第三圖像的合成圖像的第四圖像之后，通過合成上述第二圖像和上 述第四圖像生成上述抖動(dòng)校正圖像。
又具體如，根據(jù)上述第一圖像與上述第三圖像的差，設(shè)定合成上述 第一圖像和上述第三圖像時(shí)的合成比率，根據(jù)上述第三圖像中含有的邊 緣，設(shè)定合成上述第二圖像和上述第四圖像時(shí)的合成比率。
本發(fā)明的第一抖動(dòng)校正方法，其特征在于，具備抖動(dòng)校正處理步 驟，對(duì)由拍攝所得的第一圖像的抖動(dòng)，根據(jù)上述第一圖像和以比上述第 一圖像拍攝時(shí)的曝光時(shí)間更短的曝光時(shí)間拍攝了的1張以上的第二圖 像，進(jìn)行校正；控制步驟，控制可否實(shí)行基于上述抖動(dòng)校正處理步驟的 校正。
又如，上述控制步驟，包含推斷上述第二圖像抖動(dòng)程度的抖動(dòng)推斷 步驟，并根據(jù)其推斷結(jié)果控制可否實(shí)行基于上述抖動(dòng)校正處理步驟的校 正。
另外，本發(fā)明的第二抖動(dòng)校正方法，其特征在于，具備抖動(dòng)校正 處理步驟，對(duì)由拍攝所得的第一圖像的抖動(dòng)，根據(jù)上述第一圖像和以比 上述第一圖像拍攝時(shí)的曝光時(shí)間更短的曝光時(shí)間拍攝了的1張以上的 第二圖像，進(jìn)行校正；控制步驟，根據(jù)上述第一圖像的拍攝參數(shù)，控制
可否實(shí)行基于上述抖動(dòng)校正處理步驟的校正或控制用于該校正的上述 第二圖像的張數(shù)。
本發(fā)明的意義乃至效果，通過以下所示的實(shí)施方式進(jìn)行說明就會(huì)更 加明了。但以下的實(shí)施方式終歸只是本發(fā)明的一個(gè)實(shí)施方式，本發(fā)明乃 至各構(gòu)成主要部件的術(shù)語的意義，并不受以下實(shí)施方式的記述所限。


圖1是本發(fā)明的實(shí)施方式的攝像裝置的整體框圖。
圖2是圖l攝像部的內(nèi)部框圖。 圖3是圖1主控制部的內(nèi)部框圖。
圖4是本發(fā)明的實(shí)施方式1的攝像裝置的拍攝及校正的操作流程圖。
圖5是本發(fā)明的實(shí)施方式1的判斷可否短曝光圖像的拍攝及拍攝參數(shù)設(shè)置的操作流程圖。
圖6是表示焦距與手抖動(dòng)界限曝光時(shí)間關(guān)系的曲線圖。
圖7是本發(fā)明的實(shí)施方式2的攝像裝置的拍攝及校正的操作流程圖。
圖8是本發(fā)明的實(shí)施方式3的攝像裝置的拍攝及校正的操作流程圖。
圖9是本發(fā)明的實(shí)施方式3的推斷短曝光圖像的抖動(dòng)程度的操作流 程圖。
圖10是本發(fā)明的實(shí)施方式3的從通常曝光圖像或短曝光圖像提取 的評(píng)價(jià)圖像的象素排列的示意圖。
圖11是表示在圖IO的評(píng)價(jià)圖像內(nèi)的亮度值排列圖。
圖12是本發(fā)明的實(shí)施方式3的可用于計(jì)算邊緣強(qiáng)度值的水平方向 二次微分濾波器的示意圖。
圖13是本發(fā)明的實(shí)施方式3的可用于計(jì)算邊緣強(qiáng)度值的垂直方向 二次微分濾波器的示意圖。
圖14(a)是本發(fā)明的實(shí)施方式3的無噪聲影響的圖像及有噪聲影響 的圖像的亮度值分布的示意圖，圖14(b)是本發(fā)明的實(shí)施方式3的沒有 噪聲影響的圖像及有噪聲影響的圖像的邊緣強(qiáng)度值分布的示意圖。
圖15的(a)、 (b)、 (c)分別是本發(fā)明的實(shí)施方式3在水平方向有抖 動(dòng)的通常曝光圖像、在水平及垂直方向無抖動(dòng)的短曝光圖像、以及在垂 直方向有抖動(dòng)的短曝光圖像的示意圖。
圖16(a)和(b)是本發(fā)明的實(shí)施方式3的分別在通常曝光圖像和短曝 光圖像之間的位置偏差量小時(shí)的手抖動(dòng)量情況的示意圖，與在通常曝光 圖像和短曝光圖像之間的位置偏差量大時(shí)的手抖動(dòng)量情況的示意圖。
圖17是本發(fā)明的實(shí)施方式3的通常曝光圖像及短曝光圖像的象素 值分布與通常曝光圖像的推斷圖像惡化函數(shù)(h,')之間關(guān)系的說明圖。
圖18是本發(fā)明的實(shí)施方式4中表示以第一校正方法進(jìn)行抖動(dòng)校正 處理操作流程的流程圖。
圖19是本發(fā)明的實(shí)施方式4的實(shí)施第一校正方法的抖動(dòng)校正處理 的傅立葉反復(fù)法的詳細(xì)流程圖。
ii圖20是實(shí)現(xiàn)圖19的傅立葉反復(fù)法的構(gòu)成的框圖。
圖21是本發(fā)明的實(shí)施方式4的表示第二校正方法的抖動(dòng)校正處理
的操作流程的流程圖。
圖22是對(duì)應(yīng)圖21的抖動(dòng)校正處理的概念圖。
圖23是本發(fā)明的實(shí)施方式4的表示第三校正方法的抖動(dòng)校正處理
的操作流程的流程圖。
圖24是對(duì)應(yīng)圖23的抖動(dòng)校正處理的概念圖。
圖25是本發(fā)明的實(shí)施方式4中的表示一維的高斯分布的圖。
圖26是對(duì)應(yīng)圖23的抖動(dòng)校正處理效果的說明圖。
圖27的(a)和(b)是本發(fā)明的實(shí)施方式4的分別在第四校正方法的說
明中采用的參照?qǐng)D像和校正對(duì)象圖像的例子的示意圖。 圖28是空間區(qū)域的二維坐標(biāo)和二維圖像的示意圖。 圖29是在本發(fā)明的實(shí)施方式4的第四校正方法中所利用的圖像合
成部的內(nèi)部框圖。
圖30是通過降低圖27(a)的參照?qǐng)D像的噪聲所得的第二中間生成圖
像的示意圖。
圖31是對(duì)位后的校正對(duì)象圖像(第一中間生成圖像)與噪聲降低處 理后的參照?qǐng)D像(第二中間生成圖像)之間的差分圖像的示意圖。
圖32是在圖29的差分值計(jì)算部所得的差分值與第一及第二中間生 成圖像的象素信號(hào)的混合率關(guān)系的示意圖。
圖33是通過把對(duì)位后的校正對(duì)象圖像(第一中間生成圖像)與噪聲 降低處理后的參照?qǐng)D像(第二中間生成圖像)合成所得的第三中間生成圖 像的示意圖。
圖34是對(duì)噪聲降低處理后的參照?qǐng)D像(第二中間生成圖像)實(shí)施邊 緣提取處理所得到的邊緣圖像的示意圖。
圖35是在圖29的邊緣強(qiáng)度值計(jì)算部所得的邊緣強(qiáng)度值，與參照?qǐng)D 像及第三中間生成圖像的象素信號(hào)的混合率關(guān)系的示意圖。
圖36是通過參照?qǐng)D像與第三中間生成圖像合成所得的抖動(dòng)校正圖 像的示意圖。
圖37是以往實(shí)現(xiàn)傅立葉反復(fù)法的構(gòu)成的框圖。
具體實(shí)施例方式
下面參照附圖對(duì)本發(fā)明的實(shí)施方式進(jìn)行具體說明。在參照的各圖 中，同一部分給出相同的標(biāo)記，原則上省略對(duì)同一部分的重復(fù)說明。后
面對(duì)實(shí)施方式1 實(shí)施方式4進(jìn)行說明，但首先對(duì)各實(shí)施方式的共通事 項(xiàng)或各實(shí)施方式所參照的事項(xiàng)進(jìn)行說明。
圖1是本發(fā)明實(shí)施方式的攝像裝置1的整體框圖。攝像裝置1是可 拍攝及記錄靜止圖像的數(shù)碼相機(jī)，或可拍攝及記錄靜止圖像及動(dòng)態(tài)圖像 的數(shù)碼攝像機(jī)。
攝像裝置1具備攝像部11、 AFE(Analog Front End)12、主控制部 13、內(nèi)部存儲(chǔ)器14、顯示部15、記錄介質(zhì)16、操作部17。在操作部 17上具備快門按鈕17a。
圖2是表示攝像部11的內(nèi)部構(gòu)成圖。攝像部11具有光學(xué)系統(tǒng) 35;光圈32; CCD(Charge Coupled Device)或由CMOS(Complementary Metal Oxide Semiconductor)圖像傳感器等組成的攝像單元33;用于驅(qū)動(dòng) 控制光學(xué)系統(tǒng)35或光圈32的驅(qū)動(dòng)器34。光學(xué)系統(tǒng)35，由包括變焦鏡 頭30及聚焦鏡頭31的多個(gè)鏡頭形成。變焦鏡頭30及聚焦鏡頭31可向 光軸方向移動(dòng)。驅(qū)動(dòng)器34，根據(jù)來自主控制部13的控制信號(hào)，通過驅(qū) 動(dòng)控制變焦鏡頭30及聚焦鏡頭31的各個(gè)位置和光圈32的孔徑，控制 攝像部11的焦距(視角)及焦點(diǎn)位置以及對(duì)攝像單元33的入射光量。
攝像單元33，把表示通過光學(xué)系統(tǒng)35及光圈32入射的被照物的 光學(xué)圖像進(jìn)行光電變換，并將通過該光電變換所得的電信號(hào)輸出給 AFE12。更具體地，攝像單元33，具備以矩陣狀二維排列的多個(gè)光敏象 素，在各拍攝中，各光敏象素積蓄對(duì)應(yīng)曝光時(shí)間電荷量的信號(hào)電荷。來 自具有積蓄了與信號(hào)電荷的電荷量成正比大小的各光敏象素的模擬信 號(hào)，按照攝像裝置1內(nèi)生成的驅(qū)動(dòng)脈沖依次輸出給AFE12。以下說明中 的"曝光"，意思解釋為攝像單元33的曝光。另外，曝光時(shí)間的長(zhǎng)度， 由主控制部13控制。
AFE12，對(duì)從攝像部11(攝像單元33)輸出的模擬信號(hào)進(jìn)行放大，并 將放大了的模擬信號(hào)轉(zhuǎn)換為數(shù)字信號(hào)。AFE12，將這個(gè)數(shù)字信號(hào)依次輸出給主控制部13。 AFE12的信號(hào)放大的放大程度由主控制部13控制。
主控制部13具備CPU(Central Processing Unit); ROM(Read Only Memory);和RAM(Random Access Memory)等，發(fā)揮作為影像信號(hào)處理 部的功能。主控制部13，根據(jù)AFE12的輸出信號(hào)，通過攝像部11生成 表示被拍攝的圖像(以下稱為"拍攝圖像")的影像信號(hào)。另外，主控制 部13，還具備作為控制顯示部15顯示內(nèi)容的顯示控制部的功能，對(duì)顯 示部15進(jìn)行顯示所必要的控制。
內(nèi)部存儲(chǔ)器14， 由SDRAM(Synchronous Dynamic Random Access Memory)等形成，將攝像裝置1內(nèi)生成的各種數(shù)據(jù)進(jìn)行暫時(shí)存儲(chǔ)。顯示 部15是由液晶顯示板等組成的顯示裝置，在主控制部13的控制下，顯 示被拍攝的圖像和被記錄介質(zhì)16記錄的圖像等。記錄介質(zhì)16是 SD(SecureDigital)存儲(chǔ)卡等非易失性存儲(chǔ)器，在主控制部13的控制下， 存儲(chǔ)拍攝圖像等。
操作部17，接受來自外部的操作。向主控制部13傳達(dá)操作部17 的操作內(nèi)容?？扉T按鈕17a是為了指示靜止圖像的拍攝及記錄的按鈕。 通過押下快門按鈕17a指示靜止圖像的拍攝及記錄。
另外，快門按鈕17a，可進(jìn)行2個(gè)階段的押下操作，拍攝者輕輕地 按下快門按鈕17a，快門按鈕17a就成為半按下狀態(tài)，從該狀態(tài)進(jìn)一步 按下快門按鈕17a，快門按鈕17a就成為全按下狀態(tài)。
作為拍攝圖像的靜止圖像，可能含有因手抖動(dòng)所引起的抖動(dòng)。主控 制部13，具備把這樣靜止圖像的抖動(dòng)通過圖像處理進(jìn)行校正的功能。 圖3表示僅對(duì)抖動(dòng)校正進(jìn)行特別干預(yù)的部位的、主控制部13的內(nèi)部框 圖。如圖3所示，主控制部13具備拍攝控制部51;校正控制部52 及抖動(dòng)校正處理部53。
抖動(dòng)校正處理部53，根據(jù)由通常曝光拍攝所得的通常曝光圖像和 通過短曝光拍攝所得的短曝光圖像來校正通常曝光圖像的抖動(dòng)。通常的 曝光拍攝，意思是以適當(dāng)?shù)钠毓鈺r(shí)間進(jìn)行的拍攝，短曝光拍攝，意思是 以比通常曝光拍攝的曝光時(shí)間短的曝光時(shí)間進(jìn)行的拍攝。通常曝光圖像 是通過通常曝光拍攝所得的拍攝圖像(靜止圖像)，短曝光圖像是通過短 曝光拍攝所得的拍攝圖像(靜止圖像)。另外，通過抖動(dòng)校正處理部53
14實(shí)行的、為了校正抖動(dòng)的處理稱為抖動(dòng)校正處理。拍攝控制部51,具
備對(duì)短曝光拍攝迸行拍攝控制的短曝光拍攝控制部54。短曝光拍攝的 拍攝控制，包含對(duì)短曝光拍攝時(shí)的焦距、曝光時(shí)間及ISO靈敏度的控制。 另外，圖3所示標(biāo)記(f，等)的意義在后述的說明中明確。
雖然期待以短曝光時(shí)間拍攝的短曝光圖像的抖動(dòng)小，但實(shí)際上由于 拍攝者的拍攝技術(shù)等，在短曝光圖像內(nèi)含有的抖動(dòng)達(dá)到不可忽視的程 度。為了取得充分的抖動(dòng)校正效果，就需要采用沒有抖動(dòng)或抖動(dòng)小的短 曝光圖像，但在實(shí)際拍攝中，有時(shí)又不能拍攝那樣的短曝光圖像。另外， 由于曝光時(shí)間短的原因，必然造成短曝光圖像的信噪比較低。為了取得 充分的抖動(dòng)校正效果，就需要在一定程度上提高短曝光圖像的信噪比， 但在實(shí)際的拍攝中，有時(shí)又不能拍攝那樣的短曝光圖像。采用抖動(dòng)大的 短曝光圖像或信噪比大的短曝光圖像進(jìn)行抖動(dòng)校正處理難以取得令人 滿意的抖動(dòng)校正效果，甚至反而會(huì)得到更差的圖像。所以避免實(shí)行幾乎 得不到校正效果的抖動(dòng)校正處理或生成反而更差圖像的抖動(dòng)校正處理 是不言自明的。在攝像裝置l中，就進(jìn)行考慮到了這些情況的操作。
作為說明包含圖3所示各部位的詳細(xì)操作的攝像裝置1的操作的實(shí) 施方式，以下說明實(shí)施方式1 實(shí)施方式4。在攝像裝置l中，雖然對(duì) 可否實(shí)行抖動(dòng)校正處理進(jìn)行控制，但其控制，大致區(qū)分為基于通常曝光 圖像的拍攝參數(shù)的情況和基于短曝光圖像的抖動(dòng)程度的情況?；谕ǔ?曝光圖像的拍攝參數(shù)的情況在實(shí)施方式1及實(shí)施方式2進(jìn)行說明，基于 短曝光圖像的抖動(dòng)程度的情況在實(shí)施方式3進(jìn)行說明。另外，圖3所示 的對(duì)校正控制部52進(jìn)行通常曝光圖像及短曝光圖像的輸入，在實(shí)施方 式3中有效地發(fā)揮作用。
另外，在本說明書中，表示圖像的數(shù)據(jù)稱圖像數(shù)據(jù)，在對(duì)某圖像的 圖像數(shù)據(jù)進(jìn)行任何處理(記錄、保存、讀出等)的說明文章中，為了記述 簡(jiǎn)略，有時(shí)省略圖像數(shù)據(jù)的記述。例如，表示靜止圖像的圖像數(shù)據(jù)記錄 與表示靜止圖像的記錄同義。另外，為了簡(jiǎn)略說明，在以下的說明中， 光圈32的光圈值(光圈32的孔徑)為固定。
實(shí)施方式1
說明實(shí)施方式1。與通常曝光圖像相比短曝光圖像的抖動(dòng)通常要小，
15如果把短曝光圖像的邊緣狀態(tài)做為目標(biāo)校正通常曝光圖像，就會(huì)降低通 常曝光圖像的抖動(dòng)。但為了得到充分的抖動(dòng)校正效果，需要在一定程度 上預(yù)先提高短曝光圖像的信噪比(以下稱為SN比)。然而，在實(shí)際拍攝 中，有時(shí)不能拍攝到可得到充分抖動(dòng)校正效果的短曝光圖像。在這種情 況下，即使勉強(qiáng)進(jìn)行短曝光拍攝從而進(jìn)行抖動(dòng)校正處理也難以取得滿意 的抖動(dòng)校正效果(甚至還會(huì)得到更差圖像)?？紤]到此，在實(shí)施方式1中， 當(dāng)判斷為不能取得充分抖動(dòng)校正效果的短曝光圖像的情況下，就不實(shí)行 短曝光圖像的拍攝及抖動(dòng)校正處理。
參照?qǐng)D4，說明涉及實(shí)施方式1的攝像裝置1的拍攝及校正操作。 圖4是表示其操作流程的流程圖。在攝像裝置1內(nèi)實(shí)行步驟S1 S10 的各項(xiàng)處理。
首先，在步驟S1中，圖1的主控制部13確認(rèn)快門按鈕17a是否處 于半按下的狀態(tài)。在確認(rèn)為半按下狀態(tài)的情況下，就從步驟Sl移動(dòng)到 步驟S2。
在步驟S2中，拍攝控制部51取得通常曝光圖像的拍攝參數(shù)。在通 常曝光圖像的拍攝參數(shù)中，包含通常曝光圖像拍攝時(shí)的焦距&、曝光時(shí) 間t,及ISO靈敏度iSl。
焦距&，根據(jù)通常曝光圖像拍攝時(shí)的光學(xué)系統(tǒng)35內(nèi)鏡頭的位置以 及已知信息等來確定。另外，在包含焦距f,的以下說明中的焦距，是 35mm膠片換算時(shí)的焦距。在拍攝控制部51中，設(shè)有測(cè)定被照物亮度(換 言之，就是向攝像部11的入射光量)的測(cè)光部(無圖示)，其根據(jù)具備在 攝像裝置1上的測(cè)光傳感器(無圖示)的輸出信號(hào)或攝像單元33的輸出 信號(hào)進(jìn)行測(cè)定。拍攝控制部51，根據(jù)其測(cè)量結(jié)果，決定曝光時(shí)間t,及 ISO靈敏度isp使其取得有適當(dāng)亮度的通常曝光圖像。
ISO 靈敏度，意思是由 ISO(International Organization for Standardization)規(guī)定的靈敏度，可通過調(diào)節(jié)ISO的靈敏度來調(diào)節(jié)拍攝圖 像的亮度(亮度水平)。實(shí)際上是按照ISO靈敏度決定AFE12信號(hào)放大的 放大程度。其放大程度與ISO靈敏度成正比。如果ISO靈敏度是2倍， 其放大程度也變成2倍，由此拍攝圖像的各個(gè)圖像的亮度值也變成2倍 (但忽略飽和)。另外，不用說在其他條件相同時(shí)，拍攝圖像的各圖像的亮度值與曝 光時(shí)間成正比，如果曝光時(shí)間為2倍，拍攝圖像的各圖像的亮度值也變 成2倍(但，忽略飽和)。亮度值的意思是形成拍攝圖像的象素亮度信號(hào) 的值。關(guān)于某象素，如果增加亮度值就增加該象素的亮度。
步驟S2之后，在步驟S3中，主控制部13確認(rèn)快門按鈕17a是否 成為全按下狀態(tài)。在成為全按下狀態(tài)的情況下就移動(dòng)到步驟S4，在不 是全按下狀態(tài)的情況下就回到步驟Sl。
在步驟S4中，攝像裝置l(攝像部11)，進(jìn)行通常曝光拍攝取得通 常曝光圖像。在進(jìn)行通常曝光圖像的拍攝時(shí)，拍攝控制部51就控制攝 像部11及AFE12，使焦距、曝光時(shí)間及ISO靈敏度成為焦距f,、曝光 時(shí)間t,及ISO靈敏度is"
在緊接著的步驟S5中，短曝光拍攝控制部54，根據(jù)通常曝光圖像 的拍攝參數(shù)，判定可否進(jìn)行短曝光圖像的拍攝，與此同時(shí)設(shè)定短曝光圖 像的拍攝參數(shù)。關(guān)于這個(gè)判斷方法及設(shè)置方法后面敘述，這里首先說明 接著步驟S5之后的步驟S6以后的處理。
在步驟S6中，根據(jù)可否進(jìn)行短曝光圖像拍攝的判斷結(jié)果進(jìn)行分支 判斷，短曝光拍攝控制部54，按照其判斷結(jié)果控制攝像部ll的拍攝。 具體地，在步驟S5中當(dāng)判斷為可進(jìn)行短曝光圖像拍攝時(shí)，就從步驟S6 移動(dòng)到步驟S7。在步驟S7中，短曝光拍攝控制部54，控制攝像部ll 使其進(jìn)行短曝光拍攝。由此取得該短曝光圖像。應(yīng)使通常曝光圖像和短 曝光圖像在拍攝之間的拍攝環(huán)境的變化(包含被照物運(yùn)動(dòng)等)控制在最小 限度，使短曝光圖像緊接著通常曝光圖像拍攝之后進(jìn)行拍攝。另一方面， 在步驟S5中在判斷為不可以進(jìn)行短曝光圖像拍攝的情況下，就不進(jìn)行 短曝光圖像的拍攝(即，短曝光拍攝控制部54，對(duì)攝像部11不進(jìn)行短曝 光圖像拍攝的控制)。
把可否進(jìn)行短曝光圖像拍攝的判斷結(jié)果傳達(dá)給圖3的校正控制部 52，校正控制部52按照其判斷結(jié)果控制可否由抖動(dòng)校正處理部53實(shí)行 抖動(dòng)校正處理。即，當(dāng)判斷為可進(jìn)行短曝光圖像拍攝時(shí)，就可實(shí)行該抖 動(dòng)校正處理，當(dāng)判斷為不可以進(jìn)行短曝光圖像拍攝時(shí)，就不可實(shí)行其抖 動(dòng)校正處理。在短曝光圖像拍攝后移動(dòng)的步驟S8中，抖動(dòng)校正處理部53，在步 驟S4中取得的通常曝光圖像及在步驟S7中取得的短曝光圖像分別作為 校正對(duì)象圖像及參照?qǐng)D像處理之后，接收校正對(duì)象圖像及參照?qǐng)D像的圖 像數(shù)據(jù)。此后，在步驟S9中，抖動(dòng)校正處理部53，根據(jù)校正對(duì)象圖像 及參照?qǐng)D像實(shí)行用于降低校正對(duì)象圖像抖動(dòng)的抖動(dòng)校正處理。通過該抖 動(dòng)校正處理而生成的、降低了抖動(dòng)的校正對(duì)象圖像稱為抖動(dòng)校正圖像。 把生成的抖動(dòng)校正圖像的圖像數(shù)據(jù)，在接著步驟S9的步驟S10中記錄 在介質(zhì)16上。
參照?qǐng)D5，說明可否進(jìn)行短曝光圖像拍攝的判斷方法和短曝光圖像 的拍攝參數(shù)的設(shè)置方法。圖5相當(dāng)于圖4的步驟S5的詳細(xì)流程圖，短 曝光拍攝控制部54通過實(shí)行圖5的步驟S21 S26的處理實(shí)現(xiàn)步驟S5 的處理。
按順序說明步驟S21 S26的各項(xiàng)處理。首先，實(shí)行步驟S21的處 理。在步驟S21中，短曝光拍攝控制部54，根據(jù)通常曝光圖像的拍攝 參數(shù)，暫時(shí)設(shè)定短曝光圖像的拍攝參數(shù)。這時(shí)，暫時(shí)設(shè)定拍攝參數(shù)，使 短曝光圖像的抖動(dòng)小到可以被忽視的程度，且使短曝光圖像亮度與通常 曝光圖像相同的程度。在短曝光圖像的拍攝參數(shù)中，包含短曝光圖像拍
攝時(shí)的焦距f2、曝光時(shí)間t2及ISO靈敏度iS2。
一般，進(jìn)行35mm膠片換算時(shí)的光學(xué)系統(tǒng)焦距的倒數(shù)被稱為手抖動(dòng) 界限曝光時(shí)間，在以手抖動(dòng)界限曝光時(shí)間以下的曝光時(shí)間進(jìn)行靜止圖像 的拍攝的情況下，其靜止圖像的抖動(dòng)就可以小到可以忽視的程度。例如， 在進(jìn)行35mm膠片換算時(shí)焦距為100[mm]的情況下，1/100[秒]為手抖動(dòng) 界限曝光時(shí)間。另外一般來說，當(dāng)曝光時(shí)間為適當(dāng)曝光時(shí)間的1/a時(shí)， 為了得到適當(dāng)亮度的圖像就需要把ISO靈敏度設(shè)為a倍(在這里，a是正 值)。另外，在步驟S21中，將短曝光拍攝的焦距設(shè)定為與通常曝光拍 攝的焦距相同。
因此，在步驟S21中，暫時(shí)設(shè)定短曝光圖像的拍攝參數(shù)，使得"f2=
f,、 tfl/f,且iS2,X(t,/t2)"。
在步驟S21暫時(shí)設(shè)定之后，在步驟S22中，根據(jù)通常曝光圖像的曝 光時(shí)間t,及ISO靈敏度is,和短曝光圖像的界限ISO靈敏度is2TH，按照公式"t2TH-t^(is力S2TH)"計(jì)算出短曝光圖像的界限曝光時(shí)間t2TH。
界限ISO靈敏度iS2TH，是關(guān)于短曝光圖像的S/N比好壞界限的ISO
靈敏度，它是按照攝像部11及AFE12的特性等而預(yù)先設(shè)定的。在以比
界限ISO靈敏度iS2TH大的ISO靈敏度取得短曝光圖像的情況下，其S/N
比就惡化到很難得到充分的抖動(dòng)校正效果的程度。從界限ISO靈敏度
iS2ra導(dǎo)出的界限曝光時(shí)間t2TH是關(guān)于短曝光圖像的S/N比好壞界限的曝 光時(shí)間。
此后，在步驟S23中，通過比較在步驟S21中暫時(shí)設(shè)定的短曝光圖 像的曝光時(shí)間t2和在步驟S22中算出的界限曝光時(shí)間t2TH，分以下3種 情況進(jìn)行區(qū)別。具體地，在第一不等式"t2>t2TH"、第二不等式"篇> t2》t2THXkt"和第三不等式"t2THxkt > t2"之內(nèi)，判定哪個(gè)不等式成立， 并對(duì)應(yīng)其判斷結(jié)果進(jìn)行以下的分支處理。在這里，kt是預(yù)先設(shè)定的界限 曝光時(shí)間系數(shù)，是0<1^<1。
在第一不等式成立的情況下，即使將短曝光圖像的曝光時(shí)間設(shè)定為
手抖動(dòng)界限曝光時(shí)間(l/f,)，也可以進(jìn)行有充分SN比的短曝光圖像的拍 攝。所謂充分的SN比是滿足帶來充分抖動(dòng)校正效果的SN比的意思。
因此，在第一不等式成立的情況下，就從步驟S23直接移動(dòng)到步驟 S25，將拍攝/校正可否標(biāo)志FG替換成1，直接采用在步驟S21中暫時(shí) 設(shè)定的拍攝參數(shù)進(jìn)行步驟S7的短曝光拍攝。即，在第一不等式成立的 情況下，短曝光拍攝控制部54就控制攝像部11及AFE12，使圖4的步 驟S7的短曝光圖像的拍攝時(shí)的焦距、曝光時(shí)間及ISO靈敏度成為步驟 S21算出的焦距f2 (二f,)、曝光時(shí)間t2 (= 1/ f,)和ISO靈敏度is2 ( = is, X (t/t2))。
拍攝/校正可否標(biāo)志FG，是表示可否實(shí)行短曝光圖像的拍攝和可否 實(shí)行抖動(dòng)校正處理的判斷結(jié)果的標(biāo)志，主控制部13內(nèi)的各部位，按照 其標(biāo)志FG的數(shù)值進(jìn)行操作。有1的數(shù)值的標(biāo)志FG，表示可進(jìn)行短曝 光圖像的拍攝且可實(shí)行抖動(dòng)校正處理，有0的數(shù)值的標(biāo)志FG，表示不 可進(jìn)行短曝光圖像的拍攝且不可實(shí)行抖動(dòng)校正處理。
另一方面，在第二不等式成立的情況下，如果將短曝光圖像的曝光 時(shí)間設(shè)定為手抖動(dòng)界限曝光時(shí)間(1/&)，就不能進(jìn)行有充分SN比的短曝光圖像拍攝。但是在這種情況下，即使將短曝光圖像的曝光時(shí)間設(shè)定為 界限曝光時(shí)間t2TH，手的抖動(dòng)估計(jì)也比較小。因此，第二不等式的成立 表示如果將短曝光圖像的曝光時(shí)間設(shè)定為估計(jì)手抖動(dòng)比較小的時(shí)間 (t2TH)，就能以有充分SN比的短曝光圖像進(jìn)行拍攝。
因此，在第二不等式成立的情況下，從步驟S23移動(dòng)到步驟S24 使短曝光圖像的拍攝參數(shù)再設(shè)定成為"f2= f,、 t2=t2THiis2=is2TH"，并 在步驟S25中將標(biāo)志FG替換成1。由此，用再設(shè)定的拍攝參數(shù)實(shí)行圖 4步驟S7的短曝光拍攝。即，在第二不等式成立的情況下，短曝光拍 攝控制部54控制攝像部11及AFE12,使圖4的步驟S7的短曝光圖像 拍攝時(shí)的焦距、曝光時(shí)間及ISO靈敏度，成為步驟S24中再設(shè)定的焦距
f2 (二f')、曝光時(shí)間t2 (-t2TH)& ISO靈敏度is2 HS環(huán))。
另外，在第三不等式成立的情況下，如果將短曝光圖像的曝光時(shí)間
設(shè)定為手抖動(dòng)界限曝光時(shí)間(l/f,)，就不能進(jìn)行有充分SN比的短曝光圖 像拍攝。而且，即使將短曝光圖像的曝光時(shí)間設(shè)定為估計(jì)手抖動(dòng)比較小
的時(shí)間(t2TH)，也不能進(jìn)行有充分SN比的短曝光圖像拍攝。
因此，在第三不等式成立的情況下，從步驟S23向步驟S26移動(dòng)， 如果判定不可進(jìn)行短曝光圖像拍攝，就將標(biāo)志FG替換成O。由此，不 進(jìn)行短曝光圖像的拍攝。
在第一不等式或第二不等式成立的情況下，因?yàn)閷?biāo)志FG替換成 1，所以抖動(dòng)校正處理部53實(shí)行抖動(dòng)校正處理，但在第三不等式成立的 情況下，因?yàn)閷?biāo)志FG替換成O，所以抖動(dòng)校正處理部53就不實(shí)行抖 動(dòng)校正處理。
舉個(gè)具體的數(shù)值例子。在通常曝光圖像的拍攝參數(shù)為 "f產(chǎn)100[mm]， tfl/10[秒]且is產(chǎn)100"的情況下，在步驟S21中，短曝 光圖像的拍攝參數(shù)，被暫時(shí)設(shè)定為"f2=100[mm]， tfl/100[秒]且 is2=1000"。在這里，當(dāng)短曝光圖像的界限ISO靈敏度設(shè)定為is2TH-800 時(shí)，短曝光圖像的界限曝光時(shí)間t2TH就變成1/80[秒](步驟S22)。這樣， 由于"t2TH=l/80>l/100"不能滿足第一不等式，所以用暫時(shí)設(shè)定的拍攝 參數(shù)進(jìn)行短曝光拍攝就不能取得有充分SN比的短曝光圖像。
但例如，在界限曝光時(shí)間系數(shù)kt為0.5的情況下，因?yàn)?l/100>t2TH
20Xkt"，所以滿足第二不等式。在這種情況下，通過將短曝光圖像的曝 光時(shí)間t2及ISO靈敏度iS2再設(shè)定為界限曝光時(shí)伺t2TH和界限ISO靈敏 度iS2TH，就能進(jìn)行有充分SN比的短曝光圖像拍攝，用該短曝光圖像進(jìn) 行抖動(dòng)校正處理就能得到充分的抖動(dòng)校正效果。
圖6表示焦距與手抖動(dòng)界限曝光時(shí)間之間的關(guān)系的曲線200。將對(duì) 應(yīng)上述數(shù)值例的點(diǎn)201 204畫在圖6的曲線圖上。點(diǎn)201對(duì)應(yīng)通常曝 光圖像的拍攝參數(shù)，曲線200上的點(diǎn)202對(duì)應(yīng)暫時(shí)設(shè)定的短曝光圖像的 拍攝參數(shù)，點(diǎn)203對(duì)應(yīng)焦距及曝光時(shí)間為100[mm]及t2TH (=1/80[秒])的 狀態(tài)，點(diǎn)204對(duì)應(yīng)焦距及曝光時(shí)間為100[mm]及t2THXkt(-l/160[秒])的 狀態(tài)。
如上述那樣，為了使短曝光圖像的抖動(dòng)小到可忽視的程度， 一般要 使短曝光圖像的曝光時(shí)間為手抖動(dòng)界限曝光時(shí)間以下?？墒?，即使前者 比后者大一些，實(shí)用上取得抖動(dòng)少的短曝光圖像也沒有問題。具體地， 即使短曝光圖像的界限曝光時(shí)間t2TH (在上述數(shù)值例中，為1/80[秒])比 手抖動(dòng)界限曝光時(shí)間(在上述的數(shù)值例中，為1/100[秒])大，如果短曝光 圖像的界限曝光時(shí)間t2TH的kt倍(在上述數(shù)值例中，為t2THXkt =1/160[秒])
是手抖動(dòng)界限曝光時(shí)間以下，通過用該界限曝光時(shí)間t2TH進(jìn)行短曝光拍
攝，實(shí)用上取得抖動(dòng)少的短曝光圖像也沒有問題(反過來說，界限曝光 時(shí)間系數(shù)kt的值通過實(shí)驗(yàn)等被預(yù)先設(shè)定成滿足那樣的關(guān)系)。考慮到此， 即使在第一不等式不成立的情況下，如果第二不等式成立，實(shí)行步驟 S24的再設(shè)置就可進(jìn)行短曝光圖像的拍攝。
如上所述，在實(shí)施方式1中，根據(jù)反映了實(shí)際拍攝的環(huán)境條件(攝 像裝置1的周圍亮度等)的通常曝光圖像的拍攝參數(shù)，判定是否可以進(jìn) 行有足夠SN比來實(shí)現(xiàn)充分的抖動(dòng)校正效果的短曝光圖像拍攝，并按照 其判斷結(jié)果控制是否實(shí)行短曝光圖像的拍攝及是否實(shí)行抖動(dòng)校正處理。 由此，可得到穩(wěn)定的抖動(dòng)校正效果，從而避免勉強(qiáng)迸行抖動(dòng)校正處理生 成幾乎沒有抖動(dòng)校正效果的圖像(或更差圖像)的事態(tài)發(fā)生。
實(shí)施方式2
對(duì)實(shí)施方式2進(jìn)行說明。實(shí)施方式1所述操作的一部分也用在實(shí)施 方式2中。參照?qǐng)D7，對(duì)實(shí)施方式2的攝像裝置1的拍攝及校正操作進(jìn)行說明。圖7是表示其操作流程的流程圖。在實(shí)施方式2中，首先也進(jìn)
行步驟S1 S4的處理。該步驟S1 S4的處理，與實(shí)施方式1所敘述 的相同。
艮P，在快門按鈕17a半按下的狀態(tài)時(shí)，拍攝控制部51取得通常曝 光圖像的拍攝參數(shù)(焦距&、曝光時(shí)間t,及ISO靈敏度is,)，此后，在快 門按鈕17a全按下的狀態(tài)時(shí)，在步驟S4中，用該拍攝參數(shù)進(jìn)行通常曝 光拍攝取得通常曝光圖像。實(shí)施方式2中，在通常曝光圖像的拍攝后， 移動(dòng)到步驟S31。
在步驟S31中，短曝光拍攝控制部54，根據(jù)通常曝光圖像的拍攝 參數(shù)，判定短曝光圖像的拍攝張數(shù)應(yīng)該是1張還是多張。
具體地，首先短曝光拍攝控制部54，實(shí)行與圖5的步驟S21及S22 相同的處理。即，在步驟S21中，用通常曝光圖像的拍攝參數(shù)中包含的 焦距f"曝光時(shí)間t,及ISO靈敏度isp暫時(shí)設(shè)定短曝光圖像的拍攝參 數(shù)為"f尸&、tfl/f,且is2-is,X(t,/t2)"，在步驟S22中，按照公式"t2TH= t, x(is力S2th)"求短曝光圖像的界限曝光時(shí)間t2TH 。
其后，通過對(duì)步驟S21中暫時(shí)設(shè)定的短曝光圖像的曝光時(shí)間12與步 驟S22中算出的界限曝光時(shí)間t織進(jìn)行比較，在第一不等式"t2>t2TH"、 第二不等式"t2TH>t2>t2THXkt"和第三不等式"t2THxkt>t2，,，判定哪 個(gè)不等式成立。另外，kt與實(shí)施方式l所敘述的相同。
然后，在第一或第二不等式成立的情況下，判定應(yīng)該拍攝的短曝光 圖像的張數(shù)是l張，從步驟S31移動(dòng)到步驟S32，依次實(shí)行步驟S32、 S33、 S9及S10處理。應(yīng)該拍攝的短曝光圖像的張數(shù)是1張的判斷結(jié)果 傳達(dá)給校正控制部52，在這種情況下，校正控制部52，控制抖動(dòng)校正 處理部53，對(duì)步驟S4所得的通常曝光圖像及步驟S32所得的短曝光圖 像分別作為校正對(duì)象圖像及參照?qǐng)D像處理。
艮P，在步驟S32中，短曝光拍攝控制部54控制拍攝，使短曝光拍 攝只進(jìn)行一次。通過這個(gè)短曝光拍攝取得1張短曝光圖像。這個(gè)短曝光 圖像，在緊接著通常曝光圖像的拍攝之后拍攝。在緊接著的步驟S33中， 抖動(dòng)校正處理部53，對(duì)步驟S4所得的通常曝光圖像及步驟S32所得的 短曝光圖像分別作為校正對(duì)象圖像及參照?qǐng)D像處理之后，接收校正對(duì)象圖像及參照?qǐng)D像的圖像數(shù)據(jù)。此后，在步驟S9中，抖動(dòng)校正處理部53，
根據(jù)校正對(duì)象圖像及參照?qǐng)D像實(shí)行降低校正對(duì)象圖像抖動(dòng)的抖動(dòng)校正 處理，生成抖動(dòng)校正圖像。把生成的抖動(dòng)校正圖像的圖像數(shù)據(jù)，在步驟
S9后續(xù)的步驟S10中記錄在記錄介質(zhì)16上。
另外，與實(shí)施方式1相同，在第一不等式成立的情況下，在步驟 S21中就直接采用暫時(shí)設(shè)定的拍攝參數(shù)進(jìn)行步驟S32的短曝光拍攝。即， 在第一不等式成立的情況下，短曝光拍攝控制部54就控制攝像部11及 AFE12，使步驟S32短曝光圖像拍攝時(shí)的焦距、曝光時(shí)間及ISO靈敏度 成為步驟S21算出的焦距f2 ( = &)、曝光時(shí)間t2 (=1/ f,)及ISO靈敏度is2 (=iSlX(t|/t2))。另外，在第二不等式成立的情況下，就實(shí)行圖5的步驟 S24的處理，再次設(shè)定短曝光圖像的拍攝參數(shù)，用該再次設(shè)定的拍攝參 數(shù)進(jìn)行步驟S32的短曝光拍攝。g卩，在第二不等式成立的情況下，短曝 光拍攝控制部54就控制攝像部11及AFE12,使步驟S32的短曝光圖 像拍攝時(shí)的焦距、曝光時(shí)間及ISO靈敏度成為在步驟S24被再次設(shè)定的 焦距f2 ( = 曝光時(shí)間t2 (、th)及ISO靈敏度is2 (=is2TH)。
另一方面，在步驟S31中第三不等式"trmXkt〉t2"成立的情況下， 就判定應(yīng)該拍攝的短曝光圖像的張數(shù)是多張，并從步驟S31移動(dòng)到步驟 S34，實(shí)行步驟S34 S36的處理之后實(shí)行S9及S10的處理。應(yīng)該拍攝 的短曝光圖像的張數(shù)是多張的判斷結(jié)果傳達(dá)給校正控制部52，在這種 情況下，校正控制部52控制抖動(dòng)校正處理部53使步驟S4所得的通常 曝光圖像和步驟S35所得的合成圖像分別作為校正對(duì)象圖像及參照?qǐng)D 像處理。詳情后述，但合成圖像通過將多張短曝光圖像相加合成而生成。
按順序說明步驟S34 S36的處理。步驟S34中，緊接著通常曝光 圖像的拍攝之后連續(xù)拍攝ns張短曝光圖像，但首先，短曝光拍攝控制 部54，決定應(yīng)該拍攝短曝光圖像的張數(shù)(g卩，ns的值)和拍攝參數(shù)。在這 里，ns是2以上的整數(shù)。在步驟S34中將取得的各短曝光圖像拍攝時(shí)的 焦距、曝光時(shí)間及ISO靈敏度，分別表示為f3、 t3&iS3，并說明ns、 f3、 t3及iS3的決定方法。另外，在這個(gè)說明中，在圖5的步驟S21中也參
照暫時(shí)設(shè)定的拍攝參數(shù)(f2、 t2及iS2)。
把I1S、 f3、 t3及iS3設(shè)定為全部滿足以下的第一 第三條件。第一條件是"曝光時(shí)間t3的kt倍為手抖動(dòng)界限曝光時(shí)間以下"。第一條件的設(shè)置是為了把各短曝光圖像的抖動(dòng)抑制到小到實(shí)用上沒有問題的程度。為了滿足第一條件，需要滿足不等式"t2》t3Xkt"。
第二條件是"通常曝光圖像與步驟S35應(yīng)得的合成圖像的亮度相同
(或者同等程度)"。為了滿足第二條件，需要滿足等式"t3Xis3Xns= t,Xis'"。
第三條件是"步驟S35應(yīng)得的合成圖像的ISO靈敏度為短曝光圖像的界限ISO靈敏度以下"。第三條件的設(shè)置是為了得到有充分的SN比的合成圖像。為了滿足第三條件，需要滿足不等式"is3X Vns《iS2TH"。
一般，把ISO靈敏度is3的ns張圖像相加合成所得圖像的ISO靈敏度用is3x^is表示。另外，Vns表示ns的正的平方根。
舉個(gè)具體的數(shù)值例。現(xiàn)在，考慮通常曝光圖像的拍攝參數(shù)為"f產(chǎn)200[mm]、 t產(chǎn)l/10[秒]且is產(chǎn)100"的情況。另外，短曝光圖像的界限ISO靈敏度is2TH是800且界限曝光時(shí)間系數(shù)kt是0.5。這樣，在圖5的步驟S21中短曝光圖像的拍攝參數(shù)的暫時(shí)設(shè)定，就成為"f產(chǎn)200[mm]、12=1/200[秒]且is2=2000"。另外，短曝光圖像的界限曝光時(shí)間t2TH，由于tm^tp(is,/is2TH一l/80就變成為1/80[秒]。這樣，因?yàn)槭?trmXkt〉t2"，所以就會(huì)從圖7的步驟S31移動(dòng)到步驟S34。
在這種情況下，為了滿足第一條件，需要滿足下列公式(A-1)。l/100》t3 (A畫l)
暫時(shí)將t3試著替換成1/100，需要從對(duì)應(yīng)第二條件的等式滿足下列
公式(A-2)。另外，還需要滿足對(duì)應(yīng)第三條件的下列公式(A-3)。因?yàn)橛晒?A-2)及(A-3)變成為' 1.5625"，所以可知最好把ns設(shè)定為2以上。
is3xns=1000 (A-2)
is3xVns《800 (A陽3)
將ns暫時(shí)替換成2，對(duì)應(yīng)第二條件的等式成為下列公式(A-4)且對(duì)應(yīng)第三條件的不等式成為下列公式(A-5)。
t3xis3=5 (A-4)
is3《800/1.414 —566 (A-5)
24從公式(A-4)及(A-5)引導(dǎo)出"t3》0.0088"。把公式(A-1)也一起考慮， 通過即使在115=2的情況下也可設(shè)定13使其滿足"1/100>3》0,0088"地，
就可以生成所希望的有充分抖動(dòng)校正效果的合成圖像。如果確定了 ns
和{3， iS3也自動(dòng)確定了。另外，使f3與&相同。在上述例子中，以將
ns替換成2的狀態(tài)可設(shè)定成全部滿足第一 第三條件的13，但假設(shè)不能 那樣設(shè)定，只要直到能夠設(shè)定為止依次增加ns的數(shù)值就可以了。
在步驟S34中，按照上述方法求ns、 f3、 t3及is3，并按照其方法實(shí) 行ns次的短曝光拍攝。將步驟S34取得的ns張短曝光圖像的圖像數(shù)據(jù) 發(fā)送到抖動(dòng)校正處理部53。抖動(dòng)校正處理部53，通過把這些ns張的短 曝光圖像相加合成而生成合成圖像。下面說明相加合成的方法。
抖動(dòng)校正處理部53，將ns張短曝光圖像對(duì)位之后合成。為了具體 說明，將ns設(shè)為3，在通常曝光圖像拍攝后，考慮依次拍攝第一、第二 及第三張短曝光圖像。在這種情況下，例如，把第一張短曝光圖像作為 標(biāo)準(zhǔn)圖像，且將第二及第三張短曝光圖像分別作為非標(biāo)準(zhǔn)圖像掌握之 后，把非標(biāo)準(zhǔn)圖像向標(biāo)準(zhǔn)圖像對(duì)位合成。另外，"對(duì)位"和后述的"位 置偏差校正"的意義相同。
下面說明1張標(biāo)準(zhǔn)圖像與1張非標(biāo)準(zhǔn)圖像對(duì)位合成的處理。例如， 用哈里斯(Harris)的拐角(comer)檢測(cè)器從標(biāo)準(zhǔn)圖像提取有特征的小區(qū)域 (例如，32X32象素的小區(qū)域)。有特征的小區(qū)域是指提取原圖像中邊緣 成分比較多(換句話說就是對(duì)比度比較強(qiáng))的矩形區(qū)域，例如，包含有特 征圖案的區(qū)域。所謂有特征的圖案，意思是說例如在物體角部2個(gè)方向 以上有亮度變化，根據(jù)其亮度變化通過圖像處理就可以很容易地檢測(cè)出 該圖案位置(圖像上的位置)的圖案。然后，把從標(biāo)準(zhǔn)圖像提取的該小區(qū) 域內(nèi)的圖像作為模板(template)，釆用模板匹配法，從非標(biāo)準(zhǔn)圖像內(nèi)尋找 與該模板的類似度最高的小區(qū)域。然后，計(jì)算找到的的小區(qū)域位置(非 標(biāo)準(zhǔn)圖像上的位置)與從標(biāo)準(zhǔn)圖像提取的小區(qū)域的位置(標(biāo)準(zhǔn)圖像上的位 置)的偏差作為位置偏差量A d。位置偏差量A d是包含水平成分及垂直 成分的二維量，用所謂動(dòng)態(tài)矢量表現(xiàn)。非標(biāo)準(zhǔn)圖像，可以看成是以標(biāo)準(zhǔn) 圖像為基準(zhǔn)產(chǎn)生的相當(dāng)于位置偏差量Ad的位置偏差圖像。在這里，為 了消除這個(gè)位置偏差量Ad，通過對(duì)非標(biāo)準(zhǔn)圖像實(shí)施坐標(biāo)變換(仿射(affme)變換等)，對(duì)非標(biāo)準(zhǔn)圖像進(jìn)行位置偏差校正。例如，求出用于進(jìn) 行這個(gè)坐標(biāo)變換的幾何變換參數(shù)，通過在標(biāo)準(zhǔn)圖像定義的坐標(biāo)上對(duì)非標(biāo) 準(zhǔn)圖像進(jìn)行坐標(biāo)變換來進(jìn)行位置偏差校正。把位于位置偏差校正前的非 標(biāo)準(zhǔn)圖像內(nèi)的坐標(biāo)(x+Adx， y+Ady)的象素，通過位置偏差校正轉(zhuǎn)換成 位于坐標(biāo)(x， y)的象素。Adx及Ady，分別是Ad的水平成分及垂直成 分。然后，使互相對(duì)應(yīng)的象素信號(hào)合并，從而把標(biāo)準(zhǔn)圖像和校正了位置 偏差后的非標(biāo)準(zhǔn)圖像合成。位于合成所得圖像內(nèi)的坐標(biāo)(x， y)的象素的 象素信號(hào)，相當(dāng)于把位于坐標(biāo)(x， y)的標(biāo)準(zhǔn)圖像內(nèi)的象素的象素信號(hào)， 和與位于坐標(biāo)(x， y)的位置偏差校正后的非標(biāo)準(zhǔn)圖像內(nèi)的象素的象素信
號(hào)相加所算出的信號(hào)。
對(duì)各非標(biāo)準(zhǔn)圖像實(shí)行上述那樣的對(duì)位及合成處理。由此取得把第一 張短曝光圖像和第二及第三張的位置偏差校正后的短曝光圖像合成后 的合成圖像。這個(gè)合成圖像是應(yīng)在圖7的步驟S35中生成的合成圖像。 另外，也可以從標(biāo)準(zhǔn)圖像提取多個(gè)有特征的小區(qū)域，用模板匹配法從非 標(biāo)準(zhǔn)圖像尋找與該多個(gè)小區(qū)域?qū)?yīng)的多個(gè)小區(qū)域，從標(biāo)準(zhǔn)圖像內(nèi)提取的 多個(gè)小區(qū)域的位置與在非標(biāo)準(zhǔn)圖像內(nèi)找到的多個(gè)小區(qū)域的位置求出上 述幾何變換參數(shù)，并進(jìn)行上述的位置偏差校正。
在步驟S35中生成合成圖像之后，在步驟S36中，抖動(dòng)校正處理部 53，把步驟S4所得的通常曝光圖像作為校正對(duì)象圖像來處理，接收校 正對(duì)象圖像的圖像數(shù)據(jù)。另一方面，把步驟S35生成的合成圖像作為參 照?qǐng)D像來處理。此后，實(shí)行步驟S9及S10的處理。即，根據(jù)作為校正 對(duì)象圖像和合成圖像的參照?qǐng)D像，實(shí)行降低校正對(duì)象圖像抖動(dòng)的抖動(dòng)校 正處理，生成抖動(dòng)校正圖像。把生成的抖動(dòng)校正圖像的圖像數(shù)據(jù)，在緊 接著步驟S9的步驟S10中記錄在記錄介質(zhì)16上。
如上所述，在實(shí)施方式2中，根據(jù)反映了實(shí)際拍攝環(huán)境條件(攝像 裝置1周圍的照明度等)的通常曝光圖像的拍攝參數(shù)，判定用于取得充 分抖動(dòng)校正效果所必需的短曝光圖像的張數(shù)，并按照其判斷結(jié)果用所得 的1張或多張短曝光圖像實(shí)行抖動(dòng)校正處理。由此，可得到穩(wěn)定的抖動(dòng) 校正效果。
實(shí)施方式3
26下面，說明實(shí)施方式3。如果能夠取得抖動(dòng)小到可忽視程度的短曝 光圖像，并把該短曝光圖像的邊緣狀態(tài)做為目標(biāo)，通過校正通常曝光圖 像就可得到充分的抖動(dòng)校正效果。然而，即使將短曝光圖像的曝光時(shí)間 設(shè)定為取得那樣的短曝光圖像一樣，實(shí)際上由于拍攝者的拍攝技術(shù)等， 短曝光圖像有時(shí)也包含不能忽視的抖動(dòng)。在這種情況下，即使進(jìn)行基于 短曝光圖像的抖動(dòng)校正處理也難以取得滿意的抖動(dòng)校正效果(有時(shí)甚至 得到更差的圖像)。
考慮到此，在實(shí)施方式3中的圖3的校正控制部52，根據(jù)通常曝
光圖像及短曝光圖像推斷短曝光圖像包含的抖動(dòng)程度，僅在推斷抖動(dòng)程 度比較小的情況下，判斷可實(shí)行基于短曝光圖像的抖動(dòng)校正處理。
參照?qǐng)D8，說明實(shí)施方式3的攝像裝置1的拍攝及校正的操作。圖 8是表示該操作的流程的流程圖。在實(shí)施方式3中，首先也實(shí)行步驟Sl S4的處理。這個(gè)步驟S1 S4的處理，與實(shí)施方式1所敘述的內(nèi)容相同。
艮P，如果快門按鈕17a成為半按下的狀態(tài)時(shí)，拍攝控制部51就取 得通常曝光圖像的拍攝參數(shù)(焦距fp曝光時(shí)間t,及ISO靈敏度is,)，此 后，如果快門按鈕17a成為全按下狀態(tài)時(shí)，在步驟S4中，就實(shí)行采用 那個(gè)拍攝參數(shù)的通常曝光拍攝從而取得通常曝光圖像。在實(shí)施方式3 中，在進(jìn)行通常曝光圖像拍攝后就移動(dòng)到步驟S41。
在步驟S41中，短曝光拍攝控制部54，根據(jù)通常曝光圖像的拍攝 參數(shù)設(shè)定短曝光圖像的拍攝參數(shù)。具體地，就是設(shè)定短曝光圖像的拍攝 參數(shù)，使包含通常曝光圖像的拍攝參數(shù)的焦距f,、曝光時(shí)間t,及ISO靈 敏度is,成為"fff,， t^t,XkQ且isf iSlX(tl/t2)，，。在這里，系數(shù)kQ 是滿足不等式"0<、<1"的預(yù)先設(shè)定的數(shù)值的系數(shù)，例如，具有0.1 0.5左右的數(shù)值。
在緊接著的步驟S42中，短曝光拍攝控制部54，按照步驟S41設(shè) 定的短曝光圖像的拍攝參數(shù)，象短曝光拍攝那樣進(jìn)行拍攝控制。通過這 個(gè)短曝光拍攝取得1張短曝光圖像。這個(gè)短曝光圖像，在緊接著通常曝 光圖像的拍攝之后拍攝。具體地，就是短曝光拍攝控制部54控制攝像 部11及AFE12，使短曝光圖像拍攝時(shí)的焦距、曝光時(shí)間及ISO靈敏度 成為步驟S41設(shè)定的焦距f2 ( = f\)、曝光時(shí)間t2 (=t! XkQ)和ISO靈敏度iS2(,X(t,/t2))。
在緊接著的步驟S43中，校正控制部52，根據(jù)步驟S4及S42所得 的通常曝光圖像及短曝光圖像的圖像數(shù)據(jù)推斷短曝光圖像的抖動(dòng)程度 (短曝光圖像所包含的抖動(dòng)程度)。這個(gè)推斷方法后述。
通過校正控制部52，在判斷短曝光圖像的抖動(dòng)程度比較小的情況 下，就從步驟S43移動(dòng)到步驟S44，實(shí)行步驟S44、 S9及S10的各項(xiàng)處 理。S卩，在判斷抖動(dòng)程度比較小的情況下，校正控制部52，就判斷可 實(shí)行抖動(dòng)校正處理，控制抖動(dòng)校正處理部53實(shí)行抖動(dòng)校正處理。在這 種控制之下，抖動(dòng)校正處理部53，分別將步驟S4所得的通常曝光圖像 和步驟S42所得的短曝光圖像作為校正對(duì)象圖像及參照?qǐng)D像處理之后， 接收校正對(duì)象圖像及參照?qǐng)D像的圖像數(shù)據(jù)。此后，在步驟S9中，抖動(dòng) 校正處理部53，根據(jù)校正對(duì)象圖像及參照?qǐng)D像實(shí)行降低校正對(duì)象圖像 抖動(dòng)的抖動(dòng)校正處理，并生成抖動(dòng)校正圖像。把生成的抖動(dòng)校正圖像的 圖像數(shù)據(jù)，在緊接著步驟S9的步驟S10中記錄在記錄介質(zhì)16上。
另一方面，通過校正控制部52，在判斷短曝光圖像的抖動(dòng)程度比 較大的情況下，校正控制部52，就判斷不可實(shí)行抖動(dòng)校正處理，控制 抖動(dòng)校正處理部53不實(shí)行抖動(dòng)校正處理。
這樣，在實(shí)施方式3中，推斷短曝光圖像的抖動(dòng)程度，僅在判斷其 抖動(dòng)程度比較小的情況下才實(shí)行抖動(dòng)校正處理。由此，可得到穩(wěn)定的抖 動(dòng)校正效果，從而可以避免因勉強(qiáng)進(jìn)行抖動(dòng)校正處理而生成幾乎沒有抖 動(dòng)校正效果的圖像(或更差圖像)的事態(tài)發(fā)生。
另外，在實(shí)施方式1所示的方法中也可以設(shè)定短曝光圖像的拍攝參 數(shù)。S卩，在步驟S41中也可以通過實(shí)行由圖5的步驟S21 S26形成的 處理，來設(shè)定短曝光圖像的拍攝參數(shù)。在這種情況下，在步驟S42的短 曝光圖像拍攝時(shí)，控制攝像部11及AFE12，使其成為"f2-f,， t2=l/f\
且iS2,X(t,/t2)"，或"fff,， t產(chǎn)t2TH且is產(chǎn)iS2TH"。另外，在圖5的 步驟S21中對(duì)暫時(shí)設(shè)定的曝光時(shí)間t2，在不等式"t2THXk一t,成立的情
況下，也可以不進(jìn)行步驟S42的短曝光圖像的拍攝本身。
說明關(guān)于短曝光圖像的抖動(dòng)程度的推斷方法。作為這個(gè)推斷方法對(duì) 可采用的第一 第三的推斷方法進(jìn)行個(gè)別舉例說明。所謂第一 第三的推斷方法的說明文中的通常曝光圖像及短曝光圖像，分別指在圖8的步
驟S4及S42中所得的通常曝光圖像及短曝光圖像。 第一推斷方法
首先說明第一推斷方法。在第一推斷方法中，通過比較通常曝光圖 像和短曝光圖像的邊緣強(qiáng)度，推斷短曝光圖像的抖動(dòng)程度。下面進(jìn)行更 具體的說明。
圖9是表示在采用第一推斷方法時(shí)，圖3的校正控制部52實(shí)行處 理的流程圖。在采用第一推斷方法時(shí)，通過校正控制部52，依次實(shí)行 步驟S51 S51的各項(xiàng)處理。
首先，在步驟S51中，校正控制部52，通過采用哈里斯的拐角檢 測(cè)器等，從通常曝光圖像提取有特征的小區(qū)域，并將該小區(qū)域內(nèi)的圖像 作為第一評(píng)價(jià)圖像處理。有特征的小區(qū)域的意思如實(shí)施方式2的說明文 所敘述的那樣。
接著從短曝光圖像提取與通常曝光圖像提取的小區(qū)域?qū)?yīng)的小區(qū) 域，并把從短曝光圖像提取的小區(qū)域內(nèi)的圖像作為第二評(píng)價(jià)圖像處理。 第一及第二評(píng)價(jià)圖像的尺寸(水平方向及垂直方向的象素)相等。在可忽 視通常曝光圖像與短曝光圖像之間的位置偏差的情況下，進(jìn)行小區(qū)域的 提取，使通常曝光圖像提取的小區(qū)域的中心坐標(biāo)(通常曝光圖像內(nèi)的中 心坐標(biāo))，與短曝光圖像提取的小區(qū)域的中心坐標(biāo)(短曝光圖像內(nèi)的中心 坐標(biāo))相等。在其位置偏差不能忽視的情況下，也可以利用模板匹配法 等進(jìn)行對(duì)應(yīng)小區(qū)域的尋找。即例如，把從通常曝光圖像提取的小區(qū)域內(nèi) 的圖像作為模板，用公知的模板匹配法，從短曝光圖像內(nèi)尋找與該模板 類似度最高的小區(qū)域，并把找到的小區(qū)域內(nèi)的圖像作為第二評(píng)價(jià)圖像。
另外，不通過提取有特征的小區(qū)域生成第一及第二評(píng)價(jià)圖像，也可 以單純地將位于通常曝光圖像中央的小區(qū)域作為第一評(píng)價(jià)圖像且把位 于短曝光圖像中央的小區(qū)域作為第二評(píng)價(jià)圖像進(jìn)行提取?；蛘?，也可以 把通常曝光圖像的整體圖像作為第一評(píng)價(jià)圖像且把短曝光圖像的整體 圖像作為第二評(píng)價(jià)圖像處理。
在第一及第二評(píng)價(jià)圖像設(shè)定之后，在步驟S52中，計(jì)算出第一評(píng)價(jià) 圖像水平方向及垂直方向的邊緣強(qiáng)度，與此同時(shí)計(jì)算出第二評(píng)價(jià)圖像水平方向及垂直方向的邊緣強(qiáng)度。下面不區(qū)別第一評(píng)價(jià)圖像及第二評(píng)價(jià)圖 像，有時(shí)僅把兩者總稱或者其一方稱為評(píng)價(jià)圖像。
說明在步驟S52中邊緣強(qiáng)度的計(jì)算方法。圖10表示1張?jiān)u價(jià)圖像 的象素排列。評(píng)價(jià)圖像的水平方向及垂直方向的象素?cái)?shù)分別為M及N。 M及N是2以上的整數(shù)。把評(píng)價(jià)圖像，以評(píng)價(jià)圖像的原點(diǎn)O為標(biāo)準(zhǔn)作 為MXN矩陣掌握，把形成評(píng)價(jià)圖像的各象素用P[i， j]表示。i取l M之間的各整數(shù)，表示關(guān)注的象素評(píng)價(jià)圖像上的水平坐標(biāo)值。j取1 N 之間的各整數(shù)，表示關(guān)注的象素評(píng)價(jià)圖像上的垂直坐標(biāo)值。另外，象素 P[i， j]上的亮度值用Y[i， j]表示。圖ll表示亮度值的矩陣表現(xiàn)。隨著 Y[i， j]的增加，對(duì)應(yīng)象素P[i， j]的亮度也增加。
校正控制部52，按各個(gè)象素計(jì)算出第一評(píng)價(jià)圖像的水平方向及垂 直方向的邊緣強(qiáng)度，與此同時(shí)按各個(gè)象素計(jì)算出第二評(píng)價(jià)圖像的水平方 向及垂直方向的邊緣強(qiáng)度。表示計(jì)算出的邊緣強(qiáng)度的數(shù)值稱為邊緣強(qiáng)度 值。邊緣強(qiáng)度值，為零或正值。即，邊緣強(qiáng)度值表示對(duì)應(yīng)的邊緣強(qiáng)度的 大小(絕對(duì)值)。對(duì)第一評(píng)價(jià)圖像的象素P[i， j]計(jì)算出的水平方向和垂直 方向的邊緣強(qiáng)度值分別用Ew [i， j]及Ev, [i， j]表示，對(duì)第二評(píng)價(jià)圖像
的圖像P[i，j]計(jì)算出的水平方向及垂直方向的邊緣強(qiáng)度值分別用EH2 [i， j]和Ev2[i， j]表示。
邊緣強(qiáng)度值的計(jì)算采用一次微分濾波器、二次微分濾波器、索貝爾 (Sobd)濾波器等邊緣提取濾波器進(jìn)行。例如，計(jì)算出水平方向及垂直方 向的邊緣強(qiáng)度值時(shí)，在分別采用圖12及圖13所示的二次微分濾波器的 情況下，對(duì)第一評(píng)價(jià)圖像的邊緣強(qiáng)度值EH,[i， j]和Ev,[i， j]，通過Ew [i， J]叫-Y[i-l， j]+2'Y[i， j]-Y[i+l， j]l及Ev,[i， j]卟Y[i， j-l]+2 Y[i' J]-Y[i， j+l]l算出。另外，對(duì)位于第一評(píng)價(jià)圖像的上下左右端的象素(例 如，象素P[l， 2])計(jì)算邊緣強(qiáng)度值時(shí)，也可以采用配置在第一評(píng)價(jià)圖像 外側(cè)的、通常曝光圖像內(nèi)的象素(例如人象素P[l， 2]左側(cè)相鄰的象素)
的亮度值。對(duì)第二評(píng)價(jià)圖像的邊緣強(qiáng)度值EH2 [i， j]及Ew [i， j]也釆用
相同的方法算出。
計(jì)算出各個(gè)象素的邊緣強(qiáng)度值后，在步驟S53中，校正控制部52 通過從各邊緣強(qiáng)度值減去預(yù)先設(shè)定的偏移值來校正各邊緣強(qiáng)度值。具體
30地，按照以下公式(B-l) (B-4)，計(jì)算出校正的邊緣強(qiáng)度值EH1'[i， j]， EW[i， j]， EH2'[i， j]及Ev2'[i， j]。但通過從某邊緣強(qiáng)度值減去偏移值OF, 或OF2，而那個(gè)邊緣強(qiáng)度值變?yōu)樨?fù)值的情況下，其邊緣強(qiáng)度值就設(shè)為零。 例如，在"Eh,[I， l]-OF一O"的情況下，EH1'[1， l]就為零。 Ew'[i，J〗-<formula>formula see original document page 31</formula>
在緊接著的步驟S54中，校正控制部52，按照下列公式(B-5) (B-8) 通過把校正的邊緣強(qiáng)度值進(jìn)行累計(jì)，計(jì)算出邊緣強(qiáng)度值Dm、 DV1、 DH2 及DV2。邊緣強(qiáng)度累計(jì)值DH1，分別是(MXN)個(gè)的校正的邊緣強(qiáng)度值 EH1'[i， j]的累計(jì)值(即，在1《i《M且1《j《N的范圍內(nèi)所有邊緣強(qiáng)度
值EHr[i， j]的累計(jì)值)。關(guān)于邊緣強(qiáng)度累計(jì)值Dv,、 Dh2及Dv2也相同。
<formula>formula see original document page 31</formula>
然后，在步驟S55中，校正控制部52，對(duì)第一評(píng)價(jià)圖像計(jì)算出的 邊緣強(qiáng)度累計(jì)值與對(duì)第二評(píng)價(jià)圖像計(jì)算出的邊緣強(qiáng)度累計(jì)值進(jìn)行比較， 并根據(jù)其比較結(jié)果推斷短曝光圖像的抖動(dòng)程度。如果抖動(dòng)大則邊緣強(qiáng)度 累計(jì)值就變小。因此，在對(duì)第二評(píng)價(jià)圖像算出的水平及垂直方向的邊緣 強(qiáng)度累計(jì)值內(nèi)，在至少一方比對(duì)第一評(píng)價(jià)圖像的值小的情況下，就判斷短曝光圖像的抖動(dòng)程度比較大。
具體地，評(píng)價(jià)下列不等式(B-9)及(B-10)成立/不成立，在不等式(B-9) 及(B-10)內(nèi)至少一方成立的情況下，就判斷短曝光圖像的抖動(dòng)程度比較 大。在這種情況下，就判斷不可實(shí)行抖動(dòng)校正處理。另一方面，當(dāng)不等 式(B-9)及(B-10)雙方都不成立的情況下，就判斷短曝光圖像的抖動(dòng)程度 比較小。在這種情況下，就判斷可以實(shí)行抖動(dòng)校正處理。
DH1>DH2 …(B-9)
Dvi >DV2 …(B- i o)
如從邊緣強(qiáng)度累計(jì)值的計(jì)算方法所理解的那樣，邊緣強(qiáng)度累計(jì)值
Dw及DV1，分別取對(duì)應(yīng)第一評(píng)價(jià)圖像的水平方向及垂直方向抖動(dòng)大小 的值，邊緣強(qiáng)度累計(jì)值DH2及Dv2，分別取第二評(píng)價(jià)圖像的水平方向及 垂直方向抖動(dòng)大小的值。校正控制部52，在水平方向及垂直方向的兩 個(gè)方向中，只有當(dāng)?shù)诙u(píng)價(jià)圖像的抖動(dòng)大小比第一評(píng)價(jià)圖像小的情況 下，才判斷短曝光圖像的抖動(dòng)程度比較小，并可實(shí)行抖動(dòng)校正處理。
采用對(duì)邊緣強(qiáng)度值的偏移值的校正，作用于因通常曝光圖像拍攝時(shí) 的ISO靈敏度與短曝光圖像拍攝時(shí)的ISO靈敏度的不同所引起的、對(duì) 第一及第二評(píng)價(jià)圖像之間邊緣強(qiáng)度的不同進(jìn)行抑制的方向。換句話說， 該校正作用于對(duì)抖動(dòng)程度推定的、對(duì)前者的不同(ISO靈敏度的不同) 的影響進(jìn)行抑制的方向。采用圖14(a)及(b)對(duì)這個(gè)理由進(jìn)行說明。
圖14(a)及(b)中，實(shí)線211及的221分別表示無噪聲影響的圖像的 亮度值分布及邊緣強(qiáng)度值分布，虛線212及的222分別表示有噪聲影響 的圖像的亮度值分布及邊緣強(qiáng)度值分布。在圖14(a)及(b)中，僅關(guān)注一 維方向，圖14(a)及(b)的各曲線圖中的橫軸表示象素位置。在沒有噪聲 影響的情況下，在亮度平坦部的邊緣強(qiáng)度值為零，但在有噪聲影響的情 況下，就會(huì)產(chǎn)生亮度的平坦部不是零的邊緣強(qiáng)度值。圖14(b)中的點(diǎn)劃 線(alternate long and short dash line)223 ，表示偏移值OF,或OF2。
由于通常曝光圖像的ISO靈敏度比較低，所以對(duì)通常曝光圖像的噪
聲影響比較小，另一方面，由于短曝光圖像的iso靈敏度比較高，所以
對(duì)短曝光圖像的噪聲影響比較大。因此，通常曝光圖像大致對(duì)應(yīng)實(shí)線211及221，短曝光圖像大致對(duì)應(yīng)虛線212及222。假如不采用偏移值 的相減校正來求邊緣強(qiáng)度累計(jì)值，就變成短曝光圖像相對(duì)應(yīng)的邊緣強(qiáng)度 累計(jì)值只增加因噪聲引起的邊緣強(qiáng)度的部分，ISO靈敏度不同的影響就 會(huì)呈現(xiàn)在邊緣強(qiáng)度累計(jì)值上。考慮于此，進(jìn)行采用上述的偏移值的減法 校正。通過這個(gè)減法校正，具有噪聲引起的比較小值的邊緣強(qiáng)度成分被 排除，從而可以抑制抖動(dòng)程度推斷方面ISO靈敏度的不同的影響。其結(jié) 果提高了抖動(dòng)程度推斷的精度。
另外，可在攝像裝置1的制造階段或設(shè)計(jì)階段預(yù)先設(shè)定偏移值OF, 及OF2。例如，在光線完全或幾乎不入射到攝像單元33的狀態(tài)下，進(jìn) 行通常曝光拍攝及短曝光拍攝取得2張黑圖像，根據(jù)這2張黑圖像的邊 緣強(qiáng)度累計(jì)值可決定偏移值OF,及OF2。另外，偏移值OF,和OF2，也 可以是相同的數(shù)值，也可以是互不相同的數(shù)值。
圖15(a)表示通常曝光圖像的例子。圖15(a)的通常曝光圖像在水平 方向有比較大的抖動(dòng)。圖15(b)及(c)表示短曝光圖像的第一例子及第二 例子。圖15(b)的短曝光圖像，在水平方向及垂直方向幾乎沒有抖動(dòng)。 因此，如果對(duì)圖15(a)的通常曝光圖像及圖15(b)的短曝光圖像進(jìn)行上述 抖動(dòng)程度推斷，上述不等式(B-9)及(B-10)雙方都不成立，因此判斷短曝 光圖像的抖動(dòng)程度比較小。另一方面，圖15(c)的短曝光圖像，在垂直 方向有比較大的抖動(dòng)。因此，如果對(duì)圖15(a)的通常曝光圖像及圖15(c) 的短曝光圖像進(jìn)行上述的抖動(dòng)程度推斷，上述不等式(B-10)成立，因此 判斷短曝光圖像的抖動(dòng)程度比較大。
第二推斷方法
下面說明第二推斷方法。在第二推斷方法中，根據(jù)通常曝光圖像和 短曝光圖像之間的位置偏差量推斷短曝光圖像的抖動(dòng)程度。下面進(jìn)行更 具體地說明。
如公知的那樣，當(dāng)不同時(shí)刻拍攝2張圖像時(shí)，有可能在兩圖像之間 產(chǎn)生因手抖動(dòng)等引起的位置偏差。在采用第二推斷方法的情況下，校正 控制部52，根據(jù)通常曝光圖像和短曝光圖像的圖像數(shù)據(jù)計(jì)算出兩圖像 之間的位置偏差量，并對(duì)該位置偏差量的大小與預(yù)先設(shè)定的位置偏差的 閾值進(jìn)行比較。然后，在前者比后者大的情況下，推斷短曝光圖像的抖動(dòng)程度比較大。在這種情況下，不可實(shí)行抖動(dòng)校正處理。另一方面，在 前者比后者小的情況下，推斷短曝光圖像的抖動(dòng)程度比較小。在這種情 況下，可以實(shí)行抖動(dòng)校正處理。
位置偏差量是包含水平成分及垂直成分的二維量，用所謂動(dòng)態(tài)矢量 來表現(xiàn)。與位置偏差的閾值相比較的位置偏差量的大小(換句話說就是 動(dòng)態(tài)矢量的大小)，當(dāng)然是一維量。位置偏差量，可用代表點(diǎn)匹配法或 塊匹配法等計(jì)算出來。
關(guān)注作用于攝像裝置1的手抖動(dòng)量，補(bǔ)充說明第二推斷方法的意
義。圖16(a)表示當(dāng)通常曝光圖像和短曝光圖像之間的位置偏差量比較
小的情況下手抖動(dòng)量的情況。作用于通常曝光圖像的曝光期間中的瞬間 手抖動(dòng)量的累計(jì)值為對(duì)通常曝光圖像整體的手抖動(dòng)量，作用于短曝光圖 像的曝光期間中的瞬間手抖動(dòng)量的累計(jì)值為對(duì)短曝光圖像整體的手抖 動(dòng)量。如果對(duì)短曝光圖像整體的手抖動(dòng)量增大，短曝光圖像上的抖動(dòng)程 度也就增大。
由于直到兩張圖像的拍攝完成為止的時(shí)間很短(例如，0.1秒左右)， 因此從兩張圖像開始拍攝時(shí)刻到拍攝完成時(shí)刻為止作用的手抖動(dòng)量可 大致假定為固定。這樣做的話，通常曝光圖像和短曝光圖像之間的位置 偏差量，就近似為作用于通常曝光圖像的曝光期間的中間時(shí)刻和短曝光 圖像的曝光期間的中間時(shí)刻之間的瞬間手抖動(dòng)量的累計(jì)值。因此，如圖 16(b)所示，在所求得的位置偏差量大的情況下，可以推測(cè)作用于短曝光 圖像的曝光期間中的瞬間手抖動(dòng)量的累計(jì)值也大(即，對(duì)短曝光圖像整 體的手抖動(dòng)量也大)，如圖16(a)所示，在所求得的位置偏差量小的情況 下，可以推測(cè)作用于短曝光圖像的曝光期間中的瞬間手抖動(dòng)量的累計(jì)值 也小(即，對(duì)短曝光圖像整體的手抖動(dòng)量也小)。
第三推斷方法
下面說明第三推斷方法。在第三推斷方法中，用通常曝光圖像和短 曝光圖像的圖像數(shù)據(jù)進(jìn)行推斷，根據(jù)通常曝光圖像的圖像惡化函數(shù)，推 斷短曝光圖像的抖動(dòng)程度。
說明第三推斷方法的原理。通常曝光圖像和短曝光圖像的觀測(cè)模 式，可由下列公式(C-l)及(C-2)表現(xiàn)。
34g1 *f\ +^ …(c一 i)
g2-h f!+n2 …(C-2)
在這里，g，及g2分別表示通過實(shí)際拍攝所得的通常曝光圖像及短 曝光圖像，h,及h2分別表示通過實(shí)際拍攝所得的通常曝光圖像及短曝
光圖像的圖像惡化函數(shù)，n,及n2分別表示通過實(shí)際拍攝所得的、包含 在通常曝光圖像和短曝光圖像內(nèi)的觀測(cè)噪聲成分。fi表示既沒有抖動(dòng)引 起的惡化也沒有噪聲影響的理想圖像。假設(shè)通常曝光圖像及短曝光圖像 沒有抖動(dòng)且沒有噪聲的影響，g,及g2與fi等價(jià)。所謂圖像惡化函數(shù)，具 體如點(diǎn)擴(kuò)展函數(shù)(Point Spread Function)。另外，在公式(01)等的*標(biāo)記， 表示巻積積分。例如，h^fl表示h,和f的巻積積分。
為了把圖像以二維的矩陣表現(xiàn)，要把圖像惡化函數(shù)也以二維矩陣表 現(xiàn)。圖像惡化函數(shù)的特性，原則上矩陣表現(xiàn)圖像惡化函數(shù)時(shí)的各元素全 部取0以上1以下的值且所有元素的合計(jì)值為1。
在假定沒有基于短曝光圖像抖動(dòng)的惡化的情況下，就可以把下列公 式(C-3)表達(dá)的評(píng)價(jià)數(shù)值J最小化的h,'作為通常曝光圖像的圖像惡化函 數(shù)進(jìn)行推斷。稱h,'為推斷圖像惡化函數(shù)。評(píng)價(jià)值J是(g,-h^g2)的范數(shù) (norm)的平方。
JHIgi一h，g2『 ...(c一3)
這時(shí)，在短曝光圖像內(nèi)真的沒有包含抖動(dòng)的情況下，因觀測(cè)噪聲的 影響在推斷圖像惡化函數(shù)h卩里有負(fù)值的元素存在，但該負(fù)值的合計(jì)值 的大小很小。在圖17中，在曲線圖241上表示通常曝光圖像的象素值 分布，在短曝光圖像不包含抖動(dòng)的情況下，在曲線圖242上表示短曝光 圖像的象素值分布。然后，在曲線圖243上表示從對(duì)應(yīng)曲線圖241及 242的兩張圖像求得的推斷圖像惡化函數(shù)h,'的元素值的分布。在曲線圖 241 243及后述的曲線圖244及245中，橫軸對(duì)應(yīng)空間方向。另外， 考慮曲線圖241 245時(shí)，為了方便起見，考慮各圖像是一維圖像。從 曲線圖243也可知，推斷圖像惡化函數(shù)ln'的負(fù)值的合計(jì)值的大小很小。
另一方面，在短曝光圖像內(nèi)包含抖動(dòng)的情況下，推斷圖像惡化函數(shù)h卩受到短曝光圖像的圖像惡化函數(shù)的影響，如以下公式(C-4)所示，接近 通常曝光圖像的真正圖像惡化函數(shù)^與短曝光圖像的圖像惡化函數(shù)的 逆函數(shù)h2—i的巻積積分。在短曝光圖像包含抖動(dòng)的情況下，由于在逆函 數(shù)h2—'里有負(fù)值的元素存在，與短曝光圖像不包含抖動(dòng)的情況相比，在 推斷圖像惡化函數(shù)h,'里有比較大量的負(fù)值的元素存在，另外，該數(shù)值 的絕對(duì)值變得比較大。這樣，推斷圖像惡化函數(shù)h,'的負(fù)值的合計(jì)值的 大小，與短曝光圖像不包含抖動(dòng)的情況相比，短曝光圖像包含抖動(dòng)的情 況也會(huì)變大。
hi'—h承h2一1 …(C— 4)
圖17中的曲線圖244，表示在短曝光圖像內(nèi)包含抖動(dòng)的情況下短 曝光圖像的象素值分布，曲線圖245表示對(duì)應(yīng)曲線圖241及244從通常 曝光圖像及短曝光圖像求得的推斷圖像惡化函數(shù)h,'的元素值的分布。
根據(jù)上述原理，實(shí)際按以下進(jìn)行處理。首先，校正控制部52，根 據(jù)通常曝光圖像及短曝光圖像的圖像數(shù)據(jù)，導(dǎo)出使評(píng)價(jià)值J最小化的推 斷圖像惡化函數(shù)h,。作為該導(dǎo)出方法可以用公知的任意方法。實(shí)際上 采用第一推斷方法的說明文中敘述的手法，從通常曝光圖像及短曝光圖 像提取第一及第二評(píng)價(jià)圖像(參照?qǐng)D9的步驟S51)，將提取的第一評(píng)價(jià)
圖像及第二評(píng)價(jià)圖像分別作為g,及g2掌握之后，導(dǎo)出用于使上述公式
(C-3)的評(píng)價(jià)數(shù)值J最小化的推斷圖像惡化函數(shù)h,'。如上所述，推斷圖 像惡化函數(shù)h,'以二維矩陣表現(xiàn)。
校正控制部52，參照矩陣表現(xiàn)時(shí)的推斷圖像惡化函數(shù)h,'的各元素 的值(所有元素的值)，在參照值內(nèi)，提取偏離規(guī)定的數(shù)值范圍的數(shù)值。 在這種情況下，這個(gè)數(shù)值范圍的上限數(shù)值是比l大得多的值，下限值為 0。 g口，在參照值內(nèi)，只提取有負(fù)值的值。校正控制部52，對(duì)這里提取 的負(fù)值全部合計(jì)求合計(jì)值，把該合計(jì)值的絕對(duì)值與預(yù)先設(shè)定的閾值RTH 進(jìn)行比較。然后，在前者比后者(Rth)大的情況下，就判斷為短曝光圖像 的抖動(dòng)程度比較大。在這種情況下，不可實(shí)行抖動(dòng)校正處理。另一方面， 在前者比后者(Rth)小的情況下，就判斷為短曝光圖像的抖動(dòng)程度比較 小。在這種情況下，可以實(shí)行抖動(dòng)校正處理。另外，考慮到噪聲的影響， 可以把閾值Rra設(shè)定為例如0.1左右。
36實(shí)施方式4
下面說明實(shí)施方式4。在實(shí)施方式4中對(duì)可應(yīng)用于實(shí)施方式1 實(shí) 施方式3的、基于校正對(duì)象圖像和參照?qǐng)D像的抖動(dòng)校正處理方法進(jìn)行說 明。即，可將這個(gè)方法，如圖4、圖7及圖8所示用于步驟S9的抖動(dòng) 校正處理。校正對(duì)象圖像和參照?qǐng)D像的圖像尺寸相同。在實(shí)施方式4中， 分別導(dǎo)入Lw、 Rw及Qw，作為表示校正對(duì)象圖像的整體圖像、參照?qǐng)D 像的整體圖像及抖動(dòng)校正圖像的整體圖像的標(biāo)記。
作為抖動(dòng)校正處理的方法，下面舉例說明第一 第四校正方法。第 一、第二、第三校正方法，分別是基于圖像還原處理、圖像合成處理、 圖像鮮明化處理的校正方法。第四校正方法也是利用圖像合成處理的校 正方法，但其內(nèi)容與第二校正方法有差異(詳細(xì)內(nèi)容可從后述的說明理 解)。在以下的記述中，在單說"存儲(chǔ)器"的情況下，意思是內(nèi)部存儲(chǔ) 器14(參照?qǐng)D1)。
第一校正方法
參照?qǐng)D18說明第一校正方法。圖18是表示基于第一校正方法的抖 動(dòng)校正處理流程的流程圖。
首先，在步驟S71中，從校正對(duì)象圖像Lw中提取有特征的小區(qū)域， 并把所提取的小區(qū)域內(nèi)的圖像作為小圖像Ls存儲(chǔ)在存儲(chǔ)器上。例如， 用哈里斯(Harris)的拐角檢測(cè)器對(duì)128X128象素的小區(qū)域作為有特征的 小區(qū)域進(jìn)行提取。有特征的小區(qū)域的意思如實(shí)施方式2所述。
接著，在步驟S72中，從參照?qǐng)D像Rw提取從校正對(duì)象圖像Lw提 取的小區(qū)域相對(duì)應(yīng)的小區(qū)域，并把從參照?qǐng)D像Rw提取的小區(qū)域內(nèi)的圖 像作為小圖像Rs存儲(chǔ)在存儲(chǔ)器上。小圖像Ls和小圖像Rs的圖像尺寸 相等。在可忽視校正對(duì)象圖像Lw與參照?qǐng)D像Rw之間的位置偏差的情 況下，進(jìn)行小區(qū)域的提取，使從校正對(duì)象圖像Lw提取的小圖像Ls的 中心坐標(biāo)(校正對(duì)象圖像Lw內(nèi)的中心坐標(biāo))與從參照?qǐng)D像Rw提取的小 圖像Rs的中心坐標(biāo)(參照?qǐng)D像Rw內(nèi)的中心坐標(biāo))相等。在不能忽視該位 置偏差的情況下，也可以利用模板匹配法等進(jìn)行對(duì)應(yīng)小區(qū)域的尋找。即， 例如把小圖像Ls作為模板，用公知的模板匹配法，從參照?qǐng)D像Rw內(nèi) 尋找與該模板的類似度最高的小區(qū)域，并把找到的小區(qū)域內(nèi)的圖像作為小圖像Rs。
因參照?qǐng)D像Rw的曝光時(shí)間比較短而ISO靈敏度比較高，因此小圖 像Rs的SN比較低。所以，在步驟S73中，對(duì)小圖像Rs用中值濾波等 進(jìn)行消除噪聲處理。把消除噪聲處理后的小圖像Rs作為小圖像Rs'存儲(chǔ) 在存儲(chǔ)器上。另外，也可以省略這個(gè)消除噪聲處理。
通過把上述所得的小圖像Ls作為惡化圖像且把小圖像Rs'作為初期 復(fù)原圖像進(jìn)行處理之后(步驟S74)，在步驟S75中實(shí)施傅立葉反復(fù)法， 來求出表示基于小圖像Ls抖動(dòng)的惡化狀態(tài)的圖像惡化函數(shù)。
在實(shí)施傅立葉反復(fù)法時(shí)，需要賦予初期的復(fù)原圖像(復(fù)原圖像的初 始值)，將該初期的復(fù)原圖像稱為初期復(fù)原圖像。
作為圖像惡化函數(shù)，求點(diǎn)擴(kuò)展函數(shù)(Point Spread Function;以下稱為 PSF)。由于手抖動(dòng)對(duì)圖像整體帶來相同的惡化，因此對(duì)小圖像Ls求得 的PSF，可以作為對(duì)校正對(duì)象圖像Lw整體的PSF加以利用。
傅立葉反復(fù)法是從含惡化的惡化圖像中，取得消除或降低了惡化的 復(fù)原圖像的手法(參照G. R. Ayers and J. C. Dainty, "Iterative blind deconvolution method and its applications", OPTICS LETTERS, 1988年， Vol.13, No.7,p.547-549)。對(duì)這個(gè)傅立葉反復(fù)法，參照?qǐng)D19及圖20進(jìn)行 詳細(xì)說明。圖19，是圖18的步驟S75處理的詳細(xì)流程圖。圖20是存 在于圖3的抖動(dòng)校正處理部53內(nèi)的實(shí)施傅立葉反復(fù)法部位的框圖。
首先，在步驟S101中，把復(fù)原圖像設(shè)為f，對(duì)這個(gè)復(fù)原圖像f設(shè)定 初期復(fù)原圖像。S卩，作為初期的復(fù)原圖像f使用小圖像Rs'。接著，在 步驟S102中，把惡化圖像(即，小圖像Ls)設(shè)為g。然后，把做了傅立 葉變換的惡化圖像g作為G存儲(chǔ)在存儲(chǔ)器上(步驟S103)。例如，在初 期復(fù)原圖像及惡化圖像的圖像尺寸為128X 128象素的情況下，f及g可 作為有128X 128的矩陣尺寸的矩陣進(jìn)行表現(xiàn)。
接著，在步驟S110中，求把復(fù)原圖像f進(jìn)行了傅立葉變換的F'， 而且在步驟Slll中，由下列公式(D-1)計(jì)算出H。 H相當(dāng)于對(duì)PSF進(jìn)行 了傅立葉變換的值。在公式(D-1)中，F(xiàn)^是F的共軛復(fù)數(shù)矩陣，oc是常 數(shù)。接著，在步驟SU2中，通過對(duì)H進(jìn)行逆傅立葉變換，得到PSF。 把這里所得的PSF作為h。接著，在步驟SU3中，對(duì)PSFh以下列公 式(D-2a)的限制條件進(jìn)行修正后，再以公式(D-2b)的限制條件進(jìn)行修正。
MX力-^(義，力
o
0"(乂，力S1 …(D—2 a)
…(D— 2 b)
由于PSF h作為2維的矩陣表現(xiàn)，所以這個(gè)矩陣的各元素以h(x， y)表示。PSF的各元素，本來應(yīng)該取0以上且1以下的值。因此，在步 驟S113中，判斷PSF的各元素是否是O以上且1以下，如果是0以上 且1以下的元素的值就保持不動(dòng)，在有比1大的元素的情況下就把該元 素的值修改為l，且，在有比O小的元素的情況下就把該元素的值修改 為0。這是通過公式(D-2a)的限制條件進(jìn)行的修正。然后，正規(guī)化PSF， 使這個(gè)修正后的PSF的各元素的總和為1。該正規(guī)化是通過公式(D-2b) 的限制條件進(jìn)行的修正。
把通過公式(D-2a)及(D-2b)的限制條件修正的PSF作為h'。 接著，在步驟S114中，求把PSF h'進(jìn)行了傅立葉變換的H'，而且 在步驟S115中，由下列公式(D-3)計(jì)算出F。 F相當(dāng)于對(duì)復(fù)原圖像f進(jìn) 行傅立葉變換的值。在公式(D-3)中，H^是H'的共軛復(fù)數(shù)矩陣，(3是常 數(shù)。
F=_^!_ …(D—3) l"1 +p
接著在步驟S116中，通過對(duì)F進(jìn)行逆傅立葉變換，取得復(fù)原圖像, 把在這里所得到的復(fù)原圖像作為f。接著在步驟S117中，把復(fù)原圖像 用下列公式(D-4)的限制條件迸行修正，并把修正后的復(fù)原圖像作為f 。
39/"力
255
/"力 0
0S/(jc,力5255 …(D—4)
由于復(fù)原圖像f作為2維的矩陣表現(xiàn)，所以這個(gè)矩陣的各元素用f(x， y)表示。現(xiàn)在，把惡化圖像及復(fù)原圖像的各圖像的象素值，用從0到255 的數(shù)字值表示。這樣，表示復(fù)原圖像f的矩陣的各元素(即，各象素值)， 本來就應(yīng)該取0以上且255以下的數(shù)值。因此，在步驟S117中，判斷 表示復(fù)原圖像f的矩陣的各元素是否是O以上且255以下，如果是0以 上且255以下的元素的數(shù)值就保持不變，另一方面在有比255大的元素 的情況下就把該元素的值修正為255，且，在有比0小的元素的情況下 就把該元素的數(shù)值修正為0。這樣，通過公式(D-4)的限制條件進(jìn)行修正。
接著在步驟S118中，通過判斷是否滿足收斂條件，進(jìn)行反復(fù)處理 的收斂判斷。
例如，把最新的F和1個(gè)以前所得的F的差分的絕對(duì)數(shù)值作為收斂 判斷的指標(biāo)使用。當(dāng)這個(gè)指標(biāo)是規(guī)定閾值以下的情況下，就判斷為滿足 收斂條件，另一方面在不是這樣的情況下，就判斷為不滿足收斂條件。
在滿足收斂條件的情況下，把進(jìn)行了逆傅立葉變換的最新的H'作為 最終的PSF。即，進(jìn)行了逆傅立葉變換的該最新的H'，就成為圖18的 步驟S75應(yīng)該求得的PSF。在不能滿足收斂條件的情況下，就回到步驟 SllO，重復(fù)步驟S110 S118的各項(xiàng)處理。在重復(fù)步驟S110 SU8的 各項(xiàng)處理中，依次更新最新的f、 F、 H， h， h'、 H'、 F及f(參照?qǐng)D20)。
作為收斂判斷的指標(biāo)，也可以采用其他的指標(biāo)。例如，把最新的 H'和1個(gè)以前所得的H'的差分的絕對(duì)值作為收斂判斷的指標(biāo)，也可以判 斷上述的收斂條件成立/不成立。又例如，把采用上述公式(D-2a)及(D-2b) 的步驟S113的修正量，或采用公式(D-4)的步驟S117的修正量作為收 斂判斷的指標(biāo)使用，也可以判斷上述收斂條件的成立/不成立。這是因 為只要趨向收斂地進(jìn)行反復(fù)處理，那些修正量就會(huì)變小。
另外，在由步驟S110 S118形成的循環(huán)處理的重復(fù)次數(shù)達(dá)到規(guī)定 次數(shù)的情況下，也可以判斷為不可收斂，不用計(jì)算出最終的PSF而結(jié)束 處理。在這種情況下，就不進(jìn)行校正對(duì)象圖像Lw的校正?；氐綀D18的各步驟的說明。在步驟S75中，計(jì)算出PSF之后，移 動(dòng)到步驟S76。在步驟S76中，把步驟S75中求得的PSF的逆矩陣的各 元素作為圖像還原濾波器的各濾波系數(shù)。這個(gè)圖像還原濾波器，是為了 從惡化圖像中獲得復(fù)原圖像的濾波器。實(shí)際上，由于相當(dāng)于上述公式 (D-3)右邊的一部分的由下列公式(D-5)所表示的矩陣的各元素，相當(dāng)于 圖像還原濾波器的各濾波系數(shù)，所以可直接利用步驟S75中傅立葉反復(fù) 法的計(jì)算過程中的結(jié)果。但在公式(D-5)中的H^及H'是在步驟SU8的 收斂條件剛剛成立之前所得的！1'*及H'(即，最終所得的11'*及H')。
在步驟S76中求得圖像還原濾波器的各濾波系數(shù)之后，移動(dòng)到步驟 S77，用這個(gè)圖像還原濾波器對(duì)校正對(duì)象圖像Lw的整體進(jìn)行濾波(空間 濾波)。即，使擁有求得了各濾波系數(shù)的圖像還原濾波器應(yīng)用于對(duì)象圖 像Lw的各象素，并對(duì)校正對(duì)象圖像Lw進(jìn)行濾波。由此，生成降低了 校正對(duì)象圖像Lw中含有的抖動(dòng)的濾波圖像。圖像還原濾波器的尺寸比 校正對(duì)象圖像Lw的圖像尺寸小，但由于考慮到手抖動(dòng)對(duì)圖像整體同樣 會(huì)帶來惡化，因此通過使這個(gè)圖像還原濾波器應(yīng)用于校正對(duì)象圖像Lw 的整體，從而降低矯對(duì)象圖像Lw整體的抖動(dòng)。
在濾波圖像中，含有伴隨濾波的沖擊激勵(lì)(ringing)。因此，在步 驟S78中，通過對(duì)濾波圖像實(shí)施為了把其清除的沖擊激勵(lì)清除處理而生 成最終的抖動(dòng)校正圖像Qw。由于清除沖擊激勵(lì)的手法是公知的，所以 省略了詳細(xì)說明。作為其手法，也可以采用例如特開2006-129236號(hào)公 報(bào)所記載的手法。
抖動(dòng)校正圖像Qw，為降低了校正對(duì)象圖像Lw中所含有的抖動(dòng)且 降低了伴隨濾波的沖擊激勵(lì)的圖像。但，因?yàn)闉V波圖像也是降低了抖動(dòng) 的圖像，所以也可把濾波圖像作為抖動(dòng)校正圖像Qw進(jìn)行掌握。
由于參照?qǐng)D像Rw中含有的抖動(dòng)量少，所以其邊緣成分，接近沒有 手抖動(dòng)的理想圖像的邊緣成分。因此，如上所述，把從這個(gè)參照?qǐng)D像 Rw所得的圖像作為傅立葉反復(fù)法的初期復(fù)原圖像。通過重復(fù)進(jìn)行傅立葉反復(fù)法的循環(huán)處理，復(fù)原圖像(f)慢慢接近盡量 去除了手抖動(dòng)的圖像，但因?yàn)槌跗趶?fù)原圖像本身已經(jīng)接近沒有手抖動(dòng)的 圖像，與以往那樣把雜亂圖像或惡化圖像作為初期復(fù)原圖像相比收斂加 快(最短是1個(gè)循環(huán)處理就進(jìn)行收斂)。其結(jié)果，縮短了抖動(dòng)校正處理必 要的PSF和圖像還原濾波器的各濾波系數(shù)計(jì)算用的處理時(shí)間。另外，如 果與初期復(fù)原圖像應(yīng)收斂的圖像相差太遠(yuǎn)，在局部(與真正應(yīng)收斂的圖 像不同的圖像)收斂的概率變高了 ，但通過如上述那樣設(shè)定初期復(fù)原圖 像，在局部收斂的概率就會(huì)降低(即，在手抖動(dòng)校正中失敗的概率降低)。
另外，由于考慮到手抖動(dòng)同樣對(duì)圖像整體帶來惡化，所以從各圖像 提取小區(qū)域并從各個(gè)小區(qū)域的圖像數(shù)據(jù)計(jì)算PSF及圖像還原濾波器的 濾波系數(shù)，使其應(yīng)用于圖像整體。由此，降低了必要的運(yùn)算量，縮短了
PSF及圖像還原濾波器的各濾波系數(shù)計(jì)算用的處理時(shí)間及抖動(dòng)校正用
的處理時(shí)間。當(dāng)然，還有望取得縮小必要的電路規(guī)模和與之相伴的降低 成本的效果。
這時(shí)，如上所述使其自動(dòng)提取大量包含邊緣成分的有特征的小區(qū)
域。由于PSF的計(jì)算出的原圖像中的邊緣成分增大，意味著對(duì)噪聲成分 的信號(hào)成分的比例增大，因此通過提取有特征的小區(qū)域使雜音的影響變 小，從而就能更正確地檢測(cè)出PSF。
另外，在圖19的處理中，通過由對(duì)在空間區(qū)域上的惡化圖像g及 復(fù)原圖像f進(jìn)行傅立葉變換來轉(zhuǎn)換到頻域上，從而求得表示頻域上的惡 化圖像g的函數(shù)G及表示頻域上的復(fù)原圖像f的函數(shù)F(另外，所謂頻 域當(dāng)然是二維的頻域)。從求得的函數(shù)G及F'求出表示頻域上的PSF的 函數(shù)H，并把這個(gè)函數(shù)H通過逆傅立葉變換轉(zhuǎn)換成空間區(qū)域上的函數(shù)， 即PSFh。把這個(gè)PSFh，用規(guī)定的限制條件進(jìn)行修正，求得修正后的 PSFh'。修正該P(yáng)SF的處理，以下稱為"第一修正處理"。
把PSF h'通過傅立葉變換再次轉(zhuǎn)換到頻域上，求函數(shù)H'，從函數(shù) H'和函數(shù)G求表示頻域上的表示復(fù)原圖像的函數(shù)F。把這個(gè)函數(shù)F通過 逆傅立葉變換取得空間區(qū)域上的復(fù)原圖像f，并把這個(gè)復(fù)原圖像f用規(guī) 定的限制條件進(jìn)行修正，求修正后的復(fù)原圖像f。修正該復(fù)原圖像的處 理，以下稱為"第二修正處理"。在上述例子中，敘述了此后直到圖19的步驟S118中滿足收斂條件
為止，用修正后的復(fù)原圖像f反復(fù)進(jìn)行上述處理。另外，還敘述了考慮 到反復(fù)處理越趨向收斂修正量就會(huì)越小的特性，這個(gè)收斂條件的成立/
不成立，也可以根據(jù)對(duì)應(yīng)第一修正處理的步驟S113中的修正量，或?qū)?應(yīng)第二修正處理的步驟S117中的修正量進(jìn)行判斷。在這個(gè)判斷是根據(jù) 修正量進(jìn)行的情況下，就預(yù)先設(shè)定標(biāo)準(zhǔn)修正量，將步驟S113中的修正 量或步驟S117的修正量與標(biāo)準(zhǔn)修正量進(jìn)行比較，在前者比后者小的情 況下就判斷為收斂條件成立，但如果把標(biāo)準(zhǔn)修正量設(shè)定得充分大，就不 反復(fù)實(shí)行步驟S110 S117的處理。總之，在這種情況下，只進(jìn)行l(wèi)次 第一修正處理所得的PSF h'，就成為圖18的步驟S75中應(yīng)導(dǎo)出的最終 的PSF。這樣，即使采用了圖19的處理，也未必反復(fù)實(shí)行第一及第二 修正處理。
第一及第二修正處理反復(fù)實(shí)行次數(shù)的增大，有助于提高最終所求的 PSF的精度，但因?yàn)楸纠某跗趶?fù)原圖像本身已經(jīng)接近沒有手抖動(dòng)圖 像，所以只進(jìn)行1次第一修正處理所得的PSFh'的精度實(shí)用上也高到?jīng)] 有問題的程度?？紤]到此也可以省略步驟S118的判斷處理本身。在這 種情況下，通過只實(shí)行1次步驟S113的處理，所求的PSF h'就成為圖 18的步驟S75應(yīng)導(dǎo)出的最終的PSF，從由只實(shí)行1次步驟S114的處理 所求的函數(shù)H'，求出圖18的步驟S76應(yīng)導(dǎo)出的圖像還原濾波器的各濾 波系數(shù)。因此，在省略步驟S118處理的情況下，也要舍棄步驟S115 S117的處理。
第二校正方法
下面參照?qǐng)D21及圖22，說明第二校正方法。圖21是表示基于第 二校正方法的抖動(dòng)校正處理的流程的流程圖。圖22是表示這個(gè)抖動(dòng)校 正處理的流程的概念圖。
通過攝像部11拍攝所得的圖像，為包含亮度相關(guān)信息和顏色相關(guān) 信息的彩色圖像。因此，形成校正對(duì)象圖像Lw的各象素的象素信號(hào)， 由表示象素亮度的亮度信號(hào)與表示象素顏色的顏色信號(hào)形成?，F(xiàn)在，以 YUV形式表現(xiàn)各象素的象素信號(hào)。在這種情況下，顏色信號(hào)由2個(gè)色 差信號(hào)U及V形成。然后，形成校正對(duì)象圖像Lw的各象素的象素信
43號(hào)，由表示象素亮度的亮度信號(hào)Y與表示象素顏色的2個(gè)色差信號(hào)U 及V形成。
這樣，校正對(duì)象圖像Lw，如圖22所示，可以分解為作為象素信 號(hào)只含有亮度信號(hào)Y的圖像Lwy、作為象素信號(hào)只含有色差信號(hào)U的 圖像Lwu、作為象素信號(hào)只含有色差信號(hào)V的圖像Lwv。同樣，參照 圖像Rw也可以分解為作為象素信號(hào)只含有亮度信號(hào)Y的圖像Rwy、 作為象素信號(hào)只含有信號(hào)色差信號(hào)U的圖像Rwu、作為象素信號(hào)只含 有色差信號(hào)V的圖像Rwv(圖22中，僅圖示圖像RWY)。
在圖21的步驟S201中，首先，通過提取校正對(duì)象圖像Lw的亮度 信號(hào)及色差信號(hào)，生成圏像Lwy、 Lwu及Lwv。在緊接著的步驟S202 中，通過提取參照?qǐng)D像Rw的亮度信號(hào)，生成團(tuán)像Rwy。
因參照?qǐng)D像Rw的曝光時(shí)間比較短，ISO靈敏度比較高，因此圖像 Rwy的SN比較低。所以，在步驟S203中，采用中值濾波等對(duì)圖像RwY
實(shí)施消除噪聲處理。消除噪聲處理后的圖像RWY作為圖像RWY'存儲(chǔ)在
存儲(chǔ)器上。另外，也可以省略這個(gè)消除噪聲處理。
此后，在步驟S204中，通過比較圖像LwY的象素信號(hào)和圖像RwV
的象素信號(hào)，計(jì)算出圖像LWY與圖像RWy'之間的位置偏差量AD。位置
偏差量AD是包含水平成分及垂直成分的二維量，作為所謂動(dòng)態(tài)矢量表 現(xiàn)。位置偏差量AD的計(jì)算，可以采用公知的代表點(diǎn)匹配法和模板匹配 法進(jìn)行。例如，把從圖像LWY提取的小區(qū)域內(nèi)的圖像作為模板，用模
板匹配法，從圖像RwV內(nèi)尋找與該模板的類似度最高的小區(qū)域。然后， 作為位置偏差量AD算出所找出的小區(qū)域的位置(圖像Rwy'上的位置)
與從圖像LWY提取的小區(qū)域的位置(圖像LWY上的位置)的偏差量。另外， 最好把應(yīng)從圖像LWY提取的小區(qū)域，作為如上所述的有特征的小區(qū)域。
把圖像Lwy作為標(biāo)準(zhǔn)考慮，位置偏差量AD是相對(duì)圖像Lwy的圖
像RWy'的位置偏差量。圖像RWy'，可以看作是以圖像LWY為標(biāo)準(zhǔn)僅產(chǎn)
生相當(dāng)于位置偏差量AD的位置偏差圖像。所以，在步驟S205中，為 了消除這個(gè)位置偏差量AD而對(duì)圖像RWY'實(shí)施坐標(biāo)變換(仿射變換等)， 來校正圖像Rwy'的位置偏差。位于位置偏差校正前的圖像Rwy'內(nèi)的坐 標(biāo)(x+ADx， y+ADy)的象素，通過位置偏差校正轉(zhuǎn)換為位于坐標(biāo)(x， y)
44的象素。ADx及ADy分別是AD的水平成分及垂直成分。
在步驟S205中，進(jìn)一步把圖像Lwu及Lwv與校正位置偏差后的圖 像Rwy'合成，把通過這個(gè)合成所得的圖像作為抖動(dòng)校正圖像Qw輸出。 位于抖動(dòng)校正圖像Qw內(nèi)的坐標(biāo)(x， y)的象素的象素信號(hào)，由位于坐標(biāo) (x， y)的圖像Lwu內(nèi)的象素的象素信號(hào)、位于坐標(biāo)(x， y)的圖像Lwv內(nèi) 的象素的象素信號(hào)以及位于坐標(biāo)(x， y)的位置偏差校正后的圖像RwV 內(nèi)的象素的象素信號(hào)形成。
在彩色圖像中，看上去的抖動(dòng)主要由亮度的抖動(dòng)引起，如果亮度的 邊緣成分接近沒有抖動(dòng)的理想圖像，觀察者就會(huì)感到抖動(dòng)少。因此，在 本校正方法中，通過把抖動(dòng)量較少的參照?qǐng)D像Rw的亮度信號(hào)與校正對(duì) 象圖像Lw的顏色信號(hào)合成而得到模擬的手抖動(dòng)校正效果。根據(jù)這種方 法，邊緣附近會(huì)產(chǎn)生顏色偏差，但能以很低的計(jì)算成本生成看上去抖動(dòng) 少的圖像。
第三校正方法
下面參照?qǐng)D23及圖24，對(duì)第三校正方法進(jìn)行說明。圖23是表示 基于第三校正方法的抖動(dòng)校正處理的流程的流程圖。圖24是表示抖動(dòng) 校正處理流程的概念圖。
首先，在步驟S221中，通過從校正對(duì)象圖像Lw提取有特征的小 區(qū)域而生成小圖像Ls，在步驟S222中，通過從參照?qǐng)D像Rw提取對(duì)應(yīng) 小圖像Ls的小區(qū)域而生成小圖像Rs。這個(gè)步驟S221及S222的處理， 與圖18的步驟S71及S72的處理相同。在接下來的步驟S223中，對(duì) 小圖像Rs用中值濾波等實(shí)施消除噪聲處理。消除噪聲處理的小圖像Rs 作為小圖像Rs'存儲(chǔ)在存儲(chǔ)器上。另外，也可以省略這個(gè)消除噪聲處理。
接著，在步驟S224中，通過用互不相同的8種平滑濾波器，對(duì)小 圖像Rs'進(jìn)行濾波，生成平滑程度不同的8個(gè)平滑小圖像RscH， RS(i2，…， RsG8。現(xiàn)在，作為8個(gè)平滑濾波器采用8個(gè)互不相同的高斯濾波器，由 各個(gè)高斯濾波器表現(xiàn)的高斯分布的分散用o 2表示。
如一般所知，關(guān)注一維圖像，在該一維圖像上的象素位置用x表示 的情況下，平均為0且分散為o 2的高斯分布由下列公式(E-1)表示(參照 圖25)。如果這個(gè)高斯分布應(yīng)用于高斯濾波器，高斯濾波器的各濾波系數(shù)就用hg(X)表示?？傊?，當(dāng)高斯濾波器應(yīng)用于位置O的象素時(shí)，位置 X的濾波系數(shù)就用hg(X)表示。換句話說，由高斯濾波器濾波后的位置O 的象素值相對(duì)應(yīng)的、濾波前的位置X的象素值的貢獻(xiàn)率用hg(X)表示。
把這個(gè)想法擴(kuò)展到二維，在以(x， y)表示二維圖像的象素位置的情 況下，二維高斯分布由下列公式(E-2)表示。另外，x及y，分別表示水 平方向的位置及垂直方向的位置。如果這個(gè)二維高斯分布應(yīng)用于高斯濾 波器，高斯濾波器的各濾波系數(shù)就用hg(x， y)表示，當(dāng)高斯濾波器應(yīng)用 于位置(O， O)的象素時(shí)，在位置(x， y)的濾波系數(shù)就用hg (x， y)表示。 總之，由高斯濾波器濾波后的位置(O， O)的象素值相對(duì)應(yīng)的、濾波前的 位置(x， y)的象素值的貢獻(xiàn)率用hg(x， y)表示。
在步驟S224中，作為8個(gè)高斯濾波器，采用。=1， 3， 5， 7， 9， 11， 13，15的高斯濾波器。在緊接著的步驟S225中，在小圖像Ls與 各個(gè)平滑小圖像Rscn Rsc8之間進(jìn)行圖像匹配，在平滑小圖像Rscl Rs^內(nèi)，確定匹配誤差最小的平滑小圖像(即，與小圖像Ls的相關(guān)性最 高的平滑小圖像)。
關(guān)注平滑小圖像Rscp簡(jiǎn)單說明當(dāng)小圖像Ls與平滑小圖像Rsd進(jìn) 行對(duì)比時(shí)的匹配誤差(匹配剩余)的計(jì)算方法。小圖像Ls與平滑小圖像 RS(h的圖像尺寸相同，把其水平方向的象素?cái)?shù)及垂直方向的象素?cái)?shù)分別 設(shè)為Mw及nm(Mw及1^，是2以上的整數(shù))。在小圖像Ls內(nèi)的位置(x， y)的象素的象素值用VLs (x， y)表示，在平滑小圖像Rsw內(nèi)的位置(x， y)的象素的象素值用VRs (x， y)表示。(但，x及y，是満足0《x《Mn-1 且0《y《NN-l的整數(shù))。這樣，表示對(duì)比圖像間的SAD(Sum of Absolute Difference)的RSAD按照下列公式(E-3)算出，表示對(duì)比圖像間的SSD(Sum of Square Difference)的RSSD按照下列公式(E-4)算出。
hg(x，y)=NN-1 MN-1
rSAD= 2|>Ls(x,y)-V"x，y)l ... (e-3)
y=0 x=0 NN-1 MN—1
rssd= E iX"x,y)-v"x'y)}2 …(e一4)
y=0 X=0
把這個(gè)Rsad或RSSD，作為小圖像Ls與平滑小圖像Rsm之間的匹配 誤差。同樣也求出小圖像Ls與各個(gè)平滑小圖像Rs^ Rsc58之間的匹配 誤差，并確定匹配誤差最小的平滑小圖像?，F(xiàn)在，確定了作為對(duì)應(yīng)o-5 的平滑小圖像Rsc3。在步驟S225中，把與平滑小圖像Rs。對(duì)應(yīng)的o設(shè) 為o'。即，o'的值為5。
在接下來的步驟S226中，把用這個(gè)o'表示的高斯模糊作為表示校 正對(duì)象圖像Lw的惡化狀態(tài)的圖像惡化函數(shù)進(jìn)行處理，力求消除校正對(duì) 象圖像Lw的惡化。
具體地，在步驟S226中，通過根據(jù)ci'使校正對(duì)象圖像Lw的整體 應(yīng)用非銳度屏蔽(UnsharpMask)濾波器，去除校正對(duì)象圖像Lw的抖動(dòng)。 把應(yīng)用非銳度屏蔽濾波器前的圖像設(shè)為輸入圖像IinPUT，把應(yīng)用非銳度
屏蔽濾波器后的圖像設(shè)為輸出圖像I(xjtput，來說明非銳度屏蔽濾波器的
處理內(nèi)容。首先，作為非銳度屏蔽濾波器采用o'的高斯濾波器(g卩，o =5的高斯濾波器)，通過用這個(gè)o'的高斯濾波器對(duì)輸入圖像^WT進(jìn)行
濾波，生成模糊圖像lBLim。接著，通過從輸入圖像IlNPUT的各象素值減
去模糊圖像 的各象素值，生成輸入圖像 丄INPUT 與模糊圖像 之
間的差分圖像Idelta。最后，把通過對(duì)輸入圖像ImPUT的各象素值加上
差分圖像 1delta 的各象素值所得的圖像，作為輸出圖像 輸入圖 像I，ut和輸出圖像1ouTPUT的關(guān)系式表示為公式(E-5)。在公式(E-5)中，
(I證ut Gauss)表示用o '的高斯濾波器對(duì)輸入圖像IINPUT進(jìn)行濾波的結(jié) 果。
Ioutput=Iinput+Idelta
^I證ut+(Iinput-Iblur) =Iinput+(Iinput-(Iinput. Gauss)).., (E- 5 ) 在步驟S226中，通過把校正對(duì)象圖像Lw作為輸入圖像I!nput處理，得到作為輸出圖像I()UTPUT的濾波圖像。然后，在步驟S227中，除去這
個(gè)濾波圖像的沖擊激勵(lì)并生成抖動(dòng)校正圖像Qw(步驟S227的處理，與 圖18的步驟S78的處理相同)。
通過釆用非銳度屏蔽濾波器，強(qiáng)調(diào)輸入圖像(IiNPUT)的邊緣，從而可
得到圖像鮮明的效果。但，如果模糊圖像(ImjR)生成時(shí)的模糊程度與輸 入圖像中含有的實(shí)際模糊量差異太大，就不能得到恰當(dāng)?shù)哪：Ｕ?果。例如，如果在模糊圖像生成時(shí)的模糊程度比實(shí)際的模糊量大，輸出 圖像(IomruT)，就會(huì)被極鮮明化，變成不自然的圖像。另一方面，如果 模糊圖像生成時(shí)的模糊程度比實(shí)際的模糊量小，則鮮明效果就會(huì)太弱。 在本校正方法中，作為非銳度屏蔽濾波器采用在o上規(guī)定模糊程度的高 斯濾波器，作為該高斯濾波器的o采用對(duì)應(yīng)圖像惡化函數(shù)的o'。因此， 可得到最合適的鮮明化效果，并取得良好地去除模糊的抖動(dòng)校正圖像。 即，可以生成在外觀上抖動(dòng)少的低計(jì)算成本的圖像。
圖26表示:與作為輸入圖像ImPUT的手抖動(dòng)圖像300 —起，采用最 合適的o的高斯濾波器的情況下所得的圖像(即，本來的抖動(dòng)校正圖 像)302;采用很小的o的高斯濾波器時(shí)所得的圖像301;采用很大的a的 高斯濾波器時(shí)所得的圖像303。由此明白。太小則鮮明化效果弱，o太 大就會(huì)生成極其鮮明化的不自然的圖像。
第四校正方法
下面對(duì)第四校正方法進(jìn)行說明。圖27(a)及(b)表示在第四校正方法 的說明中采用的參照?qǐng)D像Rw和校正對(duì)象圖像Lw的例子。圖27(a)及(b) 中的圖像310及311，分別是參照?qǐng)D像Rw和校正對(duì)象圖像Lw的例子。 參照?qǐng)D像310及校正對(duì)象圖像311，是以作為被關(guān)注的被照物的人物 SUB站立在背景被照物的山的前面的狀態(tài)而拍攝所得的圖像。
由于參照?qǐng)D像是基于短曝光圖像的圖像，所以含有比較多的噪聲。 因此，與校正對(duì)象圖像311相比，在參照?qǐng)D像310中，邊緣混入了被鮮 明地描繪的比較大的噪聲(對(duì)應(yīng)圖27(a)的黑色斑點(diǎn))。另一方面，與參照 圖像310相比，校正對(duì)象圖像311中含有的噪聲雖然少，但校正對(duì)象圖 像311上的人物SUB的抖動(dòng)很大。在圖27(a)及(b)中，設(shè)想在參照?qǐng)D像 310及校正對(duì)象圖像311的拍攝中人物SUB在移動(dòng)，由此與參照?qǐng)D像
48310上的人物SUB的位置進(jìn)行比較，校正對(duì)象圖像311上的人物SUB 位置偏右，與此同時(shí)校正對(duì)象圖像311上的人物SUB產(chǎn)生被照物抖動(dòng)。
另外，如圖28所示，定義配置任意的二維圖像320的空間區(qū)域 (spatial domain)的二維坐標(biāo)系XY。圖像320，例如，是校正對(duì)象圖像、 參照?qǐng)D像、抖動(dòng)校正圖像或后述的第一 第三中間生成圖像。X軸及Y 軸是沿二維圖像320的水平方向及垂直方向的軸。二維圖像320分別在 水平方向及垂直方向由多個(gè)象素按矩陣狀排列而形成，作為二維圖像 320上的任何一個(gè)象素的象素321的位置用(x， y)表示。(x， y)上的x 及y，分別是圖像321的X軸及Y軸方向的坐標(biāo)值。在二維坐標(biāo)系XY 中，如果某象素的位置向右側(cè)偏移了 1個(gè)象素則該象素在X軸方向的 坐標(biāo)值就增大1，如果某象素的位置向上偏移1個(gè)象素則該象素在Y軸 方向的坐標(biāo)值就增大l。因此，在象素321的位置為(x， y)的情況下， 象素321的右側(cè)、左側(cè)、上側(cè)及下側(cè)下相鄰的象素位置，分別表示為(x+l， y)、 (x-l， y)、 (x， y+l)及(x， y-l)。
圖29是在采用第四校正方法的情況下，圖3的抖動(dòng)校正處理部53 具有的圖像合成部150的內(nèi)部框圖。參照?qǐng)D像Rw及校正對(duì)象圖像Lw 的圖像數(shù)據(jù)，輸入給圖像合成部150。圖像數(shù)據(jù)表示圖像的顏色及亮度。
圖像合成部150，具備檢測(cè)出參照?qǐng)D像和校正對(duì)象圖像之間的位 置偏差，并對(duì)兩張圖像之間進(jìn)行對(duì)位的對(duì)位部151;降低參照?qǐng)D像所包 含的噪聲的噪聲降低部152;取對(duì)位后的校正對(duì)象圖像與噪聲降低后的
參照?qǐng)D像之間的差分，并算出各圖像位置的差分值的差分值計(jì)算部153;
以基于該差分值的合成比率，把對(duì)位后的校正對(duì)象圖像與噪聲降低后的
參照?qǐng)D像進(jìn)行合成的第一合成部154;從噪聲降低后的參照?qǐng)D像提取邊 緣，并計(jì)算出邊緣強(qiáng)度值的邊緣強(qiáng)度值計(jì)算部155;通過以基于邊緣強(qiáng)
度值的合成比率，把基于參照?qǐng)D像與第一合成部154的合成圖像進(jìn)行合 成，來生成抖動(dòng)校正圖像的第二合成部156。
對(duì)于圖像合成部150內(nèi)各部位的操作進(jìn)行詳細(xì)說明。另外，單獨(dú)說 參照?qǐng)D像時(shí)，是指未實(shí)施基于噪聲降低部152的噪聲降低處理的參照?qǐng)D 像Rw。圖27(a)舉例說明了的參照?qǐng)D像310，就是未實(shí)施基于噪聲降低 部152的噪聲降低的參照?qǐng)D像Rw。對(duì)位部151，根據(jù)參照?qǐng)D像及校正對(duì)象圖像的圖像數(shù)據(jù)檢測(cè)出參照 圖像與校正對(duì)象圖像之間的位置偏差，進(jìn)行參照?qǐng)D像及校正對(duì)象圖像之 間的對(duì)位，消除參照?qǐng)D像及校正對(duì)象圖像之間的位置偏差。基于對(duì)位部 151的位置偏差檢測(cè)方法及對(duì)位方法，可以采用代表點(diǎn)匹配法、塊匹配
法或傾斜法等實(shí)現(xiàn)。典型的例如，可以利用實(shí)施方式2敘述的對(duì)位方法。
這時(shí)，把參照?qǐng)D像作為標(biāo)準(zhǔn)圖像且把校正對(duì)象圖像作為非標(biāo)準(zhǔn)圖像處理 而進(jìn)行對(duì)位。所以，對(duì)校正對(duì)象圖像實(shí)施處理，該處理是對(duì)從參照?qǐng)D像 看到的校正對(duì)象圖像的位置偏差進(jìn)行校正。這個(gè)校正位置偏差后的校正 對(duì)象圖像(換句話說就是對(duì)位后的校正對(duì)象圖像)稱為第一中間生成圖 像。
噪聲降低部152，通過對(duì)參照?qǐng)D像實(shí)施噪聲降低處理，降低參照?qǐng)D 像所包含的噪聲。噪聲降低部152的噪聲降低處理，能通過適當(dāng)噪聲降 低的任意的空間濾波器來實(shí)現(xiàn)。在噪聲降低部152的空間濾波器中，最 好利用只保存成為邊緣的空間濾波器，例如，采用使用了中值濾波的空 間濾波器。
另外，噪聲降低部152的噪聲降低處理，也可以通過適當(dāng)噪聲降低 的任意的頻率濾波器來實(shí)現(xiàn)。在噪聲降低部152中利用頻率濾波器的情 況下，可以在參照?qǐng)D像中含有的空間頻率成分內(nèi)，使規(guī)定的截止頻率以 下的空間頻率成分通過且采用使該截止頻率以上的空間頻率成分降低 的低通濾波器。另外，即使通過采用了中值濾波等的空間濾波器，在參 照?qǐng)D像中含有的空間頻率成分內(nèi)的較低頻率的空間頻率成分仍然幾乎 原封不動(dòng)地被殘存下來，另一方面較高頻率的空間頻率成分被降低。所 以，也可以認(rèn)為使用中值濾波等的空間濾波器是基于低通濾波器的濾波 的一種。
基于噪聲降低部152的噪聲降低處理后的參照?qǐng)D像，稱為第二中間 生成圖像(第三圖像)。圖30表示通過對(duì)圖27(a)的參照?qǐng)D像310實(shí)施噪 聲降低處理所得的第二中間生成圖像312。把圖27(a)與圖30進(jìn)行比較 可知，在第二中間生成圖像312中，參照?qǐng)D像310中所含的噪聲被降低 了，同時(shí)與參照?qǐng)D像310相比，邊緣變得稍微不鮮明。
差分值計(jì)算部153，計(jì)算出第一中間生成圖像和第二中間生成圖像之間的各象素位置的差分值。象素位置(x， y)的差分值用DIF(x， y)表示。 差分值DIF(x， y)是表示在第一中間生成圖像的象素位置(x， y)上的象素 與在第二中間生成圖像的象素位置(x， y)上的象素之間的亮度及/或顏色 差的值。
差分值計(jì)算部153，例如根據(jù)下列公式(F-1)計(jì)算出差分值DIF(x， y)。在這里，PW(x， y)是在第一中間生成圖像的象素位置(x， y)上的象 素的亮度值，P2y(x， y)是在第二中間生成圖像的象素位置(x， y)上的象 素的亮度值。
DIF(x,y)HPly(x,y) —P2Y(x,y)| …(F-i)
也可以不用公式(F-1)，而是利用RGB形式的信號(hào)值，根據(jù)下列公 式(F-2)或公式(F-3)算出差分值DIF(x， y)。在這里，Pl"x， y)、 Pl。(x， 力及P1b(x， y)，分別是在第一中間生成圖像的象素位置(x， y)上的象素 的R、 G及B信號(hào)值，P2r(x， y)、 P2G (x， y)及P2B (x， y)，分別是在 第二中間生成圖像的象素位置(x， y)上的象素的R、 G及B信號(hào)值。某 象素的R、 G及B信號(hào)，是表示該象素的紅、綠及藍(lán)的強(qiáng)度的顏色信號(hào)。
DIF(x, y) H Pl r (x, y) — P2R (x, y) I +1P1G (x, y) — P2G (x, y) I (p
+ |PlB(x,y)-P2B(x,y)|
DIF(x，y) = [{PlR(x,y) —P2R(X，y)}2 + {PlG(X，y)-P2G(x,y)}2. (p + {PlB(x,y) —P2B(x，y)}2]1/2
基于上述公式(F-1)、公式(F-2)或公式(F-3)計(jì)算差分值DIF(x， y)的 方法只不過是個(gè)舉例說明，也可以通過其他方法求得差分值DIF(x， y)。 例如，利用YUV形式的信號(hào)值，采用與RGB形式的信號(hào)值相同的方 法也可以算出差分值DIF(x， y)。在這種情況下，只要考慮把公式(F-2) 及(F-3)中的R、 G及B分別置換為Y、 U及V就可以了。 YUV形式的 信號(hào)，由Y表示的亮度信號(hào)和由U及V表示的色差信號(hào)構(gòu)成。
圖31表示具有在各圖像位置上的把差分值DIF(x， y)作為象素信號(hào) 值的差分圖像的例子。圖31的差分圖像313是基于圖27(a)及(b)的參照 圖像310及校正對(duì)象圖像311的差分圖像。在差分圖像313中，差分值
51DIF(x， y)比較大的部分用白色表示，差分值DIF(x， y)比較小的部分用 黑色表示。由于參照?qǐng)D像310和校正對(duì)象圖像311在拍攝中的人物SUB 的移動(dòng)，在差分圖像313上的人物SUB移動(dòng)區(qū)域的差分值DIF(x， y) 變得比較大。另外，由于因手抖動(dòng)引起的校正對(duì)象圖像311上的抖動(dòng)， 也使邊緣附近(人物或山的輪廓部分)的差分值DIF(x， y)變大。
第一合成部154，進(jìn)行第一中間生成圖像和第二中間生成圖像的合 成，對(duì)所得的合成圖像作為第三中間生成圖像(第四圖像)進(jìn)行輸出。該 合成，通過將第一及第二中間生成圖像的對(duì)應(yīng)象素的象素信號(hào)合計(jì)相加 而實(shí)現(xiàn)。通過合計(jì)相加使對(duì)應(yīng)象素的象素信號(hào)混合，但其混合率(換句 話說是合成比率)可根據(jù)差分值DIF(x， y)決定。在第一合成部154決定 的對(duì)象素位置(x， y)的混合率用a(x， y)表示。
差分值DIF(x， y)與混合率a(x， y)的關(guān)系例如圖32所示。在采用 圖32的關(guān)系例的情況下，當(dāng)"DIF(x，y)<Thl—L"成立時(shí)為"a (x，y)=l"， 當(dāng)"Thl一L《DIF(x ， y)〈Thl—H"成立時(shí)為"a (x ， y)=l-(DIF(x， y)-Thl_L)/(Thl_H-Thl—L)"，當(dāng)"Thl—H《DIF(x， y)"成立時(shí)為"a (x，
y)=o"。
在這里，Thl—L及Thl一H是滿足"0<Thl—L<Thl_H"的規(guī)定的閾 值。在采用圖32的關(guān)系例的情況下，隨著差分值DIF(x，y)從閾值Thl一L 向閾值Thl一H增大，所對(duì)應(yīng)的混合率a(x, y)就從l向O線性減少，但 混合率cx(x， y)也可以是非線性減少。
第一合成部154，從各圖像位置上的差分值DIF(x， y)決定各圖像 位置上的混合率cc(x， y)之后，通過按照下列公式(F-4)混合第一及第二 中間生成圖像的對(duì)應(yīng)象素的象素信號(hào)，生成第三中間生成圖像的象素信 號(hào)。
P3(x,y) = a(x,y)xPl(x,y) +{l — a(x，y)}xP2(x,y) …(f-4)
Pl(x， y)、 P2(x， y)及P3(x， y)是分別表示在第一、第二及第三中 間生成圖像的象素位置(x， y)上的象素的亮度及顏色的象素信號(hào)，例如 以RGB形式或YUV形式表現(xiàn)。例如，在象素信號(hào)Pl(x， y)等由R、 G 及B信號(hào)形成的情況下，就可以通過把每個(gè)R、 G及B信號(hào)分別與象 素信號(hào)Pl(x， y)及P2(x， y)混合取得象素信號(hào)P3(x， y)。在象素信號(hào)Pl(x， y)等由Y、 U及V信號(hào)組成的情況下也相同。
圖33是表示在第一合成部154取得的第三中間生成圖像的例子。 圖32所示的第三中間生成圖像314是基于圖27(a)及(b)的參照?qǐng)D像310 以及校正對(duì)象圖像311的第三中間生成圖像。
如上所述，由于在人物SUB運(yùn)動(dòng)的區(qū)域中差分值D(x， y)變得比較 大，所以對(duì)第三中間生成圖像314的第二中間生成圖像312(參照?qǐng)D30) 的貢獻(xiàn)度(l-a(x， y))也就比較大。結(jié)果，在第三中間生成圖像314中的 被照物的抖動(dòng)，與在校正對(duì)象圖像311(參照?qǐng)D27(b))的情況相比受到大 幅度的抑制。另外，由于在邊緣附近差分值D(x， y)也變大，所以上述 貢獻(xiàn)度(l-a(x， y))也隨之變大。結(jié)果，在第三中間生成圖像314中的邊 緣鮮明度，與在校正對(duì)象圖像311的相比有所改善。但，在第二中間生 成圖像312中的邊緣，與參照?qǐng)D像310的相比有一些不鮮明，所以在第 三中間生成圖像314中的邊緣與參照?qǐng)D像310的相比也有一些不鮮明。
另一方面，把差分值D(x， y)比較小的區(qū)域推測(cè)為邊緣成分少的平 坦區(qū)域。因此，對(duì)差分值D(x， y)比較小的區(qū)域，如上述，要使噪聲含 量少的第一中間生成圖像的貢獻(xiàn)度a(x， y)變得比較大。由此，可抑制 降低第三中間生成圖像的噪聲。另外，由于第二中間生成圖像是經(jīng)噪聲 降低處理而生成的，所以對(duì)第三中間生成圖像的第二中間生成圖像的貢 獻(xiàn)度(l-a(x， y))即使處于比較大的區(qū)域中，其噪聲也幾乎不明顯。
如上所述，在第三中間生成圖像中的邊緣與參照?qǐng)D像的邊緣相比有 一些不鮮明，但這個(gè)不鮮明度，通過邊緣強(qiáng)度值計(jì)算部155及第二合成 部156而得到改善。
邊緣強(qiáng)度值計(jì)算部155，對(duì)第二中間生成圖像進(jìn)行邊緣提取處理， 計(jì)算出在各圖像位置上的邊緣強(qiáng)度值。在象素位置(x， y)上的邊緣強(qiáng)度 值用E(x， y)表示。邊緣強(qiáng)度值E(x， y)是表示以第二中間生成圖像的象 素位置(x， y)為中心的小塊內(nèi)的象素信號(hào)變化量的指標(biāo)，其變化量越大 邊緣強(qiáng)度值E(x， y)越大。
例如，按照下列公式(F-5)，求邊緣強(qiáng)度值E(x， y)。如上所述，P2Y (x， y)表示第二中間生成圖像的象素位置(x， y)的象素的亮度值。Fx(i， j)及Fy(i， j)分別表示用于提取水平方向及垂直方向的邊緣的邊緣提取濾波器的濾波系數(shù)。作為邊緣提取濾波器，可以采用適用于邊緣提取的任
意的空間濾波器，例如，普魯伊特濾波器(Prewitt filter)、索貝爾濾波器 (Sobel filter)、微分濾波器、拉普拉斯濾波器(Laplacian filter)。
E(x,y)-
i i
U^(i,j),P2y(x + i,y + j)
i=—lj--l
+
1 1
SX]Fy(i,j).P2Y(x + hy + j) i=—1
…(F —5)
例如，在采用普魯伊特濾波器的情況下，既可以向公式(F-5)的Fx(i， j)代入"Fx(-l， -l)=Fx(-l， 0)=Fx(-l， 1)=-1"、 "Fx(O， -l)=Fx(0， 0)=Fx(0， l"O"及"Fx(l， -l)=Fx(l， 0)=Fx(l， 1)=1"，也可以向公式(F-5)的Fy(i， j)代入"Fy(-l， -l)=Fy(0， -l)=Fy(l， -1)=-1，，、 "Fy(-l， 0)=Fy(0， 0)=Fy(l， 0)=0，，及"Fy(-l， l)=Fy(0， l)=Fy(l， 1)=1"。當(dāng)然，這樣的濾波系數(shù)只 是一個(gè)例子，邊緣強(qiáng)度值E(x， y)的計(jì)算用的邊緣提取濾波器可以進(jìn)行 各種變形。另外，在公式(F-5)中采用有3X3的濾波器尺寸的邊緣提取 濾波器，但邊緣提取濾波器的濾波器尺寸也可以是3X3以外的尺寸。
圖34表示具有將各象素位置中的邊緣強(qiáng)度值E(x， y)作為象素信號(hào) 值的邊緣圖像的例子。圖34的邊緣圖像315是基于圖27(a)及(b)的參照 圖像310及校正對(duì)象圖像311的邊緣圖像。在邊緣圖像315中，邊緣強(qiáng) 度值E(x， y)比較大的部分用白色表示，邊緣強(qiáng)度值E(x， y)比較小的部 分用黑色表示。邊緣強(qiáng)度值E(x， y)，是通過提取由抑制邊緣鮮明的參 照?qǐng)D像310的噪聲所得的第二中間生成圖像312的邊緣而得的。由此把 噪聲和邊緣分離，通過邊緣強(qiáng)度值E(x， y)，把噪聲和被照物的邊緣明 確區(qū)分后確定邊緣的位置。
第二合成部156，進(jìn)行第三中間生成圖像和參照?qǐng)D像的合成，并把 所得的合成圖像作為抖動(dòng)校正圖像(Qw)輸出。這個(gè)合成是通過把第三中 間生成圖像和參照?qǐng)D像的對(duì)應(yīng)象素的象素信號(hào)合計(jì)相加而實(shí)現(xiàn)的。通過 合計(jì)相加把對(duì)應(yīng)象素的象素信號(hào)混合，但其混合率(換句話說就是合成 比率)可根據(jù)邊緣強(qiáng)度值E(x， y)決定。用P(x， y)表示第二合成部156 決定的對(duì)象素位置(x， y)的混合率。
圖35表示邊緣強(qiáng)度值E(x， y)與混合率g(x， y)的關(guān)系例子。在采 用圖35的關(guān)系例子的情況下，當(dāng)"E(x， y)<Th2—L"成立時(shí)，為"P (x，
54y)=0"，當(dāng)"Th2—L《E(x， y)<Th2—H"成立時(shí)為"P (x， y) = (E(x， y)-Th2_L)/(Th2—H-Th2—L)"，當(dāng)"Th2—H《E(x， y)"成立時(shí)為"P (x，
y)=i"。
在這里，Th2一L及Th2_H是滿足"0<Th2_L<Th2—H"的規(guī)定的閾 值。在采用圖35的關(guān)系例子的情況下，隨著邊緣強(qiáng)度值E(x， y)從閾值 Th2_L向閾值Th2—H增大，對(duì)應(yīng)的混合率P (x， y)就從0向1線性增加， 但也可以使其混合率3(x， y)非線性地增加。
第二合成部156，由各象素位置的邊緣強(qiáng)度值E(x， y)決定在各象 素位置的混合率|3(x， y)之后，通過按照下列公式(F-6)混合第三中間生 成圖像和參照?qǐng)D像的對(duì)應(yīng)象素的象素信號(hào)，生成抖動(dòng)校正圖像的象素信 號(hào)。
Pout (x, y)=y) x PIN—SH (x, y) + {1 —卩(x, y)} x P3(x, y) …(f - 6)
Pout(x， y)， Pin_sh(x， y)及P3(x， y)分別表示抖動(dòng)校正圖像、參照 圖像及在第三中間生成圖像的象素位置(x， y)的象素的亮度及顏色的象 素信號(hào)，例如以RGB形式或YUV形式表現(xiàn)。例如，在象素信號(hào)P3(x， y)等由R、 G及B信號(hào)形成的情況下，每個(gè)R、 G及B信號(hào)可以分別通 過對(duì)象素信號(hào)PIN—SH (x, y)及P3(x, y)進(jìn)行混合而取得象素信號(hào)P0UT (x， y)。在象素信號(hào)P3(x， y)等由Y、 U及V信號(hào)形成的情況下也相同。
圖36表示以在第二合成部156中所得的抖動(dòng)校正圖像Qw為例的 抖動(dòng)校正圖像316。抖動(dòng)校正圖像316是基于圖27(a)及(b)的參照?qǐng)D像 310及校正對(duì)象圖像311的抖動(dòng)校正圖像。在邊緣部分中，由于對(duì)抖動(dòng) 校正圖像316的參照?qǐng)D像310的貢獻(xiàn)度e(x， y)變大，所以在抖動(dòng)校正 圖像316中，在第三中間生成圖像314(參照?qǐng)D33)上的邊緣的少許不鮮 明度得到了改善，邊緣得到了鮮明的描繪。另一方面，在邊緣以外的部 分，由于對(duì)抖動(dòng)校正圖像316的第三中間生成圖像314的貢獻(xiàn)度(l-e(x， y))變大，所以對(duì)于抖動(dòng)校正圖像316，反映參照?qǐng)D像310中所含的噪聲 受到了抑制。由于噪聲在邊緣以外的部分(平坦部分)在視覺上特別突出， 所以基于上述混合率P(x， y)的合成比率的調(diào)整很有效。
這樣，依據(jù)第四校正方法，通過把校正對(duì)象圖像(更詳細(xì)地說是對(duì) 位后的校正對(duì)象圖像(即第一中間生成圖像))與噪聲降低后的參照?qǐng)D像(即第二中間生成圖像)，用所獲得的差分值合成，可生成抑制了校正對(duì) 象圖像抖動(dòng)和參照?qǐng)D像的噪聲的第三中間生成圖像。此后，用從噪聲降 低后的參照?qǐng)D像(即第二中間生成圖像)取得的邊緣強(qiáng)度值，通過合成第 三中間生成圖像和參照?qǐng)D像，可在抖動(dòng)校正圖像上使參照?qǐng)D像的鮮明邊 緣得到反映，另一方面還抑制了參照?qǐng)D像的噪聲在抖動(dòng)校正圖像上的反 映。結(jié)果抖動(dòng)校正圖像就成為抖動(dòng)及噪聲很少的圖像。
為了明確地分離檢測(cè)出邊緣和噪聲，并很好地避免參照?qǐng)D像的噪聲 混入抖動(dòng)校正圖像，如上述最好把邊緣強(qiáng)度值從噪聲降低后的參照?qǐng)D像 (即第二中間生成圖像)導(dǎo)出，但也可以從噪聲降低前的參照?qǐng)D像(即圖
27(a)的參照?qǐng)D像310等)導(dǎo)出邊緣強(qiáng)度值。在這種情況下，可以把噪聲 降低前的參照?qǐng)D像上的象素位置(x， y)的象素的亮度值代入公式(F-5)的 P2Y(X， y)，并按照公式(F-5)計(jì)算出邊緣強(qiáng)度值E(x， y)。 變形等
上述說明文中所示的具體數(shù)值只是單純的舉例說明，當(dāng)然可以對(duì)那 些數(shù)值進(jìn)行各種各樣的變更。作為上述實(shí)施方式的變形例或注釋事項(xiàng)， 下面記述注釋1及注釋2。各注釋中所記述的內(nèi)容，只要不矛盾，可以 進(jìn)行任意組合。
例如，可按如下所述考慮。在實(shí)施方式1或?qū)嵤┓绞?中，包含圖 3的拍攝控制部51及校正控制部52的部位，作為控制抖動(dòng)校正處理的 可否運(yùn)行或短曝光圖像的拍攝張數(shù)的控制部而起作用。在實(shí)施方式3 中，控制抖動(dòng)校正處理的可否運(yùn)行的控制部，包含校正控制部52，而且還可包含拍攝控制部51。在實(shí)施方式3中的校正控制部52，具有推 斷短曝光圖像的抖動(dòng)程度的抖動(dòng)推斷部。另外，在把實(shí)施方式4所示的 第一校正方法作為抖動(dòng)校正處理的方法加以利用的情況下，圖3的抖動(dòng) 校正處理部53，就具有求出校正對(duì)象圖像的圖像惡化函數(shù)(具體地就是 PSF)的圖像惡化函數(shù)導(dǎo)出部。
權(quán)利要求
1. 一種攝像裝置，其特征在于，具備攝像部，通過拍攝取得圖像；抖動(dòng)校正處理部，對(duì)通過拍攝取得了的第一圖像的抖動(dòng)，根據(jù)上述第一圖像和以比上述第一圖像拍攝時(shí)的曝光時(shí)間更短的曝光時(shí)間拍攝了的第二圖像，進(jìn)行校正；控制部，控制是否實(shí)行基于上述抖動(dòng)校正處理部的校正。
2. 根據(jù)權(quán)利要求l所述的攝像裝置，其特征在于， 上述控制部具備推斷上述第二圖像的抖動(dòng)程度的抖動(dòng)推斷部，并根據(jù)其推斷結(jié)果，控制可否由上述抖動(dòng)校正處理部實(shí)行校正。
3. 根據(jù)權(quán)利要求2所述的攝像裝置，其特征在于， 上述抖動(dòng)推斷部，根據(jù)上述第一圖像的邊緣強(qiáng)度與上述第二圖像的邊緣強(qiáng)度相比較的結(jié)果，推斷上述第二圖像的抖動(dòng)程度。
4. 根據(jù)權(quán)利要求3所述的攝像裝置，其特征在于， 在上述第一圖像拍攝時(shí)與在上述第二圖像拍攝時(shí)，用于調(diào)節(jié)拍攝的圖像的亮度的靈敏度不同，上述抖動(dòng)推斷部，通過抑制因上述第一圖像拍攝時(shí)的靈敏度與上述 第二圖像拍攝時(shí)的靈敏度的不同而引起的上述第一及第二圖像的邊緣 強(qiáng)度間的差異的處理，來實(shí)行上述比較。
5. 根據(jù)權(quán)利要求2所述的攝像裝置，其特征在于， 上述抖動(dòng)推斷部，根據(jù)上述第一圖像和上述第二圖像之間的位置偏差量來推斷上述第二圖像的抖動(dòng)程度。
6. 根據(jù)權(quán)利要求2所述的攝像裝置，其特征在于， 上述抖動(dòng)推斷部，根據(jù)用上述第一圖像及上述第二圖像求得的上述第一圖像的推斷圖像惡化函數(shù)，來推斷上述第二圖像的抖動(dòng)程度。
7. 根據(jù)權(quán)利要求6所述的攝像裝置，其特征在于， 上述抖動(dòng)推斷部，參照矩陣表現(xiàn)了上述推斷圖像惡化函數(shù)時(shí)的上述推斷圖像惡化函數(shù)的各元素值，在參照了的數(shù)值內(nèi)，提取偏離了規(guī)定的數(shù)值范圍的數(shù)值，并根據(jù)提取出的數(shù)值的合計(jì)值，推斷上述第二圖像的 抖動(dòng)程度。
8. —種攝像裝置，其特征在于，具備 攝像部，通過拍攝取得圖像；抖動(dòng)校正處理部，對(duì)通過拍攝所得的第一圖像的抖動(dòng)，根據(jù)上述第 一圖像和以比上述第一圖像拍攝時(shí)的曝光時(shí)間更短的曝光時(shí)間拍攝了 的l張以上的第二圖像，實(shí)行校正；控制部，根據(jù)上述第一圖像的拍攝參數(shù)，控制可否實(shí)行基于上述抖 動(dòng)校正處理部的校正或控制用于該校正的上述第二圖像的張數(shù)。
9. 根據(jù)權(quán)利要求8所述的攝像裝置，其特征在于， 上述控制部，具備第二圖像拍攝控制部，根據(jù)上述第一圖像的拍攝參數(shù)，判定可否拍 攝上述第二圖像并控制上述攝像部；校正控制部，根據(jù)可否拍攝上述第二圖像的判斷結(jié)果，控制可否實(shí) 行基于上述抖動(dòng)校正處理部的校正。
10. 根據(jù)權(quán)利要求8所述的攝像裝置，其特征在于， 上述控制部，具備第二圖像拍攝控制部，根據(jù)上述第一圖像的拍攝參數(shù)決定在上述抖動(dòng)校正處理部中的校正所用的上述第二圖像的張數(shù)， 并控制上述攝像部，按所決定出的張數(shù)拍攝上述第二圖像，上述第二圖像拍攝控制部，決定上述第二圖像的張數(shù)是1張或多張，上述抖動(dòng)校正處理部，當(dāng)上述第二圖像的張數(shù)為多張時(shí)，通過對(duì)上 述多張的第二圖像進(jìn)行相加合成生成1張合成圖像，并根據(jù)上述第一圖 像和上述合成圖像校正上述第一圖像的抖動(dòng)。
11. 根據(jù)權(quán)利要求8所述的攝像裝置，其特征在于， 上述第一圖像的拍攝參數(shù)，包括在上述第一圖像拍攝時(shí)的焦距、曝光時(shí)間及為了調(diào)節(jié)圖像亮度的靈敏度。
12. 根據(jù)權(quán)利要求9所述的攝像裝置，其特征在于， 上述第二圖像拍攝控制部，根據(jù)上述第一圖像的拍攝參數(shù)，設(shè)定上述第二圖像的拍攝參數(shù)。
13. 根據(jù)權(quán)利要求l所述的攝像裝置，其特征在于， 上述抖動(dòng)校正處理部，對(duì)基于上述第一圖像的圖像和基于上述第二圖像的圖像分別作為惡化圖像和初期的復(fù)原圖像進(jìn)行處理，用傅立葉反 復(fù)法校正第一圖像的抖動(dòng)。
14. 根據(jù)權(quán)利要求l所述的攝像裝置，其特征在于，上述抖動(dòng)校正處理部，具有圖像惡化函數(shù)導(dǎo)出部，求出表示上述第 一圖像整體抖動(dòng)的圖像惡化函數(shù)，并根據(jù)上述圖像惡化函數(shù)校正上述第 一圖像的抖動(dòng)，上述圖像惡化函數(shù)導(dǎo)出部，從將基于上述第一圖像的圖像轉(zhuǎn)換到頻 域上所得的第一函數(shù)和將基于上述第二圖像的圖像轉(zhuǎn)換到頻域上所得 的第二函數(shù)，臨時(shí)求出在頻域上的上述圖像惡化函數(shù)，并通過采用規(guī)定 的限制條件對(duì)所求得的在頻域上的上述圖像惡化函數(shù)轉(zhuǎn)換到空間區(qū)域 上而得到的函數(shù)進(jìn)行修正處理，最終求出上述圖像惡化函數(shù)。
15. 根據(jù)權(quán)利要求1所述的攝像裝置，其特征在于， 上述抖動(dòng)校正處理部，通過對(duì)上述第一圖像、上述第二圖像、以及由降低上述第二圖像的噪聲而得出的第三圖像進(jìn)行合成，生成校正了上 述第一圖像抖動(dòng)的抖動(dòng)校正圖像。
16. 根據(jù)權(quán)利要求15所述的攝像裝置，其特征在于， 上述抖動(dòng)校正處理部，在生成了作為上述第一圖像以及上述第三圖像的合成圖像的第四圖像之后，通過合成上述第二圖像和上述第四圖像 來生成上述抖動(dòng)校正圖像。
17. 根據(jù)權(quán)利要求16所述的攝像裝置，其特征在于， 根據(jù)上述第一圖像與上述第三圖像的差，設(shè)定合成上述第一圖像和上述第三圖像時(shí)的合成比率，根據(jù)上述第三圖像中含有的邊緣，設(shè)定合成上述第二圖像和上述第 四圖像時(shí)的合成比率。
18. 根據(jù)權(quán)利要求8所述的攝像裝置，其特征在于， 上述抖動(dòng)校正處理部，對(duì)基于上述第一圖像的圖像和基于上述第二圖像的圖像分別作為惡化圖像和初期的復(fù)原圖像進(jìn)行處理，用傅立葉反 復(fù)法校正第一圖像的抖動(dòng)。
19. 根據(jù)權(quán)利要求8所述的攝像裝置，其特征在于， 上述抖動(dòng)校正處理部，具有圖像惡化函數(shù)導(dǎo)出部，求出表示上述第一圖像整體抖動(dòng)的圖像惡化函數(shù)，并根據(jù)上述圖像惡化函數(shù)校正上述第 一圖像的抖動(dòng)，上述圖像惡化函數(shù)導(dǎo)出部，從將基于上述第一圖像的圖像轉(zhuǎn)換到頻 域上所得的第一函數(shù)和將基于上述第二圖像的圖像轉(zhuǎn)換到頻域上所得 的第二函數(shù)，臨時(shí)求出在頻域上的上述圖像惡化函數(shù)，并通過采用規(guī)定 的限制條件對(duì)所求得的在頻域上的上述圖像惡化函數(shù)轉(zhuǎn)換到空間區(qū)域 上而得到的函數(shù)進(jìn)行修正處理，最終求出上述圖像惡化函數(shù)。
20. 根據(jù)權(quán)利要求8所述的攝像裝置，其特征在于， 上述抖動(dòng)校正處理部，通過對(duì)上述第一圖像、上述第二圖像、以及由降低上述第二圖像的噪聲而得出的第三圖像進(jìn)行合成，生成校正了上 述第一圖像抖動(dòng)的抖動(dòng)校正圖像。
21. 根據(jù)權(quán)利要求20所述的攝像裝置，其特征在于， 上述抖動(dòng)校正處理部，在生成了作為上述第一圖像以及上述第三圖像的合成圖像的第四圖像之后，通過合成上述第二圖像和上述第四圖像 來生成上述抖動(dòng)校正圖像。
22. 根據(jù)權(quán)利要求21所述的攝像裝置，其特征在于， 根據(jù)上述第一圖像與上述第三圖像的差，設(shè)定合成上述第一圖像和上述第三圖像時(shí)的合成比率，根據(jù)上述第三圖像中含有的邊緣，設(shè)定合成上述第二圖像和上述第 四圖像時(shí)的合成比率。
23. —種抖動(dòng)校正方法，其特征在于，具備抖動(dòng)校正處理步驟，對(duì)由拍攝所得的第一圖像的抖動(dòng)，根據(jù)上述第 一圖像和以比上述第一圖像拍攝時(shí)的曝光時(shí)間更短的曝光時(shí)間拍攝了 的1張以上的第二圖像，進(jìn)行校正；控制步驟，控制可否實(shí)行基于上述抖動(dòng)校正處理步驟的校正。
24. 根據(jù)權(quán)利要求23所述的抖動(dòng)校正方法，其特征在于， 上述控制步驟，包含推斷上述第二圖像抖動(dòng)程度的抖動(dòng)推斷步驟，并根據(jù)其推斷結(jié)果控制可否實(shí)行基于上述抖動(dòng)校正處理步驟的校正。
25. —種抖動(dòng)校正方法，其特征在于，具備-抖動(dòng)校正處理步驟，對(duì)由拍攝所得的第一圖像的抖動(dòng)，根據(jù)上述第 一圖像和以比上述第一圖像拍攝時(shí)的曝光時(shí)間更短的曝光時(shí)間拍攝了 的l張以上的第二圖像，進(jìn)行校正；控制步驟，根據(jù)上述第一圖像的拍攝參數(shù)，控制可否實(shí)行基于上述 抖動(dòng)校正處理步驟的校正或控制用于該校正的上述第二圖像的張數(shù)。
全文摘要
本發(fā)明提供一種攝像裝置，其特征在于，具備通過拍攝取得圖像的攝像部；對(duì)通過拍攝取得的第一圖像的抖動(dòng)，根據(jù)上述第一圖像和以比上述第一圖像拍攝時(shí)的曝光時(shí)間更短的曝光時(shí)間拍攝的第二圖像，進(jìn)行校正的抖動(dòng)校正處理部；控制可否實(shí)行基于上述抖動(dòng)校正處理部的校正的控制部。
文檔編號(hào)H04N5/217GK101489035SQ20091000251
公開日2009年7月22日 申請(qǐng)日期2009年1月16日 優(yōu)先權(quán)日2008年1月16日
發(fā)明者村田治彥, 森幸夫, 畑中晴雄, 福本晉平 申請(qǐng)人:三洋電機(jī)株式會(huì)社