本發(fā)明涉及一種圖像處理裝置、濾波器獲取裝置、圖像處理方法、濾波器獲取方法、程序及記錄介質(zhì)，尤其涉及一種圖像濾波處理及在圖像濾波處理中可使用的濾波器的獲取方法。

背景技術(shù)：

提出有用于改善畫質(zhì)的濾波處理或用于賦予特殊的視覺效果的濾波處理等各種圖像濾波處理技術(shù)。已知有使用濾波器來復(fù)原原來的圖像的點(diǎn)像復(fù)原處理，所述濾波器是根據(jù)表示例如由攝影透鏡的像差等引起的像劣化特性的點(diǎn)擴(kuò)散函數(shù)(點(diǎn)像分布函數(shù)(PSF：Point Spread Function))而確定的。

專利文獻(xiàn)1公開一種以通過基于PSF數(shù)據(jù)進(jìn)行的圖像處理來復(fù)原圖像為目的的圖像記錄裝置。該圖像記錄裝置中，由“表示根據(jù)成像透鏡的設(shè)計(jì)值獲得的PSF的設(shè)計(jì)PSF數(shù)據(jù)”和“根據(jù)調(diào)整用圖的攝影數(shù)據(jù)獲得的測量PSF數(shù)據(jù)”推測其他區(qū)域PSF數(shù)據(jù)，并使用測量PSF數(shù)據(jù)及其他區(qū)域PSF數(shù)據(jù)來復(fù)原圖像數(shù)據(jù)。如此使用根據(jù)調(diào)整用圖的攝影數(shù)據(jù)獲得的測量PSF數(shù)據(jù)來復(fù)原圖像數(shù)據(jù)，從而即使在由于圖像記錄裝置的個(gè)體差而圖像數(shù)據(jù)的劣化程度在裝置之間不同的情況下，也能夠進(jìn)行與個(gè)體差相應(yīng)的復(fù)原。

以往技術(shù)文獻(xiàn)

專利文獻(xiàn)

專利文獻(xiàn)1：日本特開2010-177919號公報(bào)

非專利文獻(xiàn)

非專利文獻(xiàn)1：J.A.Fessler and A.O.Hero，“Space-Alternating Gener alized Expectation-Maximization Algorithm，”IEEETransactionS on Si gnalProcessing，Vol.17，No.10，pp.2664-2677，1994.

非專利文獻(xiàn)2：B.H.Fleury，M.Tschudin，R.Heddergott，D.Dahlhaus，and K.I.Pedersen，“Channel Parameter Estimation in Mobile Radio Envi ronments Using the SAGE Algorithm，”IEEE J.Selected Areas in Commun ications，Vol.17，No.3，pp.434-449，Mar.1999.

非專利文獻(xiàn)3：Y.Pati，R.Rezaiifar，P.Krishnaprasad，“Orthogonal Matching Pursuit：recursive function approximation with application to wavelet decomposition”，in Asilomar Conf.on Signals，Systems and Comput.，1993.

技術(shù)實(shí)現(xiàn)要素：

發(fā)明要解決的技術(shù)課題

如利用了上述點(diǎn)擴(kuò)散函數(shù)(PSF)的圖像濾波處理那樣，根據(jù)光學(xué)系統(tǒng)的光學(xué)特性確定透鏡的像差等的像劣化特性，并使用根據(jù)其像劣化特性而設(shè)計(jì)的濾波器來進(jìn)行濾波處理，從而能夠復(fù)原原來的圖像。

因此，關(guān)于以理想狀態(tài)制造的光學(xué)系統(tǒng)，能夠由設(shè)計(jì)值預(yù)先確定光學(xué)特性，理論上，能夠由設(shè)計(jì)值制作使用該理想的光學(xué)系統(tǒng)攝影的圖像的復(fù)原性能優(yōu)異的高精度的濾波器。然而，實(shí)際制造出的光學(xué)系統(tǒng)的個(gè)體之間有偏差，光學(xué)系統(tǒng)的光學(xué)特性因制造誤差等而發(fā)生變動(dòng)，因此實(shí)際上僅由光學(xué)系統(tǒng)的設(shè)計(jì)值制造圖像復(fù)原性能優(yōu)異的濾波器并不一定容易。

專利文獻(xiàn)1中所記載的圖像記錄裝置中，通過由設(shè)計(jì)PSF數(shù)據(jù)及測量PSF數(shù)據(jù)推測其他區(qū)域PSF數(shù)據(jù)，可進(jìn)行與個(gè)體差相應(yīng)的圖像數(shù)據(jù)的復(fù)原處理。然而，專利文獻(xiàn)1中所記載的方法中，例如在一個(gè)光學(xué)系統(tǒng)(透鏡等)中中央部的制造誤差與邊緣部的制造誤差的相差較大時(shí)，未必能夠高精度地進(jìn)行圖像數(shù)據(jù)的復(fù)原。

并且，為了進(jìn)行反映有光學(xué)系統(tǒng)的個(gè)體差的圖像濾波處理，通常需要在獲取各光學(xué)系統(tǒng)的具體的光學(xué)特性(例如像劣化特性等)之后，根據(jù)該具體的光學(xué)特性重新設(shè)計(jì)濾波器。例如，在根據(jù)點(diǎn)擴(kuò)散函數(shù)(PSF)生成濾波器的情況中，由按光學(xué)系統(tǒng)而獲取將點(diǎn)擴(kuò)散函數(shù)進(jìn)行博立葉變換而獲得的光學(xué)傳遞函數(shù)(OTF：Optical Transfer Function)，并根據(jù)其光學(xué)傳遞函數(shù)通過維納(Wiener)濾波器等的任意設(shè)計(jì)基準(zhǔn)計(jì)算圖像復(fù)原用濾波器。通過由多個(gè)抽頭(抽頭系數(shù))構(gòu)成如此算出的濾波器，能夠在實(shí)際空間中對由多個(gè)像素?cái)?shù)據(jù)構(gòu)成的圖像數(shù)據(jù)簡便地應(yīng)用濾波器。

對濾波器的抽頭數(shù)量沒有限制時(shí)，能夠通過帶有任意的抽頭數(shù)量的FIR(Finite Impulse Response)濾波器來實(shí)現(xiàn)通過將由維納濾波器等所表示的頻率空間濾波器進(jìn)行博立葉逆變換而獲得的頻率特性。然而，實(shí)際可使用的硬件受限時(shí)，濾波器的抽頭數(shù)量也受到限制。在濾波器的抽頭數(shù)量受限的條件下，為了計(jì)算具有所希望的頻率特性的抽頭系數(shù)，需要解決非線性最優(yōu)化問題，因此需要非常多的計(jì)算量。

因此，在光學(xué)系統(tǒng)的制造階段或基于用戶的使用階段，重新設(shè)計(jì)反應(yīng)了光學(xué)系統(tǒng)的個(gè)體差的濾波器(抽頭系數(shù))時(shí)，獲取各光學(xué)系統(tǒng)的具體的光學(xué)特性之后，需要進(jìn)行大量的運(yùn)算處理。例如，利用實(shí)際攝影時(shí)所使用的相機(jī)由用戶本身進(jìn)行濾波器的校準(zhǔn)時(shí)，需要用于無壓力地進(jìn)行這種大量的運(yùn)算處理的能力較高的緊湊型運(yùn)算電路及存儲(chǔ)區(qū)域(ROM：Read Only Memory)。尤其在獲取點(diǎn)擴(kuò)散函數(shù)等的像劣化特性之后立即進(jìn)行圖像濾波處理時(shí)，為了計(jì)算實(shí)際所使用的抽頭系數(shù)而需要確保大量的計(jì)算資源。然而，從實(shí)際構(gòu)建圖像處理系統(tǒng)的觀點(diǎn)出發(fā)，事先確保這種計(jì)算資源并不一定優(yōu)選。

并且，若圖像濾波處理中所使用的濾波器的種類及數(shù)量增加，則由于濾波器整體的數(shù)據(jù)量顯著增加，因此需要具有較大的存儲(chǔ)容量的存儲(chǔ)器。即，圖像濾波處理中所使用的濾波器根據(jù)多個(gè)條件而被確定時(shí)，必要的濾波器的數(shù)據(jù)量以指數(shù)函數(shù)的比例增加。例如，光學(xué)系統(tǒng)的點(diǎn)擴(kuò)散函數(shù)根據(jù)光圈值(F值)、變焦值(焦點(diǎn)距離)、被攝體距離、聚焦位置、光學(xué)系統(tǒng)類型、成像元件的傳感器SN比(Signal-Noise ratio)、像高(圖像內(nèi)位置)及光學(xué)系統(tǒng)個(gè)體差等攝影條件而發(fā)生變化。然而，若對于各攝影條件的所有組合準(zhǔn)備特有的濾波器，則這些濾波器所需的整個(gè)數(shù)據(jù)量變得龐大。

并且，考慮到特定的各向異性或頻率特性的圖像濾波處理中，導(dǎo)致所需的濾波器的圖形數(shù)量增加。進(jìn)而根據(jù)像素位置改變所使用的濾波器(濾波器系數(shù))時(shí)，濾波器的數(shù)據(jù)量根據(jù)處理對象的圖像的像素?cái)?shù)而增加。

理想的是，優(yōu)選預(yù)先準(zhǔn)備與所有條件的組合相關(guān)的濾波器而預(yù)先存儲(chǔ)于存儲(chǔ)器。然而，由于需要確保龐大的存儲(chǔ)容量，并且需要準(zhǔn)備昂貴的存儲(chǔ)器，因此從實(shí)際構(gòu)建圖像處理系統(tǒng)的觀點(diǎn)考慮，預(yù)先準(zhǔn)備并存儲(chǔ)對應(yīng)于所有條件的濾波器并不一定優(yōu)選。

本發(fā)明是鑒于上述情況而完成的，其目的在于提供一種能夠通過簡單的運(yùn)算處理高精度地實(shí)現(xiàn)根據(jù)各光學(xué)系統(tǒng)的光學(xué)特性而確定的所希望的圖像濾波處理的圖像處理方法。

并且，其目的在于提供一種能夠獲取在這種圖像濾波處理中可優(yōu)選使用的濾波器的濾波器獲取方法。

用于解決技術(shù)課題的手段

本發(fā)明的一形態(tài)涉及一種圖像處理裝置，其具備濾波處理部，所述濾波處理部通過對原圖像數(shù)據(jù)進(jìn)行包括多次濾波處理的圖像濾波處理來獲取處理圖像數(shù)據(jù)，濾波處理部在多次濾波處理的每一次處理中，對處理對象數(shù)據(jù)應(yīng)用濾波器而獲取濾波器應(yīng)用處理數(shù)據(jù)，并對濾波器應(yīng)用處理數(shù)據(jù)應(yīng)用增益而獲取增益應(yīng)用處理數(shù)據(jù)，且由增益應(yīng)用處理數(shù)據(jù)獲取濾波處理數(shù)據(jù)，在多次濾波處理的每一次處理中應(yīng)用于濾波器應(yīng)用處理數(shù)據(jù)的增益根據(jù)圖像濾波處理的作為目標(biāo)的頻率特性而獲取，所述頻率特性根據(jù)獲取原圖像數(shù)據(jù)時(shí)所使用的光學(xué)系統(tǒng)的個(gè)別的光學(xué)特性而確定。

根據(jù)本形態(tài)，多次濾波處理的每一次處理中應(yīng)用于濾波器應(yīng)用處理數(shù)據(jù)的增益根據(jù)圖像濾波處理的作為目標(biāo)的頻率特性來獲取，該圖像濾波處理的作為目標(biāo)的頻率特性根據(jù)獲取原圖像數(shù)據(jù)時(shí)所使用的光學(xué)系統(tǒng)的個(gè)別的光學(xué)特性來確定。通過以這樣的方式進(jìn)行增益調(diào)整，從而能夠通過簡單的運(yùn)算處理高精度地實(shí)現(xiàn)根據(jù)各光學(xué)系統(tǒng)的光學(xué)特性而確定的所希望的圖像濾波處理。并且，可降低各濾波處理中應(yīng)用于處理對象數(shù)據(jù)的濾波器的數(shù)據(jù)量，同時(shí)可進(jìn)行高精度的濾波處理。

另外，“頻率特性”為與頻率相關(guān)的特性，且表示處理后的圖像數(shù)據(jù)的每頻率成分的振幅與處理前的圖像數(shù)據(jù)的每頻率成分的振幅的比(＝處理后的圖像數(shù)據(jù)的每頻率成分的振幅/處理前的圖像數(shù)據(jù)的每頻率成分的振幅)，并表示與頻率對應(yīng)的響應(yīng)。

作為在此所說的“光學(xué)特性”優(yōu)選為了攝影獲取成為圖像濾波處理的對象的原圖像數(shù)據(jù)而使用的攝影光學(xué)系統(tǒng)的光學(xué)特性。例如，能夠?qū)⒒邳c(diǎn)擴(kuò)散函數(shù)PSF或光學(xué)傳遞函數(shù)OTF(包括MTF：Modulation Transfer Function及PTF：Phase Transfer Function)的特性設(shè)為“光學(xué)特性”，并且可通過使用利用了維納濾波器等的任意設(shè)計(jì)基準(zhǔn)的反向?yàn)V波器(inverse filter)設(shè)計(jì)方法來表示“圖像濾波處理的作為目標(biāo)的頻率特性”。

優(yōu)選的是，圖像處理裝置還具備增益候補(bǔ)數(shù)據(jù)存儲(chǔ)部及增益確定部，所述增益候補(bǔ)數(shù)據(jù)存儲(chǔ)部存儲(chǔ)將在多次濾波處理的每一次處理中應(yīng)用于濾波器應(yīng)用處理數(shù)據(jù)的增益的候補(bǔ)數(shù)據(jù)與光學(xué)系統(tǒng)的個(gè)別的光學(xué)特性建立對應(yīng)關(guān)聯(lián)的增益表信息，所述增益確定部參考增益表信息并將與獲取原圖像數(shù)據(jù)時(shí)所使用的光學(xué)系統(tǒng)的個(gè)別的光學(xué)特性建立對應(yīng)關(guān)聯(lián)的候補(bǔ)數(shù)據(jù)作為在多次濾波處理的每一次處理中應(yīng)用于濾波器應(yīng)用處理數(shù)據(jù)的增益而確定，濾波處理部在多次濾波處理的每一次處理中將增益確定部所確定的增益應(yīng)用于濾波器應(yīng)用處理數(shù)據(jù)來獲取增益應(yīng)用處理數(shù)據(jù)。

根據(jù)本形態(tài)，能夠從增益的候補(bǔ)數(shù)據(jù)中簡單地確定應(yīng)用于濾波器應(yīng)用處理數(shù)據(jù)的增益。

另外，“增益表信息”的形式只要是將增益的候補(bǔ)數(shù)據(jù)與光學(xué)系統(tǒng)的個(gè)別的光學(xué)特性適當(dāng)?shù)亟?yīng)關(guān)聯(lián)的形式，則并無特別限定。光學(xué)系統(tǒng)的個(gè)別的光學(xué)特性能夠與增益的候補(bǔ)數(shù)據(jù)直接或間接地建立對應(yīng)關(guān)聯(lián)，增益表信息可以是將例如確定各光學(xué)系統(tǒng)的信息(光學(xué)系統(tǒng)的ID信息等)與增益的候補(bǔ)數(shù)據(jù)建立對應(yīng)關(guān)聯(lián)的信息。

優(yōu)選的是，圖像處理裝置還具備增益獲取部，所述增益獲取部獲取表示獲取原圖像數(shù)據(jù)時(shí)所使用的光學(xué)系統(tǒng)的個(gè)別的光學(xué)特性的數(shù)據(jù)，并根據(jù)表示個(gè)別的光學(xué)特性的數(shù)據(jù)確定圖像濾波處理的作為目標(biāo)的頻率特性，且根據(jù)所確定的作為目標(biāo)的頻率特性獲取多次濾波處理的每一次處理中應(yīng)用于濾波器應(yīng)用處理數(shù)據(jù)的增益。

根據(jù)本形態(tài)，根據(jù)表示光學(xué)系統(tǒng)的個(gè)別的光學(xué)特性的數(shù)據(jù)確定圖像濾波處理的作為目標(biāo)的頻率特性，并獲取應(yīng)用于濾波器應(yīng)用處理數(shù)據(jù)的增益。在此所說的“表示光學(xué)系統(tǒng)的個(gè)別的光學(xué)特性的數(shù)據(jù)”只要是直接或間接地表示光學(xué)系統(tǒng)的個(gè)別的光學(xué)特性的數(shù)據(jù)，則可以將例如確定各光學(xué)系統(tǒng)的信息(光學(xué)系統(tǒng)的ID信息等)作為“表示光學(xué)系統(tǒng)的個(gè)別的光學(xué)特性數(shù)據(jù)”。

優(yōu)選的是，增益通過對圖像濾波處理的作為目標(biāo)的頻率特性根據(jù)多次濾波處理的各頻率特性以最小二乘法來擬合圖像濾波處理的頻率特性而獲取。

根據(jù)本形態(tài)，能夠根據(jù)最小二乘法高精度地獲取用于實(shí)現(xiàn)圖像濾波處理的作為目標(biāo)的頻率特性的增益。

優(yōu)選在最小二乘法中根據(jù)頻率進(jìn)行加權(quán)。

尤其，優(yōu)選在最小二乘法中頻率特性的近似誤差評價(jià)函數(shù)根據(jù)頻率進(jìn)行加權(quán)。在此所說的近似誤差評價(jià)函數(shù)為表示近似程度(即誤差程度)的評價(jià)的函數(shù)，例如能夠使用后述的“基于加權(quán)最小二乘準(zhǔn)則的類函數(shù)(J_LMS[g])”作為近似誤差評價(jià)函數(shù)。根據(jù)本形態(tài)，通過增加受到重視的頻帶的權(quán)重，并減小未受到重視的頻帶的權(quán)重，從而能夠高精度地獲取對應(yīng)于實(shí)際要求的增益。

優(yōu)選在最小二乘法中將低頻帶中的加權(quán)設(shè)定為大于高頻帶中的加權(quán)。

根據(jù)本形態(tài)，能夠獲取高精度地實(shí)現(xiàn)圖像濾波處理的作為目標(biāo)的頻率特性中尤其低頻帶中的頻率特性的增益。在人類的視覺特性方面，低頻成分比高頻成分更容易被感知，因此增大低頻帶的加權(quán)來獲取增益，從而能夠通過圖像濾波處理生成可見性優(yōu)異的處理圖像數(shù)據(jù)。

在此所說的“低頻帶”優(yōu)選根據(jù)實(shí)際所要求的畫質(zhì)特性而確定，例如，能夠在采樣頻率的1/4(＝0.25fs＝奈奎斯特頻率的1/2)以下的范圍內(nèi)設(shè)定“低頻帶”。

優(yōu)選在最小二乘法中根據(jù)獲取原圖像數(shù)據(jù)時(shí)的攝影條件將高頻帶中的加權(quán)設(shè)定為大于低頻帶中的加權(quán)。

根據(jù)本形態(tài)，根據(jù)獲取原圖像數(shù)據(jù)時(shí)的攝影條件，能夠獲取高精度地實(shí)現(xiàn)圖像濾波處理的作為目標(biāo)的頻率特性中尤其高頻帶中的頻率特性的增益。通常，高頻帶中的MTF劣化較大而攝像系統(tǒng)的噪聲較多時(shí)，有時(shí)噪聲因圖像濾波處理而被放大且畫質(zhì)惡化。因此在預(yù)計(jì)高頻帶中SN比較差的攝影條件下所獲取的原圖像數(shù)據(jù)的圖像濾波處理中，有時(shí)優(yōu)選作為“近似于圖像濾波處理的作為目標(biāo)的頻率特性”的精度，使高頻成分優(yōu)先于低頻成分。

在此所說的“高頻帶”優(yōu)選根據(jù)實(shí)際要求的畫質(zhì)特性來確定，并能夠根據(jù)所設(shè)想的噪聲的頻率特性，例如在大于采樣頻率的1/4(＝0.25fs)且1/2(＝0.5fs)以下的范圍內(nèi)設(shè)定“高頻帶”。

并且，“獲取原圖像數(shù)據(jù)時(shí)的攝影條件”根據(jù)可影響噪聲的任意因素來確定。例如，可將選自獲取原圖像數(shù)據(jù)時(shí)所使用的攝影光學(xué)系統(tǒng)的設(shè)定條件或被攝體本身的狀態(tài)條件(場景條件)等中的1個(gè)或多個(gè)條件設(shè)為“獲取原圖像數(shù)據(jù)時(shí)的攝影條件”。

優(yōu)選最小二乘法中的加權(quán)根據(jù)原圖像數(shù)據(jù)中的像素位置來確定。

根據(jù)本形態(tài)，能夠根據(jù)原圖像數(shù)據(jù)中的像素位置來改變最小二乘法中的加權(quán)，并能夠進(jìn)行與像素位置相應(yīng)的圖像濾波處理。例如在要求清晰的畫質(zhì)的像素位置中可將高頻帶的加權(quán)設(shè)為大于低頻帶的加權(quán)，在要求可見性優(yōu)異的畫質(zhì)的像素位置中可將低頻帶的加權(quán)設(shè)為大于高頻帶的加權(quán)。

優(yōu)選的是，在最小二乘法中，在原圖像數(shù)據(jù)的距離圖像中心為第1距離以下的像素位置，高頻帶中的加權(quán)大于原圖像數(shù)據(jù)的距離圖像中心比第1距離遠(yuǎn)的像素位置。

根據(jù)本形態(tài)，能夠獲取相較于圖像周邊部在圖像中央部高頻成分的再現(xiàn)性優(yōu)異的增益。本形態(tài)優(yōu)選適用于例如在圖像中央部配置主要被攝體的情況等，在圖像中央部要求清晰度的情況。

在此所說的“第1距離”并無特別限定，可根據(jù)重視高頻帶的圖像范圍而適當(dāng)?shù)卦O(shè)定。

優(yōu)選的是，在最小二乘法中，在原圖像數(shù)據(jù)的距離圖像中心比第2距離更遠(yuǎn)的像素位置，低頻帶中的加權(quán)大于原圖像數(shù)據(jù)的距離圖像中心為第2距離以下的像素位置。

根據(jù)本形態(tài)，能夠獲取相較于圖像中央部在圖像周邊部低頻成分的再現(xiàn)性優(yōu)異的增益。本形態(tài)可優(yōu)選適用于例如在圖像周邊部可配置觀察對象的被攝體的情況等、在圖像周邊部要求優(yōu)異的可見性的情況。

在此所說的“第2距離”并無特別限定，可根據(jù)重視低頻帶的圖像范圍而適當(dāng)?shù)卦O(shè)定。

優(yōu)選的是，濾波處理部在圖像濾波處理的作為目標(biāo)的頻率特性中處理圖像數(shù)據(jù)相對于原圖像數(shù)據(jù)的比例小于1的頻率中，在多次濾波處理的每一次處理中，使用使濾波處理數(shù)據(jù)與處理對象數(shù)據(jù)相等的濾波器。

若使用值過小的數(shù)據(jù)進(jìn)行圖像濾波處理，則處理后的數(shù)據(jù)中不僅容易混入噪聲，而且有時(shí)這種噪聲被放大，結(jié)果有時(shí)導(dǎo)致畫質(zhì)劣化。根據(jù)本形態(tài)，通過使用將濾波處理數(shù)據(jù)設(shè)為與處理對象數(shù)據(jù)相等的濾波器，能夠有效地防止這種噪聲混入及噪聲放大。

優(yōu)選的是，濾波處理部在多次濾波處理中的至少任一次的濾波處理中，使用根據(jù)光學(xué)系統(tǒng)的被推測的特性而確定的濾波器來獲取濾波器應(yīng)用處理數(shù)據(jù)。

根據(jù)本形態(tài)，至少進(jìn)行一次基于光學(xué)系統(tǒng)的被推測的特性的濾波處理。

優(yōu)選的是，根據(jù)光學(xué)系統(tǒng)的特性確定的濾波器為根據(jù)光學(xué)系統(tǒng)的點(diǎn)擴(kuò)散函數(shù)確定的濾波器。

根據(jù)本形態(tài)，至少進(jìn)行一次基于光學(xué)系統(tǒng)的點(diǎn)擴(kuò)散函數(shù)的濾波處理。

優(yōu)選的是，濾波處理部在多次濾波處理中的至少任一次的濾波處理中，利用與通過攝影獲取原圖像數(shù)據(jù)時(shí)所使用的光學(xué)系統(tǒng)的特性無關(guān)地被確定的濾波器來獲取濾波器應(yīng)用處理數(shù)據(jù)。

根據(jù)本形態(tài)，至少進(jìn)行一次與光學(xué)系統(tǒng)的特性無關(guān)的濾波處理。

優(yōu)選的是，與光學(xué)系統(tǒng)的特性無關(guān)地被確定的濾波器是輪廓增強(qiáng)濾波器。

根據(jù)本形態(tài)，至少進(jìn)行一次與輪廓增強(qiáng)(邊緣增強(qiáng))相關(guān)的濾波處理。另外，輪廓增強(qiáng)濾波器可具有對應(yīng)于處理對象數(shù)據(jù)中的像素位置的頻率特性，也可以具有不依賴于處理對象數(shù)據(jù)中的像素位置的共同的頻率特性。

優(yōu)選的是，濾波處理部在多次濾波處理中的至少任一次濾波處理中，利用具有處理對象數(shù)據(jù)中的對應(yīng)于像素位置的頻率特性的濾波器來獲取濾波器應(yīng)用處理數(shù)據(jù)。

根據(jù)本形態(tài)，至少進(jìn)行一次具有處理對象數(shù)據(jù)中的對應(yīng)于像素位置的頻率特性的濾波處理。

優(yōu)選的是，多次濾波處理至少包括第1濾波處理及第2濾波處理，濾波處理部將通過第1濾波處理獲取的濾波處理數(shù)據(jù)用作第2濾波處理中的處理對象數(shù)據(jù)。

根據(jù)本形態(tài)，連續(xù)地進(jìn)行第1濾波處理及第2濾波處理。

優(yōu)選的是，多次濾波處理至少包括第1濾波處理及第2濾波處理，濾波處理部在第1濾波處理及第2濾波處理中將相同的數(shù)據(jù)用作處理對象數(shù)據(jù)，根據(jù)通過第1濾波處理獲取的濾波處理數(shù)據(jù)和通過第2濾波處理獲取的濾波處理數(shù)據(jù)來獲取處理圖像數(shù)據(jù)。

根據(jù)本形態(tài)，可并行地進(jìn)行第1濾波處理及第2濾波處理。

優(yōu)選的是，多次濾波處理至少包括第1濾波處理及第2濾波處理，濾波處理部具有：第1濾波器應(yīng)用部，通過對第1濾波處理的處理對象數(shù)據(jù)應(yīng)用第1濾波處理用的濾波器來獲取濾波器應(yīng)用處理數(shù)據(jù)；第1增益應(yīng)用部，通過對由第1濾波器應(yīng)用部獲取的濾波器應(yīng)用處理數(shù)據(jù)應(yīng)用第1濾波處理用增益來獲取增益應(yīng)用處理數(shù)據(jù)；第2濾波器應(yīng)用部，通過對第2濾波處理的處理對象數(shù)據(jù)應(yīng)用第2濾波處理用濾波器來獲取濾波器應(yīng)用處理數(shù)據(jù)；及第2增益應(yīng)用部，通過對由第2濾波器應(yīng)用部獲取的濾波器應(yīng)用處理數(shù)據(jù)應(yīng)用第2濾波處理用增益來獲取增益應(yīng)用處理數(shù)據(jù)。

根據(jù)本形態(tài)，通過“濾波器應(yīng)用部(第1濾波器應(yīng)用部及第2濾波器應(yīng)用部)”及“增益應(yīng)用部(第1增益應(yīng)用部及第2增益應(yīng)用部)”來進(jìn)行第1濾波處理及第2濾波處理，處理流程變得簡單。

優(yōu)選的是，多次濾波處理至少包括第1濾波處理及第2濾波處理，濾波處理部具有：濾波器應(yīng)用部，對處理對象數(shù)據(jù)應(yīng)用濾波器來獲取濾波器應(yīng)用處理數(shù)據(jù)；及增益應(yīng)用部，對濾波器應(yīng)用處理數(shù)據(jù)應(yīng)用增益來獲取增益應(yīng)用處理數(shù)據(jù)，濾波器應(yīng)用部在第1濾波處理中使用第1濾波處理用濾波器來獲取濾波器應(yīng)用處理數(shù)據(jù)，且在第2濾波處理中使用第2濾波處理用濾波器來獲取濾波器應(yīng)用處理數(shù)據(jù)，增益應(yīng)用部在第1濾波處理中使用第1濾波處理用增益來獲取增益應(yīng)用處理數(shù)據(jù)，且在第2濾波處理中使用第2濾波處理用增益來獲取增益應(yīng)用處理數(shù)據(jù)。

根據(jù)本形態(tài)，通過相同的“濾波器應(yīng)用部”及“增益應(yīng)用部”來進(jìn)行第1濾波處理及第2濾波處理，從而硬件結(jié)構(gòu)(電路結(jié)構(gòu))變得簡單。

優(yōu)選的是，多次濾波處理至少包括第1濾波處理及第2濾波處理，濾波處理部在第1濾波處理中使用根據(jù)圖像濾波處理的多種頻率特性的平均而確定的基準(zhǔn)濾波器來獲取濾波器應(yīng)用處理數(shù)據(jù)，且在第2濾波處理中使用根據(jù)圖像濾波處理的多種頻率特性的方差而確定的方差濾波器來獲取濾波器應(yīng)用處理數(shù)據(jù)。

根據(jù)本形態(tài)，由于使用根據(jù)圖像濾波處理的多種頻率特性的平均及方差而確定的基準(zhǔn)濾波器及方差濾波器，因此能夠平均地高精度地進(jìn)行欲應(yīng)用的圖像濾波處理。

另外，方差濾波器只要直接或間接地與圖像濾波處理的多種頻率特性的方差相應(yīng)即可，例如可根據(jù)由方差導(dǎo)出的標(biāo)準(zhǔn)偏差而確定方差濾波器，也可除了方差之外根據(jù)其他因素(例如平均等)而確定方差濾波器。

本發(fā)明的其他形態(tài)涉及一種圖像處理裝置，其具備通過對原圖像數(shù)據(jù)進(jìn)行包括多次濾波處理的圖像濾波處理來獲取處理圖像數(shù)據(jù)的濾波處理部，多次濾波處理至少包括第1濾波處理及第2濾波處理，濾波處理部在多次濾波處理的每一次處理中對處理對象數(shù)據(jù)應(yīng)用濾波器來獲取濾波器應(yīng)用處理數(shù)據(jù)，并對濾波器應(yīng)用處理數(shù)據(jù)應(yīng)用增益來獲取增益應(yīng)用處理數(shù)據(jù)，從增益應(yīng)用處理數(shù)據(jù)獲取濾波處理數(shù)據(jù)，在第1濾波處理中，使用根據(jù)頻率特性的平均而確定的基準(zhǔn)濾波器來獲取濾波器應(yīng)用處理數(shù)據(jù)，所述頻率特性為多種圖像濾波處理的頻率特性且為根據(jù)獲取原圖像數(shù)據(jù)時(shí)所使用的光學(xué)系統(tǒng)的個(gè)別的光學(xué)特性而確定的多種圖像濾波處理的頻率特性，在第2濾波處理中，使用根據(jù)頻率特性的方差而確定的方差濾波器來獲取濾波器應(yīng)用處理數(shù)據(jù)，所述頻率特性為多種圖像濾波處理的頻率特性且為根據(jù)獲取原圖像數(shù)據(jù)時(shí)所使用的光學(xué)系統(tǒng)的個(gè)別的光學(xué)特性而確定的多種圖像濾波處理的頻率特性，在多次濾波處理的每一次處理中應(yīng)用于濾波器應(yīng)用處理數(shù)據(jù)的增益根據(jù)獲取原圖像數(shù)據(jù)時(shí)所使用的光學(xué)系統(tǒng)的個(gè)別的光學(xué)特性而確定。

根據(jù)本形態(tài)，在多次濾波處理的每一次處理中應(yīng)用于濾波器應(yīng)用處理數(shù)據(jù)的增益根據(jù)獲取原圖像數(shù)據(jù)時(shí)所使用的光學(xué)系統(tǒng)的個(gè)別的光學(xué)特性而確定。以這種方式進(jìn)行增益調(diào)整，由此能夠通過簡單的運(yùn)算處理高精度地實(shí)現(xiàn)根據(jù)各光學(xué)系統(tǒng)的光學(xué)特性而確定的所希望的圖像濾波處理。并且，由于使用根據(jù)光學(xué)系統(tǒng)的個(gè)別的光學(xué)特性而確定的多種圖像濾波處理的頻率特性的平均及方差相應(yīng)的基準(zhǔn)濾波器及方差濾波器，因此能夠平均地高精度地進(jìn)行圖像濾波處理。

本發(fā)明的其他形態(tài)涉及一種濾波器獲取裝置，其具備濾波器計(jì)算部，所述濾波器計(jì)算部基于根據(jù)多個(gè)光學(xué)系統(tǒng)的光學(xué)特性而確定的多種圖像濾波處理的頻率特性來獲取根據(jù)多種圖像濾波處理的頻率特性的平均而確定的基準(zhǔn)濾波器，并且根據(jù)多種圖像濾波處理的頻率特性獲取根據(jù)多種圖像濾波處理的頻率特性的方差而確定的至少一個(gè)方差濾波器。

根據(jù)本形態(tài)，能夠獲取可穩(wěn)定且高精度地進(jìn)行圖像濾波處理的基準(zhǔn)濾波器及方差濾波器。以這種方式獲取的基準(zhǔn)濾波器及方差濾波器可在多次濾波處理的每一次處理中優(yōu)選使用。

優(yōu)選的是，濾波器計(jì)算部根據(jù)分類到多個(gè)濾波器組的多種圖像濾波處理的頻率特性中多個(gè)濾波器組的每一個(gè)所包含的多種圖像濾波處理的頻率特性獲取與多個(gè)濾波器組的每一個(gè)相關(guān)的基準(zhǔn)濾波器及至少一個(gè)方差濾波器。

根據(jù)本形態(tài)，即使在多種圖像濾波處理的頻率特性的偏差比較大的情況下，多種圖像濾波處理的頻率特性被分類到多個(gè)濾波器組，按每個(gè)濾波器組獲取基準(zhǔn)濾波器及方差濾波器。由此，能夠提供可高精度地實(shí)現(xiàn)多種圖像濾波處理的頻率特性的每一特性的濾波器。

另外，將多種圖像濾波處理的頻率特性分類到多個(gè)濾波器組的方法并無特別限定，例如能夠根據(jù)圖像濾波處理的頻率特性的相似性進(jìn)行分類。在此所說的“相似性”可由用戶適當(dāng)?shù)剡M(jìn)行判斷，也可通過根據(jù)特定的基準(zhǔn)自動(dòng)分析圖像濾波處理的頻率特性來獲取。

優(yōu)選的是，濾波器獲取裝置還具備以混合正態(tài)分布為基準(zhǔn)將多種圖像濾波處理的頻率特性分類到多個(gè)濾波器組的濾波器組分類部。

根據(jù)本形態(tài)，以混合正態(tài)分布為基準(zhǔn)高精度地被分類到濾波器組。

優(yōu)選的是，濾波器計(jì)算部獲取具有多個(gè)抽頭且對各抽頭分配有系數(shù)的基準(zhǔn)濾波器，并且獲取具有多個(gè)抽頭且對各抽頭分配有系數(shù)的至少一個(gè)方差濾波器。

根據(jù)本形態(tài)，能夠由多個(gè)抽頭(抽頭系數(shù))構(gòu)成基準(zhǔn)濾波器及方差濾波器的每一個(gè)。

優(yōu)選的是，濾波器計(jì)算部根據(jù)偏差分布函數(shù)計(jì)算分配到至少一個(gè)方差濾波器的各抽頭的系數(shù)，所述偏差分布函數(shù)表示多種圖像濾波處理的頻率特性的方差且根據(jù)分配到基準(zhǔn)濾波器的各抽頭的系數(shù)而確定。

根據(jù)本形態(tài)，能夠根據(jù)表示多種圖像濾波處理的頻率特性的方差的偏差分布函數(shù)高精度地計(jì)算分配到方差濾波器的各抽頭的系數(shù)。

優(yōu)選的是，就濾波器計(jì)算部而言，在將I設(shè)為2以上的整數(shù)時(shí)，獲取第1個(gè)到第I個(gè)方差濾波器，并由根據(jù)分配到基準(zhǔn)濾波器的各抽頭的系數(shù)而確定的偏差分布函數(shù)計(jì)算分配到第1個(gè)方差濾波器的各抽頭的系數(shù)，在將J設(shè)為2以上且I以下的整數(shù)時(shí)，由根據(jù)分配到基準(zhǔn)濾波器的各抽頭的系數(shù)和分配到第1個(gè)到第J-1個(gè)方差濾波器的每一個(gè)的各抽頭的系數(shù)而確定的偏差分布函數(shù)計(jì)算分配到第J個(gè)方差濾波器的各抽頭的系數(shù)。

根據(jù)本形態(tài)，能夠由根據(jù)基準(zhǔn)濾波器和其他方差濾波器(第1～第J-1個(gè)方差濾波器)而確定的偏差分布函數(shù)高精度地計(jì)算分配到某一方差濾波器(第J個(gè)方差濾波器)的各抽頭的系數(shù)。

優(yōu)選的是，濾波器計(jì)算部根據(jù)偏差分布函數(shù)來更新分配到基準(zhǔn)濾波器及至少一個(gè)方差濾波器中的至少任一個(gè)的各抽頭的系數(shù)，所述偏差分布函數(shù)為表示多種圖像濾波處理的頻率特性的方差的偏差分布函數(shù)且為根據(jù)分配到基準(zhǔn)濾波器及至少一個(gè)方差濾波器的每一個(gè)的各抽頭的系數(shù)而確定的偏差分布函數(shù)。

根據(jù)本形態(tài)，更新分配到基準(zhǔn)濾波器及至少一個(gè)方差濾波器中的至少任一個(gè)的各抽頭的系數(shù)，而能夠提高濾波器的精度。

優(yōu)選的是，濾波器計(jì)算部根據(jù)SAGE算法或OMP算法來計(jì)算分配到基準(zhǔn)濾波器及至少一個(gè)方差濾波器的每一個(gè)的各抽頭的系數(shù)。

根據(jù)本形態(tài)，能夠根據(jù)SAGE(Space Alternative Generalized Expectation)算法或OMP(Orthogonal Matching Pursuit)算法高精度地計(jì)算分配到各抽頭的系數(shù)。

本發(fā)明的其他形態(tài)涉及一種圖像處理方法，所述方法通過對原圖像數(shù)據(jù)進(jìn)行包括多次濾波處理的圖像濾波處理來獲取處理圖像數(shù)據(jù)，所述方法中，在多次濾波處理的每一次處理中，對處理對象數(shù)據(jù)應(yīng)用濾波器來獲取濾波器應(yīng)用處理數(shù)據(jù)，且對濾波器應(yīng)用處理數(shù)據(jù)應(yīng)用增益來獲取增益應(yīng)用處理數(shù)據(jù)，并從增益應(yīng)用處理數(shù)據(jù)獲取濾波處理數(shù)據(jù)，在多次濾波處理的每一次處理中應(yīng)用于濾波器應(yīng)用處理數(shù)據(jù)的增益根據(jù)頻率特性來獲取，所述頻率特性為根據(jù)獲取原圖像數(shù)據(jù)時(shí)所使用的光學(xué)系統(tǒng)的個(gè)別的光學(xué)特性而確定的圖像濾波處理的作為目標(biāo)的頻率特性。

本發(fā)明的其他形態(tài)涉及一種圖像處理方法，所述方法通過對原圖像數(shù)據(jù)進(jìn)行包括多次濾波處理的圖像濾波處理來獲取處理圖像數(shù)據(jù)，所述方法中，多次濾波處理至少包括第1濾波處理及第2濾波處理，在多次濾波處理的每一次處理中，對處理對象數(shù)據(jù)應(yīng)用濾波器來獲取濾波器應(yīng)用處理數(shù)據(jù)，且對該濾波器應(yīng)用處理數(shù)據(jù)應(yīng)用增益來獲取增益應(yīng)用處理數(shù)據(jù)，并從該增益應(yīng)用處理數(shù)據(jù)獲取濾波處理數(shù)據(jù)，在第1濾波處理中，使用根據(jù)頻率特性的平均而確定的基準(zhǔn)濾波器來獲取濾波器應(yīng)用處理數(shù)據(jù)，所述頻率特性為多種圖像濾波處理的頻率特性且為根據(jù)獲取原圖像數(shù)據(jù)時(shí)所使用的光學(xué)系統(tǒng)的個(gè)別的光學(xué)特性而確定的多種圖像濾波處理的頻率特性，在第2濾波處理中，使用根據(jù)頻率特性的方差而確定的方差濾波器來獲取濾波器應(yīng)用處理數(shù)據(jù)，所述頻率特性為多種圖像濾波處理的頻率特性且為根據(jù)獲取原圖像數(shù)據(jù)時(shí)所使用的光學(xué)系統(tǒng)的個(gè)別的光學(xué)特性而確定的多種圖像濾波處理的頻率特性，在多次濾波處理的每一次處理中應(yīng)用于濾波器應(yīng)用處理數(shù)據(jù)的增益是根據(jù)獲取原圖像數(shù)據(jù)時(shí)所使用的光學(xué)系統(tǒng)的個(gè)別的光學(xué)特性而確定。

本發(fā)明的其他形態(tài)涉及一種濾波器獲取方法，所述方法基于根據(jù)多個(gè)光學(xué)系統(tǒng)的光學(xué)特性而確定的多種圖像濾波處理的頻率特性來獲取根據(jù)多種圖像濾波處理的頻率特性的平均而確定的基準(zhǔn)濾波器，并且根據(jù)多種圖像濾波處理的頻率特性來獲取根據(jù)多種圖像濾波處理的頻率特性的方差而確定的至少一個(gè)方差濾波器。

本發(fā)明的其他形態(tài)涉及一種程序，其用于使計(jì)算機(jī)實(shí)現(xiàn)通過對原圖像數(shù)據(jù)進(jìn)行包括多次濾波處理的圖像濾波處理來獲取處理圖像數(shù)據(jù)的功能，所述程序中，在多次濾波處理的每一次處理中，使計(jì)算機(jī)執(zhí)行以下步驟：對處理對象數(shù)據(jù)應(yīng)用濾波器來獲取濾波器應(yīng)用處理數(shù)據(jù)的步驟；對濾波器應(yīng)用處理數(shù)據(jù)應(yīng)用增益來獲取增益應(yīng)用處理數(shù)據(jù)的步驟；及從增益應(yīng)用處理數(shù)據(jù)獲取濾波處理數(shù)據(jù)的步驟，在多次濾波處理的每一次處理中應(yīng)用于濾波器應(yīng)用處理數(shù)據(jù)的增益根據(jù)頻率特性來獲取，所述頻率特性為根據(jù)獲取原圖像數(shù)據(jù)時(shí)所使用的光學(xué)系統(tǒng)的個(gè)別的光學(xué)特性而確定的圖像濾波處理的作為目標(biāo)的頻率特性。

本發(fā)明的其他形態(tài)涉及一種程序，其用于使計(jì)算機(jī)實(shí)現(xiàn)通過對原圖像數(shù)據(jù)進(jìn)行包括多次濾波處理的圖像濾波處理來獲取處理圖像數(shù)據(jù)的功能，所述程序中，多次濾波處理至少包括第1濾波處理及第2濾波處理，在多次濾波處理的每一次處理中，使計(jì)算機(jī)執(zhí)行以下步驟：對處理對象數(shù)據(jù)應(yīng)用濾波器來獲取濾波器應(yīng)用處理數(shù)據(jù)的步驟；對濾波器應(yīng)用處理數(shù)據(jù)應(yīng)用增益來獲取增益應(yīng)用處理數(shù)據(jù)的步驟；及從增益應(yīng)用處理數(shù)據(jù)獲取濾波處理數(shù)據(jù)的步驟，在第1濾波處理中，使計(jì)算機(jī)執(zhí)行如下步驟：使用根據(jù)頻率特性的平均而確定的基準(zhǔn)濾波器來獲取濾波器應(yīng)用處理數(shù)據(jù)，所述頻率特性為多種圖像濾波處理的頻率特性且為根據(jù)獲取原圖像數(shù)據(jù)時(shí)所使用的光學(xué)系統(tǒng)的個(gè)別的光學(xué)特性而確定的多種圖像濾波處理的頻率特性，在第2濾波處理中，使計(jì)算機(jī)執(zhí)行如下步驟：使用根據(jù)頻率特性的方差而確定的方差濾波器來獲取濾波器應(yīng)用處理數(shù)據(jù)，所述頻率特性為多種圖像濾波處理的頻率特性且為根據(jù)獲取原圖像數(shù)據(jù)時(shí)所使用的光學(xué)系統(tǒng)的個(gè)別的光學(xué)特性而確定的多種圖像濾波處理的頻率特性，在多次濾波處理的每一次處理中應(yīng)用于濾波器應(yīng)用處理數(shù)據(jù)的增益根據(jù)獲取原圖像數(shù)據(jù)時(shí)所使用的光學(xué)系統(tǒng)的個(gè)別的光學(xué)特性而確定。

本發(fā)明的其他形態(tài)涉及一種程序，其用于使計(jì)算機(jī)執(zhí)行如下步驟：基于根據(jù)多個(gè)光學(xué)系統(tǒng)的光學(xué)特性而確定的多種圖像濾波處理的頻率特性來獲取根據(jù)多種圖像濾波處理的頻率特性的平均而確定的基準(zhǔn)濾波器的步驟；及根據(jù)多種圖像濾波處理的頻率特性獲取根據(jù)多種圖像濾波處理的頻率特性的方差而確定的至少一個(gè)方差濾波器的步驟。

本發(fā)明的其他形態(tài)涉及一種計(jì)算機(jī)可讀取的記錄介質(zhì)，所述記錄介質(zhì)中記錄有程序，所述程序用于使計(jì)算機(jī)實(shí)現(xiàn)通過對原圖像數(shù)據(jù)進(jìn)行包括多次濾波處理的圖像濾波處理來獲取處理圖像數(shù)據(jù)的功能，所述程序中，在多次濾波處理的每一次處理中，使計(jì)算機(jī)執(zhí)行如下步驟：對處理對象數(shù)據(jù)應(yīng)用濾波器來獲取濾波器應(yīng)用處理數(shù)據(jù)的步驟；對濾波器應(yīng)用處理數(shù)據(jù)應(yīng)用增益來獲取增益應(yīng)用處理數(shù)據(jù)的步驟；及從增益應(yīng)用處理數(shù)據(jù)獲取濾波處理數(shù)據(jù)的步驟，在多次濾波處理的每一次處理中應(yīng)用于濾波器應(yīng)用處理數(shù)據(jù)的增益根據(jù)頻率特性來獲取，所述頻率特性為根據(jù)獲取原圖像數(shù)據(jù)時(shí)所使用的光學(xué)系統(tǒng)的個(gè)別的光學(xué)特性而確定的圖像濾波處理的作為目標(biāo)的頻率特性。

本發(fā)明的其他形態(tài)涉及一種計(jì)算機(jī)可讀取的記錄介質(zhì)，所述記錄介質(zhì)中記錄有程序，所述程序用于使計(jì)算機(jī)實(shí)現(xiàn)通過對原圖像數(shù)據(jù)進(jìn)行包括多次濾波處理的圖像濾波處理來獲取處理圖像數(shù)據(jù)的功能，所述程序中，多次濾波處理至少包括第1濾波處理及第2濾波處理，在多次濾波處理的每一次處理中，使計(jì)算機(jī)執(zhí)行如下步驟：對處理對象數(shù)據(jù)應(yīng)用濾波器來獲取濾波器應(yīng)用處理數(shù)據(jù)的步驟；對濾波器應(yīng)用處理數(shù)據(jù)應(yīng)用增益來獲取增益應(yīng)用處理數(shù)據(jù)的步驟；及從增益應(yīng)用處理數(shù)據(jù)獲取濾波處理數(shù)據(jù)的步驟，在第1濾波處理中，使計(jì)算機(jī)執(zhí)行如下步驟：使用根據(jù)頻率特性的平均而確定的基準(zhǔn)濾波器來獲取濾波器應(yīng)用處理數(shù)據(jù)，所述頻率特性為多種圖像濾波處理的頻率特性且為根據(jù)獲取原圖像數(shù)據(jù)時(shí)所使用的光學(xué)系統(tǒng)的個(gè)別的光學(xué)特性而確定的多種圖像濾波處理的頻率特性，在第2濾波處理中，使計(jì)算機(jī)執(zhí)行如下步驟：使用根據(jù)頻率特性的方差而確定的方差濾波器來獲取濾波器應(yīng)用處理數(shù)據(jù)，所述頻率特性為多種圖像濾波處理的頻率特性且為根據(jù)獲取原圖像數(shù)據(jù)時(shí)所使用的光學(xué)系統(tǒng)的個(gè)別的光學(xué)特性而確定的多種圖像濾波處理的頻率特性，在多次濾波處理的每一次處理中應(yīng)用于濾波器應(yīng)用處理數(shù)據(jù)的增益根據(jù)獲取原圖像數(shù)據(jù)時(shí)所使用的光學(xué)系統(tǒng)的個(gè)別的光學(xué)特性而確定。

本發(fā)明的其他形態(tài)涉及一種計(jì)算機(jī)可讀取的記錄介質(zhì)，所述記錄介質(zhì)中記錄有程序，所述程序用于使計(jì)算機(jī)執(zhí)行如下步驟：基于根據(jù)多個(gè)光學(xué)系統(tǒng)的光學(xué)特性而確定的多種圖像濾波處理的頻率特性獲取根據(jù)多種圖像濾波處理的頻率特性的平均而確定的基準(zhǔn)濾波器的步驟；及根據(jù)多種圖像濾波處理的頻率特性獲取根據(jù)多種圖像濾波處理的頻率特性的方差而確定的至少一個(gè)方差濾波器的步驟。

發(fā)明效果

根據(jù)本形態(tài)，能夠根據(jù)圖像濾波處理的作為目標(biāo)的頻率特性獲取在多次濾波處理的每一次處理中應(yīng)用于濾波器應(yīng)用處理數(shù)據(jù)的增益，該圖像濾波處理的作為目標(biāo)的頻率特性根據(jù)獲取原圖像數(shù)據(jù)時(shí)所使用的光學(xué)系統(tǒng)的個(gè)別的光學(xué)特性而確定。由此，能夠通過簡單的運(yùn)算處理而高精度地實(shí)現(xiàn)根據(jù)各光學(xué)系統(tǒng)的光學(xué)特性而確定的所希望的圖像濾波處理。并且，能夠減小在各濾波處理中應(yīng)用于處理對象數(shù)據(jù)的濾波器的數(shù)據(jù)量，且能夠進(jìn)行高精度的濾波處理。

并且，根據(jù)本發(fā)明，能夠獲取根據(jù)多種圖像濾波處理的頻率特性的平均及方差而確定的基準(zhǔn)濾波器及方差濾波器。通過使用以這種方式獲取的基準(zhǔn)濾波器及方差濾波器進(jìn)行濾波器應(yīng)用處理，從而能夠平均地高精度地進(jìn)行圖像濾波處理。

附圖說明

圖1是表示與計(jì)算機(jī)連接的數(shù)碼相機(jī)的框圖。

圖2是表示主體控制器的結(jié)構(gòu)例的框圖。

圖3是表示圖像處理部的功能結(jié)構(gòu)的一例的框圖。

圖4是表示圖像處理部的功能結(jié)構(gòu)的其他例子的框圖。

圖5是表示圖像處理部的功能結(jié)構(gòu)的其他例子的框圖。

圖6是圖像濾波處理的概念圖。

圖7是第n濾波處理(其中“n”為1以上且N以下的整數(shù))的概念圖。

圖8是表示濾波處理部的電路結(jié)構(gòu)的一例的圖。

圖9是表示濾波處理部的電路結(jié)構(gòu)的其他例子的圖。

圖10是表示濾波處理部的電路結(jié)構(gòu)的其他例子的圖。

圖11是表示濾波處理部的電路結(jié)構(gòu)的其他例子的圖。

圖12是表示增益獲取部的功能結(jié)構(gòu)的一例的框圖，并表示與圖3所示的圖像處理部優(yōu)選組合的增益獲取部。

圖13是表示圖12所示的增益獲取部的增益獲取流程的流程圖。

圖14是表示增益獲取部的功能結(jié)構(gòu)的其他例子的框圖，并表示與圖4及圖5所示的圖像處理部優(yōu)選組合的增益獲取部。

圖15是表示圖14所示的頻率分析部的頻率特性獲取流程的流程圖。

圖16是表示圖14所示的增益獲取部的增益獲取流程的流程圖。

圖17是表示顯示部中的攝影引導(dǎo)件的一例的圖。

圖18是表示適于圖17所示的引導(dǎo)件顯示的被攝體的一例的圖。

圖19是表示顯示部中的攝影引導(dǎo)件的其他例子的圖。

圖20是表示顯示部中的攝影引導(dǎo)件的其他例子的圖。

圖21是表示主體控制器中的顯示控制部、參考圖像獲取部及圖像判定部的功能結(jié)構(gòu)例的框圖。

圖22是表示顯示部中的攝影引導(dǎo)件的其他例子的圖。

圖23是表示顯示部中的攝影引導(dǎo)件的其他例子的圖。

圖24是表示顯示部中的攝影引導(dǎo)件的其他例子的圖。

圖25是表示濾波器獲取裝置的功能結(jié)構(gòu)的一例的框圖。

圖26是表示濾波器計(jì)算部的功能結(jié)構(gòu)的一例的框圖。

圖27是以單峰型分布表示多種圖像濾波處理的頻率特性的偏差的概念圖。

圖28是以多峰型分布表示多種圖像濾波處理的頻率特性的偏差的概念圖。

圖29是概略表示可分類到單峰型分布的多種圖像濾波處理的頻率特性的一例的圖，橫軸表示頻率，縱軸表示響應(yīng)。

圖30是概略表示圖29所示的多種圖像濾波處理的頻率特性的方差的一例的圖，橫軸表示頻率，縱軸表示方差。

圖31是概略表示根據(jù)圖29所示的多種圖像濾波處理的頻率特性的平均及方差獲取的基底濾波器(特征矢量)的一例的圖，圖31(a)表示“φ₀”，圖31(b)表示“φ₁”，圖31(c)表示“φ₂”。

圖32表示與具有圖10所示的電路結(jié)構(gòu)的濾波處理部所進(jìn)行的圖像濾波處理(第1濾波處理～第3濾波處理)相關(guān)的頻率特性(參考圖32(a))及增益例(參考圖32(b))。

圖33是表示根據(jù)單峰型分布計(jì)算濾波器系數(shù)的濾波器計(jì)算部的功能結(jié)構(gòu)的一例的框圖。

圖34是概略表示可分類到多峰型分布的圖像濾波處理的頻率特性的一例的圖，橫軸表示頻率，縱軸表示響應(yīng)。

圖35是概略表示圖34所示的多種圖像濾波處理的頻率特性的方差的一例的圖，圖35(a)表示分類到第1偏差分布的第1圖像濾波處理～第3圖像濾波處理的頻率特性數(shù)據(jù)的方差，圖35(b)表示分類到第2偏差分布的第4圖像濾波處理～第6圖像濾波處理的頻率特性數(shù)據(jù)的方差。

圖36是概略表示根據(jù)分類到第1偏差分布的第1圖像濾波處理～第3圖像濾波處理的頻率特性的平均及方差獲取的基底濾波器(特征矢量)的一例的圖，圖36(a)表示“φ₀”，圖36(b)表示“φ₁”，圖36(c)表示“φ₂”。

圖37是概略表示根據(jù)分類到第2偏差分布的第4圖像濾波處理～第6圖像濾波處理的頻率特性的平均及方差獲取的基底濾波器(特征矢量)的一例的圖，圖37(a)表示“φ₀”，圖37(b)表示“φ₁”，圖37(c)表示“φ₂”。

圖38表示與具有圖10所示的電路結(jié)構(gòu)的濾波處理部所進(jìn)行的圖像濾波處理(第1濾波處理～第3濾波處理)相關(guān)的頻率特性(參考圖38(a))及增益例(參考圖38(b))。

圖39是表示根據(jù)多峰型分布計(jì)算濾波器系數(shù)的濾波器計(jì)算部的功能結(jié)構(gòu)的一例的框圖。

圖40是通過濾波器組分類部分類到多個(gè)濾波器組的多種圖像濾波處理(頻率特性)的概念圖。

圖41表示由設(shè)計(jì)值導(dǎo)出的“光學(xué)系統(tǒng)(透鏡)的MTF”的一例的曲線圖，圖41(a)表示光學(xué)系統(tǒng)的中央部分的MTF，圖41(b)表示光學(xué)系統(tǒng)的周邊部分的MTF。

圖42是表示由實(shí)測值導(dǎo)出的“光學(xué)系統(tǒng)(透鏡)的MTF”的一例的曲線圖，圖42(a)表示光學(xué)系統(tǒng)的中央部分的MTF，圖42(b)表示光學(xué)系統(tǒng)的周邊部分的MTF。

圖43是表示根據(jù)圖41所示的MTF進(jìn)行濾波器應(yīng)用處理PF及增益應(yīng)用處理PG時(shí)的“與圖像濾波處理相關(guān)的MTF”的一例的曲線圖，圖43(a)表示光學(xué)系統(tǒng)的中央部分的MTF，圖43(b)表示光學(xué)系統(tǒng)的周邊部分的MTF。

圖44是表示根據(jù)圖42所示的MTF進(jìn)行濾波器應(yīng)用處理PF及增益應(yīng)用處理PG時(shí)的“與圖像濾波處理相關(guān)的MTF”的一例的曲線圖，圖44(a)表示光學(xué)系統(tǒng)的中央部分的MTF，圖44(b)表示光學(xué)系統(tǒng)的周邊部分的MTF。

圖45是表示根據(jù)圖42所示的MTF進(jìn)行濾波器應(yīng)用處理PF及增益應(yīng)用處理PG時(shí)的“光學(xué)系統(tǒng)(透鏡)的MTF”的一例的曲線圖，圖45(a)表示光學(xué)系統(tǒng)的中央部分的MTF，圖45(b)表示光學(xué)系統(tǒng)的周邊部分的MTF。

圖46是表示根據(jù)圖42所示的MTF組合下述點(diǎn)像復(fù)原處理及輪廓增強(qiáng)處理時(shí)的“光學(xué)系統(tǒng)(透鏡)的MTF”的一例的曲線圖，圖46(a)表示光學(xué)系統(tǒng)的中央部分的MTF，圖46(b)表示光學(xué)系統(tǒng)的周邊部分的MTF。

圖47是表示進(jìn)行使用了由點(diǎn)擴(kuò)散函數(shù)導(dǎo)出的濾波器的濾波處理的電路與進(jìn)行使用了輪廓增強(qiáng)濾波器的濾波處理的電路被串聯(lián)連接的情況的一例的電路結(jié)構(gòu)圖。

圖48是表示進(jìn)行使用了由點(diǎn)擴(kuò)散函數(shù)導(dǎo)出的濾波器的濾波處理的電路與進(jìn)行使用了輪廓增強(qiáng)濾波器的濾波處理的電路被并聯(lián)連接的情況的一例的電路結(jié)構(gòu)圖。

圖49是表示進(jìn)行使用了由點(diǎn)擴(kuò)散函數(shù)導(dǎo)出的濾波器的濾波處理的電路與進(jìn)行使用了輪廓增強(qiáng)濾波器的濾波處理的電路被并聯(lián)連接的情況的一例的電路結(jié)構(gòu)圖。

圖50是表示具備EDoF光學(xué)系統(tǒng)的攝像模塊的一形態(tài)的框圖。

圖51是表示EDoF光學(xué)系統(tǒng)的一例的圖。

圖52是表示基于圖50所示的復(fù)原處理塊的復(fù)原處理流程的一例的圖。

圖53是表示經(jīng)由EDoF光學(xué)系統(tǒng)而獲取的圖像的復(fù)原例的圖，圖53(a)表示復(fù)原處理前的模糊的圖像，圖53(b)表示復(fù)原處理后的模糊已被消除的圖像(點(diǎn)像)。

圖54是表示智能手機(jī)的外觀的圖。

圖55是表示圖54所示的智能手機(jī)的結(jié)構(gòu)的框圖。

具體實(shí)施方式

參考附圖對本發(fā)明的實(shí)施方式進(jìn)行說明。在以下的實(shí)施方式中，作為一例，對將本發(fā)明應(yīng)用于可與計(jì)算機(jī)(PC：個(gè)人計(jì)算機(jī))連接的數(shù)碼相機(jī)(攝像裝置)的情況進(jìn)行說明。

圖1是表示連接于計(jì)算機(jī)92的數(shù)碼相機(jī)10的框圖。

本例的數(shù)碼相機(jī)10具有可替換的透鏡單元11及具備成像元件24的相機(jī)主體12，透鏡單元11與相機(jī)主體12經(jīng)由透鏡單元11的透鏡單元輸入輸出部20和相機(jī)主體12的相機(jī)主體輸入輸出部28而電性連接。

透鏡單元11具備包括透鏡14和光圈15的光學(xué)系統(tǒng)及控制該光學(xué)系統(tǒng)的光學(xué)系統(tǒng)操作部17。光學(xué)系統(tǒng)操作部17包括連接于透鏡單元輸入輸出部20的透鏡單元控制器18、存儲(chǔ)光學(xué)系統(tǒng)信息等各種信息的透鏡單元存儲(chǔ)部19及對光學(xué)系統(tǒng)進(jìn)行操作的致動(dòng)器(省略圖示)。透鏡單元控制器18根據(jù)從相機(jī)主體12經(jīng)由透鏡單元輸入輸出部20發(fā)送過來的控制信號，并經(jīng)由致動(dòng)器控制光學(xué)系統(tǒng)，進(jìn)行例如基于透鏡移動(dòng)的聚焦控制或變焦控制及光圈15的光圈量控制等。并且，透鏡單元控制器18根據(jù)從相機(jī)主體12經(jīng)由透鏡單元輸入輸出部20發(fā)送過來的控制信號，讀出存儲(chǔ)于透鏡單元存儲(chǔ)部19的各種信息而發(fā)送到相機(jī)主體12(主體控制器25)。

相機(jī)主體12的成像元件24具有聚光用微型透鏡、R(紅)G(綠)B(藍(lán))等的濾色器及由CMOS(Complementary Metal Oxide Semiconductor)或CCD(Charge Coupled Device)等構(gòu)成的圖像傳感器(光電二極管)。該成像元件24將經(jīng)由透鏡單元11的光學(xué)系統(tǒng)(透鏡14及光圈15等)照射的被攝體像的光轉(zhuǎn)換為電信號，并將圖像信號(圖像數(shù)據(jù))發(fā)送到主體控制器25。

關(guān)于主體控制器25，其詳細(xì)內(nèi)容將在后面進(jìn)行敘述(參考圖2)，其具有作為設(shè)備控制部的功能及作為圖像處理部(圖像處理裝置)的功能，所述設(shè)備控制部集中地控制數(shù)碼相機(jī)10的各部，所述圖像處理部進(jìn)行從成像元件24發(fā)送過來的圖像數(shù)據(jù)的圖像處理。

數(shù)碼相機(jī)10還具備進(jìn)行拍攝等時(shí)所需的其他設(shè)備類(釋放按鈕等)，這些設(shè)備類的一部分構(gòu)成可通過用戶進(jìn)行確認(rèn)及操作的用戶界面26。圖1所示的例子中，在相機(jī)主體12設(shè)置有用戶界面26，但用戶界面26可配置于透鏡單元11和/或相機(jī)主體12。用戶能夠經(jīng)由用戶界面26進(jìn)行用于攝影等的各種設(shè)定(EV值(Exposure Value)等)的確定及變更、攝影命令及實(shí)時(shí)預(yù)覽圖像和攝影圖像的確認(rèn)等。用戶界面26連接于主體控制器25，由用戶確定并變更的各種設(shè)定及各種命令被反映到主體控制器25中的各種處理。另外，本實(shí)施方式中，如后述，用戶通過用戶界面26所包括的顯示部27(EVF：Electronic View Finder、背面液晶顯示部)中的顯示而被引導(dǎo)，并且指示用于檢測光學(xué)系統(tǒng)(透鏡14及光圈15等)的光學(xué)特性的參考圖像的攝影。

在主體控制器25中經(jīng)圖像處理的圖像數(shù)據(jù)存儲(chǔ)于設(shè)置在相機(jī)主體12的主體存儲(chǔ)部29，根據(jù)需要，經(jīng)由輸入輸出接口30發(fā)送到計(jì)算機(jī)92等外部設(shè)備類。主體存儲(chǔ)部29由任意的存儲(chǔ)器設(shè)備構(gòu)成，可優(yōu)選使用存儲(chǔ)器卡等可更換的存儲(chǔ)器。從主體控制器25輸出的圖像數(shù)據(jù)的格式并無特別限定，主體控制器25能夠生成并輸出具有RAW、JPEG(Joint Photographic Experts Group)和/或TIFF(Tagged Image File Format)等格式的圖像數(shù)據(jù)。并且，主體控制器25如所謂的Exif(Exchangeable Image File Format)那樣，將標(biāo)題信息(攝影信息(攝影日期和時(shí)間、機(jī)種、像素?cái)?shù)、光圈值等)等)、主圖像數(shù)據(jù)及縮略圖圖像數(shù)據(jù)等多個(gè)關(guān)聯(lián)數(shù)據(jù)彼此建立對應(yīng)關(guān)聯(lián)而構(gòu)成為一個(gè)圖像文件，并可輸出該圖像文件。

計(jì)算機(jī)92經(jīng)由相機(jī)主體12的輸入輸出接口30及計(jì)算機(jī)輸入輸出部93而與數(shù)碼相機(jī)10連接，并接收從相機(jī)主體12發(fā)送過來的圖像數(shù)據(jù)等數(shù)據(jù)類。計(jì)算機(jī)控制器94集中地控制計(jì)算機(jī)92，對來自數(shù)碼相機(jī)10的圖像數(shù)據(jù)進(jìn)行圖像處理，并且控制與經(jīng)由互聯(lián)網(wǎng)等網(wǎng)絡(luò)96而連接于計(jì)算機(jī)輸入輸出部93的服務(wù)器97等的通信。計(jì)算機(jī)92具有顯示器95，計(jì)算機(jī)控制器94中的處理內(nèi)容等根據(jù)需要而顯示于顯示器95。用戶通過一邊確認(rèn)顯示器95的顯示一邊對鍵盤等輸入機(jī)構(gòu)(省略圖示)進(jìn)行操作，能夠?qū)τ?jì)算機(jī)控制器94輸入數(shù)據(jù)或指令。由此，用戶能夠?qū)τ?jì)算機(jī)92或連接于計(jì)算機(jī)92的設(shè)備類(數(shù)碼相機(jī)10及服務(wù)器97等)進(jìn)行控制。

服務(wù)器97具有服務(wù)器輸入輸出部98及服務(wù)器控制器99。服務(wù)器輸入輸出部98構(gòu)成與計(jì)算機(jī)92等的外部設(shè)備類的收發(fā)連接部，并經(jīng)由互聯(lián)網(wǎng)等網(wǎng)絡(luò)96而與計(jì)算機(jī)92的計(jì)算機(jī)輸入輸出部93連接。服務(wù)器控制器99根據(jù)來自計(jì)算機(jī)92的控制命令信號，與計(jì)算機(jī)控制器94協(xié)作，根據(jù)需要在與計(jì)算機(jī)控制器94之間進(jìn)行數(shù)據(jù)類的收發(fā)，進(jìn)行運(yùn)算處理并將其運(yùn)算結(jié)果發(fā)送到計(jì)算機(jī)92。

各控制器(透鏡單元控制器18、主體控制器25、計(jì)算機(jī)控制器94及服務(wù)器控制器99)具有控制處理所需的電路類，例如具備運(yùn)算處理電路(CPU(Cen tral Processing Unit)等)或存儲(chǔ)器等。并且，數(shù)碼相機(jī)10、計(jì)算機(jī)92及服務(wù)器97之間的通信既可以是有限通信，也可以是無線通信。并且，也可一體構(gòu)成計(jì)算機(jī)92及服務(wù)器97，并且也可省略計(jì)算機(jī)92和/或服務(wù)器97。并且，也可以是，使數(shù)碼相機(jī)10具有與服務(wù)器97的通信功能，并在數(shù)碼相機(jī)10與服務(wù)器97之間直接進(jìn)行數(shù)據(jù)類的收發(fā)。

圖2是表示主體控制器25的結(jié)構(gòu)例的框圖。主體控制器25具有設(shè)備控制部34和圖像處理部(圖像處理裝置)35，并且集中地控制相機(jī)主體12。

設(shè)備控制部34適當(dāng)?shù)乜刂茢?shù)碼相機(jī)10所具備的各種設(shè)備類，例如控制成像元件24來控制來自成像元件24的圖像信號(圖像數(shù)據(jù))的輸出，生成用于控制透鏡單元11的控制信號并經(jīng)由相機(jī)主體輸入輸出部28發(fā)送到透鏡單元11(透鏡單元控制器18)，將圖像處理前后的圖像數(shù)據(jù)(RAW數(shù)據(jù)及JPEG數(shù)據(jù)等)存儲(chǔ)于主體存儲(chǔ)部29，并對經(jīng)由輸入輸出接口30而連接的外部設(shè)備類(計(jì)算機(jī)92等)發(fā)送圖像處理前后的圖像數(shù)據(jù)(RAW數(shù)據(jù)及JPEG數(shù)據(jù)等)。尤其，本例的設(shè)備控制部34包括對顯示部27進(jìn)行控制的顯示控制部36，該顯示控制部36如后述那樣與圖像處理部35協(xié)作而能夠?qū)⒁龑?dǎo)用戶的攝影操作的引導(dǎo)件顯示于顯示部27。

另一方面，圖像處理部35對從成像元件24輸出的圖像信號進(jìn)行對應(yīng)于需要而進(jìn)行任意的圖像處理。例如，在圖像處理部35中能夠適當(dāng)?shù)剡M(jìn)行傳感器校正處理、去馬賽克(同步化)處理、像素插值處理、顏色校正處理(偏移校正處理、白平衡處理、顏色矩陣處理及伽馬轉(zhuǎn)換處理等)、RGB圖像處理(銳度處理、色調(diào)校正處理、曝光校正處理及輪廓校正處理等)、RGB/YCrCb轉(zhuǎn)換處理及圖像壓縮處理等各種圖像處理。

圖3是表示圖像處理部35的功能結(jié)構(gòu)的一例的框圖。

圖像處理部35具備通過對原圖像數(shù)據(jù)D1進(jìn)行包括多次濾波處理的圖像濾波處理來獲取處理圖像數(shù)據(jù)D2的濾波處理部41。并且，本例的圖像處理部35除了濾波處理部41之外還具備增益確定部43、增益候補(bǔ)數(shù)據(jù)存儲(chǔ)部44、預(yù)處理部40及后處理部42。

濾波處理部41在多次濾波處理的每一次處理中，對處理對象數(shù)據(jù)應(yīng)用濾波器來獲取濾波器應(yīng)用處理數(shù)據(jù)，且對該濾波器應(yīng)用處理數(shù)據(jù)利用增益來獲取增益應(yīng)用處理數(shù)據(jù)，并從該增益應(yīng)用處理數(shù)據(jù)獲取濾波處理數(shù)據(jù)。

增益候補(bǔ)數(shù)據(jù)存儲(chǔ)部44存儲(chǔ)“增益表信息”，所述增益表信息是將在濾波處理部41中的多次濾波處理的每一次處理中應(yīng)用于濾波器應(yīng)用處理數(shù)據(jù)的增益的候補(bǔ)數(shù)據(jù)與光學(xué)系統(tǒng)的個(gè)別的光學(xué)特性建立對應(yīng)關(guān)聯(lián)而得。包括增益的候補(bǔ)數(shù)據(jù)的該增益表信息通過增益獲取部45根據(jù)光學(xué)系統(tǒng)的個(gè)別的光學(xué)特性而預(yù)先獲取并存儲(chǔ)于增益候補(bǔ)數(shù)據(jù)存儲(chǔ)部44。針對與光學(xué)系統(tǒng)的個(gè)別的光學(xué)特性相對應(yīng)的增益(候補(bǔ)數(shù)據(jù))的獲取方法的具體例將在后面進(jìn)行敘述。

增益確定部43參考存儲(chǔ)于增益候補(bǔ)數(shù)據(jù)存儲(chǔ)部44的增益表信息，將與獲取成為圖像濾波處理的對象的原圖像數(shù)據(jù)D1時(shí)所使用的光學(xué)系統(tǒng)的個(gè)別的光學(xué)特性建立對應(yīng)關(guān)聯(lián)的候補(bǔ)數(shù)據(jù)，作為在多次濾波處理的每一次處理中應(yīng)用于濾波器應(yīng)用處理數(shù)據(jù)的增益而確定，并發(fā)送到濾波處理部41。本例的增益確定部43獲取在獲取原圖像數(shù)據(jù)D1時(shí)所使用的光學(xué)系統(tǒng)的個(gè)別的光學(xué)特性，并從增益候補(bǔ)數(shù)據(jù)存儲(chǔ)部44讀出與其光學(xué)特性建立有對應(yīng)關(guān)聯(lián)的增益的候補(bǔ)數(shù)據(jù)，作為應(yīng)用于濾波器應(yīng)用處理數(shù)據(jù)的增益發(fā)送到濾波處理部41。另外，基于增益確定部43的與光學(xué)系統(tǒng)的個(gè)別的光學(xué)特性相關(guān)的信息的獲取方法并無特別限定，增益確定部43例如可從主體控制器25的未圖示的存儲(chǔ)器所保持的攝影條件信息獲取對獲取原圖像數(shù)據(jù)D1時(shí)所使用的各光學(xué)系統(tǒng)進(jìn)行確定的信息來作為間接地顯示光學(xué)系統(tǒng)的個(gè)別的光學(xué)特性的信息。

濾波處理部41在多次濾波處理的每一次處理中，將增益確定部43所確定的增益應(yīng)用于濾波器應(yīng)用處理數(shù)據(jù)來獲取增益應(yīng)用處理數(shù)據(jù)。

圖像處理部35中，還可進(jìn)行上述圖像濾波處理以外的圖像處理。圖像濾波處理以外的各種圖像處理既可在設(shè)置于濾波處理部41的前級的預(yù)處理部40中進(jìn)行，也可在設(shè)置于濾波處理部41的后級的后處理部42中進(jìn)行。即，將接受在預(yù)處理部40中進(jìn)行的各種圖像處理而得到的數(shù)據(jù)作為原圖像數(shù)據(jù)D1進(jìn)行濾波處理部41中的圖像濾波處理，并且，在后處理部42中對接受濾波處理部41中的圖像濾波處理而得到的處理圖像數(shù)據(jù)D2進(jìn)行各種圖像處理。

此外，在本例中，將從預(yù)處理部40輸入到濾波處理部41的圖像數(shù)據(jù)稱為“原圖像數(shù)據(jù)D1”，將從濾波處理部41輸出到后處理部42的圖像數(shù)據(jù)稱為“處理圖像數(shù)據(jù)D2”

圖4是表示圖像處理部35的功能結(jié)構(gòu)的其他例子的框圖。

在圖3所示的例子中，參考預(yù)先存儲(chǔ)于增益候補(bǔ)數(shù)據(jù)存儲(chǔ)部44的增益表信息獲取在濾波處理中所使用的增益，但在圖4所示的例子中，不預(yù)先獲取并存儲(chǔ)增益表信息(增益的候補(bǔ)數(shù)據(jù))，而執(zhí)行濾波處理并獲取增益。即，在圖4所示的例子中，增益獲取部45與濾波處理部41連接，在濾波處理部41中進(jìn)行的多次濾波處理中所使用的增益從增益獲取部45被直接供給到濾波處理部41。增益獲取部45獲取表示獲取原圖像數(shù)據(jù)D1時(shí)所使用的光學(xué)系統(tǒng)的個(gè)別的光學(xué)特性的數(shù)據(jù)，并根據(jù)表示其個(gè)別的光學(xué)特性的數(shù)據(jù)確定圖像濾波處理的作為目標(biāo)的頻率特性，根據(jù)所確定的其“圖像濾波處理的作為目標(biāo)的頻率特性”獲取在多次濾波處理的每一次處理中應(yīng)用于濾波器應(yīng)用處理數(shù)據(jù)的增益，并將該所獲取的增益供給到濾波處理部41。

該增益獲取部45可如圖4所示那樣作為圖像處理部35的一部分而設(shè)置，也可如圖5所示那樣作為與圖像處理部35分體的處理部而設(shè)置。

另外，在圖4及圖5所示的例子中，上述圖像濾波處理以外的圖像處理既可在設(shè)置于濾波處理部41的前級的預(yù)處理部40進(jìn)行，也可在設(shè)置于濾波處理部41的后級的后處理部42進(jìn)行。

接著，對在濾波處理部41中進(jìn)行的圖像濾波處理(多次濾波處理)的具體例進(jìn)行說明。

理想的是，對于根據(jù)相同的設(shè)計(jì)值而制造的多個(gè)光學(xué)系統(tǒng)的每一個(gè)系統(tǒng)，可期待顯示出一定的光學(xué)特性。然而，實(shí)際上即使是根據(jù)相同的設(shè)計(jì)值而制造的光學(xué)系統(tǒng)，因制造誤差等而在個(gè)體間產(chǎn)生偏差，并不一定顯示出相同的光學(xué)特性。因此，為了使用基于光學(xué)特性的濾波器而高精度地進(jìn)行圖像濾波處理，即使根據(jù)相同的設(shè)計(jì)值而制造也無法視為多個(gè)光學(xué)系統(tǒng)的光學(xué)特性相同，需要在獲取各光學(xué)系統(tǒng)的準(zhǔn)確的光學(xué)特性之后獨(dú)立設(shè)計(jì)與各光學(xué)系統(tǒng)相關(guān)的濾波器。然而，為了根據(jù)各光學(xué)系統(tǒng)的光學(xué)特性來構(gòu)建實(shí)際所使用的濾波器，需要大量的運(yùn)算處理，并且需要確保用于存儲(chǔ)濾波器的龐大的存儲(chǔ)容量。通常，使用由有限的多個(gè)抽頭構(gòu)成的FIR濾波器進(jìn)行圖像濾波處理(濾波處理)時(shí)，在獲取各光學(xué)系統(tǒng)的光學(xué)特性之后，計(jì)算與其光學(xué)特性相對應(yīng)的濾波器的頻率特性，之后，需要計(jì)算用于實(shí)現(xiàn)其濾波器的頻率特性的抽頭系數(shù)。這些一系列的處理帶有繁瑣的運(yùn)算，所計(jì)算的抽頭系數(shù)的數(shù)據(jù)量龐大，因此，例如在要求在短時(shí)間內(nèi)計(jì)算出抽頭系數(shù)的情況中，需要高性能的運(yùn)算處理電路及存儲(chǔ)器。

為了實(shí)現(xiàn)圖像濾波處理所需的這種運(yùn)算處理的低負(fù)載化及數(shù)據(jù)量的減小化，在以下實(shí)施方式中，代替構(gòu)建與各光學(xué)系統(tǒng)的光學(xué)特性相對應(yīng)的理想的濾波器，應(yīng)用多次濾波處理并根據(jù)光學(xué)系統(tǒng)的個(gè)別的光學(xué)特性調(diào)整在各濾波處理中所使用的增益，從而可實(shí)現(xiàn)適合于在獲取原圖像數(shù)據(jù)時(shí)所使用的各光學(xué)系統(tǒng)的光學(xué)特性的圖像濾波處理。

另外，在此所說的各光學(xué)系統(tǒng)的光學(xué)特性并不僅限定于由制造誤差等而導(dǎo)致在各光學(xué)系統(tǒng)之間不同的光學(xué)特性，例如可以是根據(jù)光學(xué)系統(tǒng)的類別而原本就不同的光學(xué)特性。即，光學(xué)系統(tǒng)的個(gè)別的光學(xué)特性不限制于由于上述制造誤差等而在個(gè)體間存在偏差的光學(xué)特性。本發(fā)明還可應(yīng)用于使用具有按每個(gè)類別而不同的光學(xué)特性的光學(xué)系統(tǒng)來獲取的原圖像數(shù)據(jù)，作為光學(xué)系統(tǒng)的個(gè)別的光學(xué)特性，還包括按每個(gè)光學(xué)類別而不同的光學(xué)特性。

圖6是圖像濾波處理P的概念圖。本例的圖像濾波處理P包括多次濾波處理(第1濾波處理F1～第N濾波處理FN(其中“N”為2以上的整數(shù)))。通過該“包括多次濾波處理的圖像濾波處理P”，由原圖像數(shù)據(jù)D1生成處理圖像數(shù)據(jù)D2。

圖7是第n濾波處理Fn(其中“n”為1以上且N以下的整數(shù))的概念圖。圖像濾波處理P的各濾波處理(第n濾波處理Fn)包括濾波器應(yīng)用處理PF及增益應(yīng)用處理PG。濾波器應(yīng)用處理PF為對處理對象數(shù)據(jù)D3應(yīng)用濾波器來獲取濾波器應(yīng)用處理數(shù)據(jù)D4的處理，增益應(yīng)用處理PG為對濾波器應(yīng)用處理數(shù)據(jù)D4應(yīng)用增益來獲取增益應(yīng)用處理數(shù)據(jù)D5的處理。

在通過濾波處理部41進(jìn)行的圖像濾波處理P所包括的多次濾波處理(第1濾波處理F1～第N濾波處理FN)的每一次處理中，濾波器應(yīng)用處理PF中應(yīng)用于處理對象數(shù)據(jù)D3的濾波器并無特別限定。

例如，濾波處理部41在多次濾波處理(第1濾波處理F1～第N濾波處理FN)中的至少任一次濾波處理中，可使用根據(jù)光學(xué)系統(tǒng)(透鏡14及光圈15等)的被推測的特性(光學(xué)特性)而確定的濾波器來獲取濾波器應(yīng)用處理數(shù)據(jù)D4。

作為這種“根據(jù)光學(xué)系統(tǒng)的被推測的光學(xué)特性而確定的濾波器”，例如能夠優(yōu)選使用根據(jù)光學(xué)系統(tǒng)(透鏡14及光圈15等)的點(diǎn)擴(kuò)散函數(shù)而確定的濾波器。例如預(yù)先推測基于制造誤差的光學(xué)系統(tǒng)間的光學(xué)特性的偏差，預(yù)先求出對彌補(bǔ)該被推測的光學(xué)特性的偏差有效的濾波器，該所求出的濾波器可在濾波處理部41中的多次濾波處理中使用。推測光學(xué)系統(tǒng)的光學(xué)特性的偏差的方法并無特別限定，基于制造誤差的光學(xué)系統(tǒng)間的光學(xué)特性的偏差可以經(jīng)實(shí)驗(yàn)而求出，也可利用被模型化的函數(shù)求出。并且，對于濾波器的設(shè)計(jì)方法的一例將在后面進(jìn)行敘述，但能夠以利用了維納濾波器等的任意的設(shè)計(jì)基準(zhǔn)的反向?yàn)V波器設(shè)計(jì)方法設(shè)計(jì)濾波器。

并且，濾波處理部41可在多次濾波處理(第1濾波處理F1～第N濾波處理FN)中使用多個(gè)濾波器，所述多個(gè)濾波器為基于光學(xué)系統(tǒng)(透鏡14及光圈15等)的點(diǎn)擴(kuò)散函數(shù)的多個(gè)濾波器，且為通過改變影響點(diǎn)擴(kuò)散函數(shù)的特性的因素而得到的多個(gè)濾波器。作為影響點(diǎn)擴(kuò)散函數(shù)的特性的因素，例如可舉出光圈值(F值)、變焦值(焦點(diǎn)距離)、被攝體距離、聚焦位置、光學(xué)系統(tǒng)類別、成像元件24的傳感器SN比、像高(圖像內(nèi)位置)及光學(xué)系統(tǒng)個(gè)體差等攝影條件。根據(jù)這些因素中一個(gè)或多個(gè)因素的特性數(shù)據(jù)不同的點(diǎn)擴(kuò)散函數(shù)所導(dǎo)出的濾波器可在各濾波器應(yīng)用處理PF中使用。

另外，“根據(jù)光學(xué)系統(tǒng)的特性而確定的濾波器”并不限于基于點(diǎn)擴(kuò)散函數(shù)的濾波器，可將輪廓增強(qiáng)濾波器或其他濾波器用作“根據(jù)光學(xué)系統(tǒng)的特性而確定的濾波器”。即使在為基于點(diǎn)擴(kuò)散函數(shù)的濾波器以外的濾波器(輪廓增強(qiáng)濾波器等)的情況下，也可根據(jù)各種條件(例如上述光圈值(F值)等各種因素)調(diào)整濾波器(輪廓增強(qiáng)濾波器等)，也可在各濾波器應(yīng)用處理PF中使用具有基于根據(jù)各種條件(例如上述光圈值(F值)等各種因素)而改變的光學(xué)特性而被調(diào)整的濾波器系數(shù)(抽頭系數(shù))的輪廓增強(qiáng)濾波器等濾波器。

并且，濾波處理部41在多次濾波處理(第1濾波處理F1～第N濾波處理FN)中的至少任一次濾波處理中，可使用與通過攝影獲取原圖像數(shù)據(jù)D1時(shí)所使用的光學(xué)系統(tǒng)(透鏡14及光圈15等)的特性無關(guān)地被確定的濾波器來獲取濾波器應(yīng)用處理數(shù)據(jù)D4。作為這種“與光學(xué)系統(tǒng)的特性無關(guān)地被確定的濾波器”，例如能夠優(yōu)選使用輪廓增強(qiáng)濾波器。

并且，在濾波器應(yīng)用處理PF中所使用的濾波器可根據(jù)處理對象數(shù)據(jù)D3的像素位置而改變。濾波處理部41在多次濾波處理(第1濾波處理F1～第N濾波處理FN)中的至少任一次濾波處理中，可使用具有與處理對象數(shù)據(jù)D3中的像素位置相對應(yīng)的頻率特性的濾波器來獲取濾波器應(yīng)用處理數(shù)據(jù)D4。并且，無論處理對象數(shù)據(jù)D3的像素位置如何，相同的濾波器可應(yīng)用于處理對象數(shù)據(jù)D3。濾波處理部41在多次濾波處理中的至少任一次濾波處理中，可使用具有與處理對象數(shù)據(jù)D3中像素位置無關(guān)的頻率特性的濾波器來獲取濾波器應(yīng)用處理數(shù)據(jù)D4。

另一方面，在圖像濾波處理P中的多次濾波處理(第1濾波處理F1～第N濾波處理FN)的每一次處理中，在增益應(yīng)用處理PG中應(yīng)用于濾波器應(yīng)用處理數(shù)據(jù)D4的增益是基于根據(jù)獲取原圖像數(shù)據(jù)D1時(shí)所使用的光學(xué)系統(tǒng)的個(gè)別的光學(xué)特性而確定的“圖像濾波處理P的作為目標(biāo)的頻率特性”來獲取。例如，通過基于由攝影獲取原圖像數(shù)據(jù)D1時(shí)所使用的光學(xué)系統(tǒng)(透鏡14及光圈15等)的點(diǎn)擴(kuò)散函數(shù)(光學(xué)傳遞函數(shù))的頻率特性，能夠顯示出圖像濾波處理P的作為目標(biāo)的頻率特性，并能夠使用利用了維納濾波器等的任意的設(shè)計(jì)基準(zhǔn)的反向?yàn)V波器設(shè)計(jì)方法。對該增益的獲取方法的詳細(xì)內(nèi)容將在后面進(jìn)行敘述。

另外，圖像濾波處理P的作為目標(biāo)的頻率特性并不限于基于光學(xué)系統(tǒng)(透鏡14及光圈15等)的點(diǎn)擴(kuò)散函數(shù)(光學(xué)傳遞函數(shù))的頻率特性，能夠?qū)⒏鶕?jù)光學(xué)系統(tǒng)(透鏡14及光圈15等)的攝影條件(上述光圈值(F值)等各種因素)導(dǎo)出的各種頻率特性設(shè)為“圖像濾波處理P的作為目標(biāo)的頻率特性”。因此，例如“根據(jù)光圈值(F值)而峰值不同的頻率特性”也可設(shè)定為“圖像濾波處理P的作為目標(biāo)的頻率特性”。

接著，對進(jìn)行圖像濾波處理P(多次濾波處理)的電路結(jié)構(gòu)例進(jìn)行說明。

構(gòu)成圖像濾波處理P的濾波處理(第1濾波處理F1～第N濾波處理FN)的數(shù)N優(yōu)選小于通過如以往的方法根據(jù)因素設(shè)計(jì)濾波器時(shí)的濾波器的總數(shù)M。以優(yōu)選為M的50％以下，進(jìn)一步優(yōu)選為30％以下，進(jìn)一步優(yōu)選為10％以下的方式設(shè)定構(gòu)成圖像濾波處理P的濾波處理的數(shù)N。其中，對于構(gòu)成圖像濾波處理P的濾波處理的數(shù)N，多次濾波處理中所使用的濾波器中抽頭數(shù)量最大的濾波器的抽頭數(shù)量(最大抽頭數(shù)量)成為上限。這是因?yàn)?，若為濾波器的抽頭數(shù)量以上，則無法增加濾波器的種類。

另外，構(gòu)成圖像濾波處理P的濾波處理的數(shù)N優(yōu)選為10以下，進(jìn)一步優(yōu)選為6以下，進(jìn)一步優(yōu)選為4以下，但濾波處理的數(shù)N的具體的數(shù)值例并不限于這些。并且，構(gòu)成圖像濾波處理P的多次濾波處理(濾波處理部41)中所使用的多個(gè)濾波器的抽頭數(shù)量在濾波器之間可相同也可不同。

在以下與圖8～圖11相關(guān)的說明中，為了方便，假設(shè)“N＝2”，對濾波處理部41中所進(jìn)行的多次濾波處理由第1濾波處理F1及第2濾波處理F2構(gòu)成的情況進(jìn)行說明。其中，“N”為3以上的整數(shù)，在濾波處理部41進(jìn)行3次以上的濾波處理的情況下，也可通過相同的設(shè)計(jì)方法實(shí)現(xiàn)濾波處理部41。

圖8是表示濾波處理部41的電路結(jié)構(gòu)的一例的圖。圖8中示出有串聯(lián)連接進(jìn)行第1濾波處理F1～第N濾波處理FN(其中，本例中“N＝2”)的每一次處理的電路的情況的一例。

本例的濾波處理部41將在第1濾波處理F1中獲取的濾波處理數(shù)據(jù)D6-1用作第2濾波處理F2中的處理對象數(shù)據(jù)D3-2。即，濾波處理部41具有第1濾波器應(yīng)用部48-1、第1增益應(yīng)用部49-1及第1處理數(shù)據(jù)計(jì)算部50-1，且通過它們進(jìn)行第1濾波處理F1。并且，濾波處理部41具有第2濾波器應(yīng)用部48-2、第2增益應(yīng)用部49-2及第2處理數(shù)據(jù)計(jì)算部50-2，且通過它們進(jìn)行第2濾波處理F2。

第1濾波器應(yīng)用部48-1對第1濾波處理F1的處理對象數(shù)據(jù)D3-1應(yīng)用第1濾波處理用濾波器來獲取濾波器應(yīng)用處理數(shù)據(jù)D4-1。第1增益應(yīng)用部49-1對從第1濾波器應(yīng)用部48-1輸出的濾波器應(yīng)用處理數(shù)據(jù)D4-1應(yīng)用第1濾波處理用增益g₀來獲取增益應(yīng)用處理數(shù)據(jù)D5-1。同樣地，第2濾波器應(yīng)用部48-2對第2濾波處理F2的處理對象數(shù)據(jù)D3-2應(yīng)用第2濾波處理用濾波器來獲取濾波器應(yīng)用處理數(shù)據(jù)D4-2。第2增益應(yīng)用部49-2對從第2濾波器應(yīng)用部48-2輸出的濾波器應(yīng)用處理數(shù)據(jù)D4-2應(yīng)用第2濾波處理用增益g₁來獲取增益應(yīng)用處理數(shù)據(jù)D5-2。

另外，在各濾波處理中所使用的濾波器既可以由各濾波器應(yīng)用部48(第1濾波器應(yīng)用部48-1及第2濾波器應(yīng)用部48-2)保持，也可以存儲(chǔ)于未圖示的存儲(chǔ)器而由各濾波器應(yīng)用部48適當(dāng)?shù)刈x出。并且，在各濾波處理中所使用的增益可通過圖3所示的增益確定部43或圖4及圖5所示的增益獲取部45供給到各增益應(yīng)用部49(第1增益應(yīng)用部49-1及第2增益應(yīng)用部49-2)。

并且，本例的濾波處理部41還具有將處理對象數(shù)據(jù)D3與增益應(yīng)用處理數(shù)據(jù)D5相加并輸出濾波處理數(shù)據(jù)D6的第1處理數(shù)據(jù)計(jì)算部50-1及第2處理數(shù)據(jù)計(jì)算部50-2。即，第1處理數(shù)據(jù)計(jì)算部50-1對從第1增益應(yīng)用部49-1輸出的增益應(yīng)用處理數(shù)據(jù)D5-1加上處理對象數(shù)據(jù)D3-1并輸出濾波處理數(shù)據(jù)D6-1。同樣地，第2處理數(shù)據(jù)計(jì)算部50-2對從第2增益應(yīng)用部49-2輸出的增益應(yīng)用處理數(shù)據(jù)D5-2加上處理對象數(shù)據(jù)D3-2并輸出濾波處理數(shù)據(jù)D6-2。

另外，在通過第1濾波處理F1及第2濾波處理F2構(gòu)成圖像濾波處理P的本例中，第1濾波處理F1中的處理對象數(shù)據(jù)D3-1為原圖像數(shù)據(jù)D1，第2濾波處理F2中的濾波處理數(shù)據(jù)D6-2成為處理圖像數(shù)據(jù)D2。

圖9是表示濾波處理部41的電路結(jié)構(gòu)的其他例子的圖。圖9中示出有并聯(lián)連接進(jìn)行第1濾波處理F1～第N濾波處理FN(其中，本例中“N＝2”)的每一次處理的電路的情況的一例。

本例中，串聯(lián)連接與第1濾波處理F1相關(guān)的第1濾波器應(yīng)用部48-1和第1增益應(yīng)用部49-1，且串聯(lián)連接與第2濾波處理F2相關(guān)的第2濾波器應(yīng)用部48-2和第2增益應(yīng)用部49-2。并且，并聯(lián)連接“與第1濾波處理F1相關(guān)的第1濾波器應(yīng)用部48-1及第1增益應(yīng)用部49-1”與“與第2濾波處理F2相關(guān)的第2濾波器應(yīng)用部48-2及第2增益應(yīng)用部49-2”。并且，濾波處理部41具有將從第1增益應(yīng)用部49-1輸出的增益應(yīng)用處理數(shù)據(jù)D5-1與從第2增益應(yīng)用部49-2輸出的增益應(yīng)用處理數(shù)據(jù)D5-2相加的加法器52。另外，設(shè)置有通過將加算數(shù)據(jù)D7和處理對象數(shù)據(jù)D3相加來獲取處理圖像數(shù)據(jù)D2的處理圖像數(shù)據(jù)計(jì)算部51，所述加算數(shù)據(jù)D7通過與在所有濾波處理(本例中為第1濾波處理F1及第2濾波處理F2)中所獲取的增益應(yīng)用處理數(shù)據(jù)D5(濾波處理數(shù)據(jù)D6)相加而獲得。

具有該圖9所示的電路結(jié)構(gòu)的本例的濾波處理部41在第1濾波處理F1及第2濾波處理F2中使用相同的數(shù)據(jù)(即原圖像數(shù)據(jù)D1)來作為處理對象數(shù)據(jù)D3。并且，濾波處理部41根據(jù)在第1濾波處理F1中獲取的濾波處理數(shù)據(jù)D6-1和在第2濾波處理F2中獲取的濾波處理數(shù)據(jù)D6-2來獲取處理圖像數(shù)據(jù)D2。另外，本例中，從各濾波處理的增益應(yīng)用部49輸出的增益應(yīng)用處理數(shù)據(jù)D5成為在各濾波處理中獲得的濾波處理數(shù)據(jù)D6。

圖10是表示濾波處理部41的電路結(jié)構(gòu)的其他例子的圖。圖10中示出有并聯(lián)連接進(jìn)行第1濾波處理F1～第N濾波處理FN(其中，本例中“N＝2”)的每一次處理的電路的其他例子。

本例中，與圖9所示的例子同樣地，串聯(lián)連接與第1濾波處理F1相關(guān)的第1濾波器應(yīng)用部48-1和第1增益應(yīng)用部49-1，且串聯(lián)連接與第2濾波處理F2相關(guān)的第2濾波器應(yīng)用部48-2和第2增益應(yīng)用部49-2。并且，并聯(lián)連接“與第1濾波處理F1相關(guān)的第1濾波器應(yīng)用部48-1及第1增益應(yīng)用部49-1”與“與第2濾波處理F2相關(guān)的第2濾波器應(yīng)用部48-2及第2增益應(yīng)用部49-2”。因此，本例的濾波處理部41在第1濾波處理F1及第2濾波處理F2中也使用相同的數(shù)據(jù)(即原圖像數(shù)據(jù)D1)來作為處理對象數(shù)據(jù)D3。

其中，在本例中，通過處理圖像數(shù)據(jù)計(jì)算部51加算所有濾波處理(本例中為第1濾波處理F1及第2濾波處理F2)中所獲取的增益應(yīng)用處理數(shù)據(jù)D5(濾波處理數(shù)據(jù)D6)，從而獲取處理圖像數(shù)據(jù)D2。即，濾波處理部41通過在處理圖像數(shù)據(jù)計(jì)算部51中將在第1濾波處理F1中獲取的濾波處理數(shù)據(jù)D6-1與在第2濾波處理F2中獲取的濾波處理數(shù)據(jù)D6-2相加來獲取處理圖像數(shù)據(jù)D2。另外，在本例中，從各濾波處理的增益應(yīng)用部49輸出的增益應(yīng)用處理數(shù)據(jù)D5成為在各濾波處理中所獲得的濾波處理數(shù)據(jù)D6。

并且，本例的圖像濾波處理P(第1濾波處理F1～第N濾波處理FN)為了防止處理對象圖像的亮度(DC(Direct Current)成分)發(fā)生變化，優(yōu)選頻率(ω)為0時(shí)的濾波器響應(yīng)被設(shè)定為1且設(shè)定為(φ_n(0)＝1)，且關(guān)于任意的增益，亮度被調(diào)整為恒定。

在上述圖8～圖10所示的例子中，在多次濾波處理的每一次處理中設(shè)置獨(dú)立的“濾波器應(yīng)用部48及增益應(yīng)用部49”，但也可通過共同的“濾波器應(yīng)用部48及增益應(yīng)用部49”進(jìn)行多次濾波處理。

圖11是表示濾波處理部41的電路結(jié)構(gòu)的另一例子的圖。圖11中示出有通過單一的濾波器應(yīng)用部48及單一的增益應(yīng)用部49進(jìn)行多次濾波處理的電路結(jié)構(gòu)的例子。圖11所示的電路結(jié)構(gòu)例在濾波器應(yīng)用處理PF及增益應(yīng)用處理PG中發(fā)揮與上述圖8所示的串聯(lián)連接類型的電路結(jié)構(gòu)等效的功能，但在通過單一的“濾波器應(yīng)用部48及增益應(yīng)用部49”進(jìn)行多次濾波處理的方面與圖8所示的電路結(jié)構(gòu)不同。

即，本例的濾波處理部41具有：濾波器應(yīng)用部48，對處理對象數(shù)據(jù)D3應(yīng)用濾波器來獲取濾波器應(yīng)用處理數(shù)據(jù)D4；及增益應(yīng)用部49，對濾波器應(yīng)用處理數(shù)據(jù)D4應(yīng)用增益來獲取增益應(yīng)用處理數(shù)據(jù)D5。并且，濾波處理部41具有：處理數(shù)據(jù)計(jì)算部50，將增益應(yīng)用處理數(shù)據(jù)D5與處理對象數(shù)據(jù)D3相加而獲取濾波處理數(shù)據(jù)D6；及反復(fù)運(yùn)算判定部54，判定是否反復(fù)濾波器應(yīng)用部48、增益應(yīng)用部49及處理數(shù)據(jù)計(jì)算部50中的運(yùn)算處理。

反復(fù)運(yùn)算判定部54判定通過濾波器應(yīng)用部48、增益應(yīng)用部49及處理數(shù)據(jù)計(jì)算部50進(jìn)行的濾波處理的次數(shù)是否達(dá)到預(yù)先確定的N次(本例中“N＝2”)。當(dāng)通過濾波器應(yīng)用部48、增益應(yīng)用部49及處理數(shù)據(jù)計(jì)算部50進(jìn)行的濾波處理的次數(shù)未達(dá)到N次時(shí)，反復(fù)運(yùn)算判定部54對從處理數(shù)據(jù)計(jì)算部50輸出的濾波處理數(shù)據(jù)D6進(jìn)行反饋。若濾波處理數(shù)據(jù)D6被反饋，則濾波器應(yīng)用部48、增益應(yīng)用部49及處理數(shù)據(jù)計(jì)算部50將所反饋的濾波處理數(shù)據(jù)D6作為新的處理對象數(shù)據(jù)D3反復(fù)一系列的處理。當(dāng)通過濾波器應(yīng)用部48、增益應(yīng)用部49及處理數(shù)據(jù)計(jì)算部50進(jìn)行的濾波處理的次數(shù)達(dá)到N次時(shí)，反復(fù)運(yùn)算判定部54將從處理數(shù)據(jù)計(jì)算部50最終輸出的濾波處理數(shù)據(jù)D6作為處理圖像數(shù)據(jù)D2來輸出。

在本例中，濾波器應(yīng)用部48中所使用的濾波器h_n從濾波器供給部56被供給到濾波器應(yīng)用部48，增益應(yīng)用部49中所使用的增益g_n從增益供給部55被供給到增益應(yīng)用部49。即，“在第n次濾波處理(其中“1≤n≤N”)中所使用的濾波器h_n-1及增益g_n-1的信息”在濾波器供給部56及增益供給部55中被保持，或者被未圖示的存儲(chǔ)器所保持。濾波器供給部56及增益供給部55，從反復(fù)運(yùn)算判定部54發(fā)送“接著在濾波器應(yīng)用部48、增益應(yīng)用部49及處理數(shù)據(jù)計(jì)算部50中進(jìn)行的濾波處理為第n次”這樣的信息，并根據(jù)來自該反復(fù)運(yùn)算判定部54的信息對濾波器應(yīng)用部48及增益應(yīng)用部49供給濾波器h_n-1及增益g_n-1。

因此，圖11所示的濾波器應(yīng)用部48在第1濾波處理F1中使用第1濾波處理用濾波器h₀獲取濾波器應(yīng)用處理數(shù)據(jù)D4，并在第2濾波處理F2中使用第2濾波處理用濾波器h₁獲取濾波器應(yīng)用處理數(shù)據(jù)D4。并且，增益應(yīng)用部49在第1濾波處理F1中使用第1濾波處理用增益g₀獲取增益應(yīng)用處理數(shù)據(jù)D5，并在第2濾波處理F2中使用第2濾波處理用增益g₁獲取增益應(yīng)用處理數(shù)據(jù)D5。

另外，關(guān)于對增益應(yīng)用部49供給增益的增益供給部55，當(dāng)圖像處理部35具有圖3所示的系統(tǒng)結(jié)構(gòu)時(shí)由增益確定部43構(gòu)成，并且當(dāng)圖像處理部35具有圖4或圖5所示的系統(tǒng)結(jié)構(gòu)時(shí)由增益獲取部45構(gòu)成。

上述圖8～圖11所示的電路結(jié)構(gòu)僅為一例，進(jìn)行多次濾波處理的濾波處理部41可由各種電路結(jié)構(gòu)實(shí)現(xiàn)，并且具體的電路結(jié)構(gòu)并無特別限定。

例如，圖11中示出有通過單一的“濾波器應(yīng)用部48及增益應(yīng)用部49”進(jìn)行與圖8所示的串聯(lián)連接類型同等的濾波處理(圖像濾波處理P)的電路結(jié)構(gòu)例，但同樣地，也可通過具有單一的“濾波器應(yīng)用部48及增益應(yīng)用部49”的電路結(jié)構(gòu)進(jìn)行與圖9或圖10所示的并聯(lián)連接類型同等的濾波處理(圖像濾波處理P)。

并且，在圖8所示的串聯(lián)連接類型的電路結(jié)構(gòu)中，可省略第1處理數(shù)據(jù)計(jì)算部50-1及第2處理數(shù)據(jù)計(jì)算部50-2。即，可將從第1增益應(yīng)用部49-1輸出的增益應(yīng)用處理數(shù)據(jù)D5-1設(shè)為第1濾波處理F1的濾波處理數(shù)據(jù)D6-1及第2濾波處理F2的處理對象數(shù)據(jù)D3-2，也可將從第2增益應(yīng)用部49-2輸出的增益應(yīng)用處理數(shù)據(jù)D5-2設(shè)為第2濾波處理F2的濾波處理數(shù)據(jù)D6-2及處理圖像數(shù)據(jù)D2。同樣地，在圖11所示的電路結(jié)構(gòu)中可省略處理數(shù)據(jù)計(jì)算部50，也可將從增益應(yīng)用部49輸出的增益應(yīng)用處理數(shù)據(jù)D5設(shè)為濾波處理數(shù)據(jù)D6。

<增益確定方法>

接著，對在增益應(yīng)用部49(第1增益應(yīng)用部49-1～第N增益應(yīng)用部49-N)中所使用的增益的確定方法進(jìn)行說明。

圖12是表示增益獲取部45的功能結(jié)構(gòu)的一例的框圖，并且表示與圖3所示的圖像處理部35優(yōu)選組合的增益獲取部45。本例的增益獲取部45具有參考圖像獲取部60、參考圖像分析部61、目標(biāo)頻率特性獲取部62及應(yīng)用增益計(jì)算部63。

參考圖像獲取部60獲取反映了在獲取成為圖像濾波處理P的對象的原圖像數(shù)據(jù)D1時(shí)所使用的光學(xué)系統(tǒng)的個(gè)別的光學(xué)特性的參考圖像數(shù)據(jù)。通過參考圖像獲取部60獲取參考圖像數(shù)據(jù)的方法并無特別限定。例如，如后述那樣，通過在將包括測量對象的光學(xué)系統(tǒng)的透鏡單元11安裝于相機(jī)主體12的狀態(tài)下引導(dǎo)用戶來進(jìn)行拍攝，從而可從成像元件24對參考圖像獲取部60輸入?yún)⒖紙D像數(shù)據(jù)。并且，預(yù)先進(jìn)行利用包括測量對象的光學(xué)系統(tǒng)的透鏡單元11進(jìn)行的拍攝來獲取的參考圖像數(shù)據(jù)被保存于存儲(chǔ)器(圖1所示的主體存儲(chǔ)部29等)時(shí)，參考圖像獲取部60可從該存儲(chǔ)器讀出與測量對象的光學(xué)系統(tǒng)相關(guān)的參考圖像數(shù)據(jù)。

另外，參考圖像數(shù)據(jù)的被攝體并無特別限定，即可通過具有特定的形狀、模樣及顏色的被攝體的攝影來獲取參考圖像數(shù)據(jù)，也可通過具有不特定的形狀、模樣及顏色的被攝體的攝影來獲取參考圖像數(shù)據(jù)。當(dāng)通過具有特定的形狀、模樣及顏色的被攝體的攝影來獲取參考圖像數(shù)據(jù)時(shí)，優(yōu)選參考圖像獲取部60如后述那樣與設(shè)備控制部34(顯示控制部36等)協(xié)作而控制顯示部27中的顯示等，并引導(dǎo)用戶來進(jìn)行這種被攝體的攝影的引導(dǎo)。并且，當(dāng)通過具有不特定的形狀、模樣及顏色的被攝體的攝影獲取參考圖像數(shù)據(jù)時(shí)，參考圖像獲取部60也可對保存于主體存儲(chǔ)部29的過去的攝影圖像數(shù)據(jù)進(jìn)行分析，并且從過去的攝影圖像數(shù)據(jù)中選擇數(shù)據(jù)而作為參考圖像數(shù)據(jù)進(jìn)行特定，所述數(shù)據(jù)為使用包括測量對象的光學(xué)系統(tǒng)的透鏡單元11獲取的數(shù)據(jù)，且為具有作為參考圖像數(shù)據(jù)優(yōu)選的圖像特性的數(shù)據(jù)。

參考圖像分析部61進(jìn)行通過參考圖像獲取部60獲取的參考圖像數(shù)據(jù)的分析，并且獲取在獲取原圖像數(shù)據(jù)D1時(shí)所使用的光學(xué)系統(tǒng)的個(gè)別的光學(xué)特性。具體而言，參考圖像分析部61進(jìn)行參考圖像數(shù)據(jù)的頻率分析，并且例如可獲取點(diǎn)擴(kuò)散函數(shù)(光學(xué)傳遞函數(shù))來作為測量對象即光學(xué)系統(tǒng)的個(gè)別的光學(xué)特性。

目標(biāo)頻率特性獲取部62根據(jù)參考圖像分析部61所獲取的光學(xué)系統(tǒng)的個(gè)別的光學(xué)特性來確定在使用該光學(xué)系統(tǒng)攝影獲取的原圖像數(shù)據(jù)D1的圖像濾波處理P中作為目標(biāo)的頻率特性。例如，當(dāng)圖像濾波處理P為意圖消除光學(xué)系統(tǒng)的點(diǎn)擴(kuò)散現(xiàn)象的點(diǎn)像復(fù)原處理時(shí)，目標(biāo)頻率特性獲取部62根據(jù)參考圖像分析部61所獲取的光學(xué)系統(tǒng)的個(gè)別的點(diǎn)擴(kuò)散函數(shù)(光學(xué)傳遞函數(shù))，以利用了維納濾波器等的任意設(shè)計(jì)基準(zhǔn)的反向?yàn)V波器設(shè)計(jì)方法構(gòu)建濾波器，由此可獲取圖像濾波處理P的作為目標(biāo)的頻率特性。

應(yīng)用增益計(jì)算部63根據(jù)目標(biāo)頻率特性獲取部62所確定的“圖像濾波處理P的作為目標(biāo)的頻率特性”獲取在多次濾波處理的每一次處理中應(yīng)用于濾波器應(yīng)用處理數(shù)據(jù)的增益(候補(bǔ)數(shù)據(jù))?；趹?yīng)用增益計(jì)算部63的增益的獲取方法并無特別限定，例如可通過最小二乘法計(jì)算增益。即，應(yīng)用增益計(jì)算部63相對于目標(biāo)頻率特性獲取部62所確定的“圖像濾波處理P的作為目標(biāo)的頻率特性”，根據(jù)多次濾波處理的每一次處理中的頻率特性以最小二乘法擬合圖像濾波處理P的頻率特性，從而可獲取在多次濾波處理的每一次處理中應(yīng)用于濾波器應(yīng)用處理數(shù)據(jù)的增益。

應(yīng)用增益計(jì)算部63將所獲取的增益作為“增益的候補(bǔ)數(shù)據(jù)”存儲(chǔ)于增益候補(bǔ)數(shù)據(jù)存儲(chǔ)部44。優(yōu)選增益的候補(bǔ)數(shù)據(jù)在與增益選定條件建立對應(yīng)關(guān)聯(lián)的狀態(tài)下存儲(chǔ)于增益候補(bǔ)數(shù)據(jù)存儲(chǔ)部44，所述增益選定條件與圖像濾波處理P的作為目標(biāo)的頻率特性相關(guān)聯(lián)。作為增益選定條件，可優(yōu)選使用表示可影響圖像濾波處理P的作為目標(biāo)的頻率特性的各種因素的特性數(shù)據(jù)。因此，圖像濾波處理P的作為目標(biāo)的頻率特性為“基于通過攝影獲取原圖像數(shù)據(jù)D1時(shí)所使用的光學(xué)系統(tǒng)(透鏡14及光圈15等)的點(diǎn)擴(kuò)散函數(shù)(光學(xué)傳遞函數(shù))的頻率特性”時(shí)，與影響該點(diǎn)擴(kuò)散函數(shù)的各種因素(例如用于獲取原圖像數(shù)據(jù)D1的攝影時(shí)的光圈值(F值)、變焦值(焦點(diǎn)距離)、被攝體距離、聚焦位置、光學(xué)系統(tǒng)類別、成像元件24的傳感器SN比、像高(圖像內(nèi)位置)及光學(xué)系統(tǒng)個(gè)體差等攝影條件)相關(guān)的特性數(shù)據(jù)可作為“增益選定條件”而與增益的候補(bǔ)數(shù)據(jù)建立對應(yīng)關(guān)聯(lián)。

如此將增益的候補(bǔ)數(shù)據(jù)與增益選定條件建立對應(yīng)關(guān)聯(lián)來存儲(chǔ)于增益候補(bǔ)數(shù)據(jù)存儲(chǔ)部44時(shí)，參考圖像獲取部60優(yōu)選獲取在多個(gè)增益選定條件下攝影獲取的多個(gè)參考圖像數(shù)據(jù)，參考圖像分析部61優(yōu)選對在多個(gè)增益選定條件下攝影獲取的多個(gè)參考圖像數(shù)據(jù)進(jìn)行分析來獲取光學(xué)特性。并且，目標(biāo)頻率特性獲取部62優(yōu)選從多個(gè)增益選定條件下的光學(xué)特性獲取與多個(gè)增益選定條件相關(guān)的圖像濾波處理P的作為目標(biāo)的頻率特性，應(yīng)用增益計(jì)算部63優(yōu)選獲取與多個(gè)增益選定條件建立關(guān)聯(lián)的增益，并將該增益與對應(yīng)的增益選定條件建立對應(yīng)關(guān)聯(lián)來存儲(chǔ)于增益候補(bǔ)數(shù)據(jù)存儲(chǔ)部44。

圖13是表示圖12所示的增益獲取部45的增益獲取流程的流程圖。在本例中，如上所述，首先通過參考圖像獲取部60獲取使用測量對象的光學(xué)系統(tǒng)(透鏡單元11)攝影獲取的參考圖像數(shù)據(jù)(圖13的S11)，并通過參考圖像分析部61進(jìn)行該參考圖像數(shù)據(jù)的分析而獲取測量對象的光學(xué)系統(tǒng)的個(gè)別的光學(xué)特性(S12)。而且，根據(jù)測量對象的光學(xué)系統(tǒng)的個(gè)別的光學(xué)特性通過目標(biāo)頻率特性獲取部62獲取圖像濾波處理P的作為目標(biāo)的頻率特性(S13)，并根據(jù)該作為目標(biāo)的頻率特性通過應(yīng)用增益計(jì)算部63獲取增益的候補(bǔ)數(shù)據(jù)(S14)。

如此獲取的增益的候補(bǔ)數(shù)據(jù)作為與測量對象的光學(xué)系統(tǒng)的個(gè)別的光學(xué)特性建立關(guān)聯(lián)的“增益表信息”，通過應(yīng)用增益計(jì)算部63被存儲(chǔ)于增益候補(bǔ)數(shù)據(jù)存儲(chǔ)部44(S15)。由此，增益確定部43從存儲(chǔ)于增益候補(bǔ)數(shù)據(jù)存儲(chǔ)部44的增益的候補(bǔ)數(shù)據(jù)中，確定在多次濾波處理的每一次處理中應(yīng)用于濾波器應(yīng)用處理數(shù)據(jù)的增益，并能夠?qū)⒃撍_定的增益發(fā)送到濾波處理部41。

圖14是表示增益獲取部45的功能結(jié)構(gòu)的其他例子的框圖，并且表示與圖4及圖5所示的圖像處理部35優(yōu)選組合的增益獲取部45。本例的增益獲取部45具有目標(biāo)頻率特性獲取部62及應(yīng)用增益計(jì)算部63，目標(biāo)頻率特性獲取部62從頻率分析部66的頻率特性存儲(chǔ)部68獲取圖像濾波處理P的作為目標(biāo)的頻率特性。

頻率分析部66具有參考圖像獲取部60、參考圖像分析部61、目標(biāo)頻率特性確定部67及頻率特性存儲(chǔ)部68。本例的參考圖像獲取部60及參考圖像分析部61與圖12所示的上述參考圖像獲取部60及參考圖像分析部61同樣地獲取參考圖像數(shù)據(jù)，并獲取在獲取原圖像數(shù)據(jù)D1時(shí)所使用的光學(xué)系統(tǒng)的個(gè)別的光學(xué)特性。并且，本例的目標(biāo)頻率特性確定部67與圖12所示的上述目標(biāo)頻率特性獲取部62同樣地，根據(jù)參考圖像分析部61所獲取的光學(xué)系統(tǒng)的個(gè)別的光學(xué)特性而確定在使用該光學(xué)系統(tǒng)攝影獲取的原圖像數(shù)據(jù)D1的圖像濾波處理P中作為目標(biāo)的頻率特性。

其中，本例的目標(biāo)頻率特性確定部67將與所確定的圖像濾波處理P的作為目標(biāo)的頻率特性相關(guān)的數(shù)據(jù)與對應(yīng)的光學(xué)系統(tǒng)的數(shù)據(jù)建立對應(yīng)關(guān)聯(lián)而存儲(chǔ)于頻率特性存儲(chǔ)部68。在此所說的“對應(yīng)的光學(xué)系統(tǒng)的數(shù)據(jù)”為可確定測量對象的各光學(xué)系統(tǒng)的任意的數(shù)據(jù)，例如可由分配到各光學(xué)系統(tǒng)的ID號碼等表示。

本例的目標(biāo)頻率特性獲取部62獲取濾波處理部41中的成為圖像濾波處理P的對象的原圖像數(shù)據(jù)D1的攝影時(shí)所使用的光學(xué)系統(tǒng)的ID號碼(對應(yīng)的光學(xué)系統(tǒng)的數(shù)據(jù))，并從頻率特性存儲(chǔ)部68獲取與根據(jù)該ID號碼來拍攝原圖像數(shù)據(jù)D1時(shí)所使用的光學(xué)系統(tǒng)建立有對應(yīng)關(guān)聯(lián)的與圖像濾波處理P的作為目標(biāo)的頻率特性相關(guān)的數(shù)據(jù)。應(yīng)用增益計(jì)算部63根據(jù)目標(biāo)頻率特性獲取部62所確定的“圖像濾波處理P的作為目標(biāo)的頻率特性”，獲取在多次濾波處理的每一次處理中應(yīng)用于濾波器應(yīng)用處理數(shù)據(jù)的增益并供給到濾波處理部41。

如此，本例的增益獲取部45從頻率特性存儲(chǔ)部68讀出與原圖像數(shù)據(jù)D1的攝影時(shí)所使用的光學(xué)系統(tǒng)相關(guān)的“圖像濾波處理P的作為目標(biāo)的頻率特性”來獲取增益。因此，能夠?qū)㈩l率分析部66中的“用于獲取圖像濾波處理P的作為目標(biāo)的頻率特性的處理”與增益獲取部45中的“用于獲取濾波處理部41中實(shí)際使用的增益的處理”分開。

圖15是表示圖14所示的頻率分析部66的頻率特性獲取流程的流程圖。本例中，如上所述，首先通過參考圖像獲取部60獲取使用測量對象的光學(xué)系統(tǒng)而攝影獲取的參考圖像數(shù)據(jù)(圖15的S21)，通過參考圖像分析部61進(jìn)行該參考圖像數(shù)據(jù)的分析來獲取測量對象的光學(xué)系統(tǒng)的個(gè)別的光學(xué)特性(S22)。而且，通過目標(biāo)頻率特性確定部67根據(jù)測量對象的光學(xué)系統(tǒng)的個(gè)別的光學(xué)特性確定圖像濾波處理P的作為目標(biāo)的頻率特性(S23)，存儲(chǔ)于頻率特性存儲(chǔ)部68(S24)。

圖16是表示圖14所示的增益獲取部45的增益獲取流程的流程圖。本例中，如上所述，首先通過目標(biāo)頻率特性獲取部62從頻率特性存儲(chǔ)部68獲取與濾波處理部41中的成為圖像濾波處理P的對象的原圖像數(shù)據(jù)D1的攝影時(shí)所使用的光學(xué)系統(tǒng)建立對應(yīng)關(guān)聯(lián)的圖像濾波處理P的作為目標(biāo)的頻率特性相關(guān)的數(shù)據(jù)(圖16的S31)。而且，通過應(yīng)用增益計(jì)算部63根據(jù)該作為目標(biāo)的頻率特性獲取在濾波處理中所使用的增益(S32)，供給到濾波處理部41(S33)。

<增益系數(shù)(增益值矢量)的計(jì)算方法>

以下，對上述增益獲取部45(尤其應(yīng)用增益計(jì)算部63)中的運(yùn)算處理的具體的流程進(jìn)行說明。作為一例，主要對濾波處理部41具有圖10所示的電路結(jié)構(gòu)的情況進(jìn)行說明，但對于濾波處理部41具有其他電路結(jié)構(gòu)(參考圖8～圖9及圖11)的情況也可通過同樣的運(yùn)算處理計(jì)算增益。

以下的方法采用根據(jù)頻率及圖像內(nèi)的位置(像素位置)的每一個(gè)進(jìn)行加權(quán)的最小二乘基準(zhǔn)，并以使通過濾波處理部41進(jìn)行的圖像濾波處理P整體的頻率特性接近作為目標(biāo)的所希望的頻率特性的方式求出增益。

在圖10所示的電路結(jié)構(gòu)中，由“φ_n-1(ω)”表示進(jìn)行第n濾波處理Fn(其中“1≤n≤N”)的濾波器應(yīng)用部48-n中所使用的濾波器的頻率特性，并且若由“g_n-1”表示增益應(yīng)用部49-n中所使用的增益，則第n濾波處理Fn的頻率特性由“g_n-1φ_n-1(ω)”來表示。因此，若由“f(ω)”表示濾波處理部41所進(jìn)行的圖像濾波處理P(第1濾波處理F1～第N濾波處理FN)整體的頻率特性，則“f(ω)＝g₀φ₀(ω)……+g_N-1φ_N-1(ω)(其中“N”為2以上的整數(shù))”成立。

另外，在圖8及圖11所示的電路結(jié)構(gòu)中，若由“1+g_n-1(ψ_n-1(ω)-1)”表示第n濾波處理Fn整體的頻率特性，則在各濾波器應(yīng)用部48中所使用的濾波器的頻率特性φ_n-1(ω)由“φ_n-1(ω)＝ψ_n-1(ω)-1”來表示，圖像濾波處理P整體的頻率特性f(ω)由“f(ω)＝(1+g₀φ₀(ω))……×(1+g_N-1φ_N-1(ω))”來表示。并且，在圖9所示的電路結(jié)構(gòu)中，圖像濾波處理P整體的頻率特性f(ω)由“f(ω)＝1+g₀φ₀(ω)……+g_N-1φ_N-1(ω)”來表示。

因此，下述與圖10的電路結(jié)構(gòu)相關(guān)的說明中，通過將圖10的電路結(jié)構(gòu)的頻率特性“f(ω)＝g₀φ₀(ω)……+g_N-1φ_N-1(ω)”應(yīng)用于頻率特性“f(ω)＝1+g₀φ₀(ω)……+g_N-1φ_N-1(ω)”，從而也能夠應(yīng)用于圖9所示的電路結(jié)構(gòu)。例如，將圖9的電路結(jié)構(gòu)的上述頻率特性f(ω)中的“1+g₀φ₀(ω)”作為“圖10的電路結(jié)構(gòu)的上述頻率特性f(ω)中的“g₀φ₀(ω)””進(jìn)行處理，從而與圖10的電路結(jié)構(gòu)相關(guān)的下述說明還可應(yīng)用到圖9所示的電路結(jié)構(gòu)。同樣地，與圖10的電路結(jié)構(gòu)相關(guān)的下述說明中，通過將圖10的電路結(jié)構(gòu)的頻率特性“f(ω)＝g₀φ₀(ω)……+g_N-1φ_N-1(ω)”應(yīng)用到“f(ω)＝(1+g₀φ₀(ω))……×(1+g_N-1φ_N-1(ω))”，從而還可應(yīng)用到圖8及圖11所示的電路結(jié)構(gòu)。另外，在該情況下，通過利用對數(shù)化處理，從而圖8及圖11所示的電路結(jié)構(gòu)的頻率特性f(ω)的積的運(yùn)算式被轉(zhuǎn)換為和的運(yùn)算式，可容易地將與圖10的電路結(jié)構(gòu)相關(guān)的下述說明應(yīng)用到圖8及圖11所示的電路結(jié)構(gòu)。

在此，假設(shè)第n濾波處理Fn的濾波器應(yīng)用部48-n中所使用的濾波器為基于以拍攝獲取原圖像數(shù)據(jù)D1時(shí)所使用的光學(xué)系統(tǒng)(透鏡14及光圈15等)的點(diǎn)擴(kuò)散函數(shù)的圖像復(fù)原用濾波器?；邳c(diǎn)擴(kuò)散函數(shù)的圖像復(fù)原用濾波器，如下所述，關(guān)于頻率ω具有二維自由度，并且關(guān)于圖像內(nèi)位置(像素位置)r具有二維自由度，因此成為具有總計(jì)“4自由度”的頻率特性。

[數(shù)式1]

ω∈R²

r∈R²

R²：二維實(shí)數(shù)列矢量空間

若使用這種頻率矢量ω及圖像內(nèi)位置矢量r，則能夠由“φ_n-1(ω，r)”表示在第n濾波處理Fn的濾波器應(yīng)用部48-n中所使用的濾波器的頻率特性。通過關(guān)于針對頻率為N_ω個(gè)且針對圖像內(nèi)位置為N_r個(gè)的采樣點(diǎn)進(jìn)行濾波器的頻率特性φ_n(ω，r)的離散化來獲得下述矢量φ_n。

[數(shù)式2]

C^N：N維復(fù)數(shù)列矢量空間

Kronecker積

e_j：N_ω維列矢量空間的標(biāo)準(zhǔn)基底

e_k：N_r維列矢量空間的標(biāo)準(zhǔn)基底

另外，頻率“ω_j”及圖像內(nèi)位置“r_k”可由下述式表示，“ω_j”表示與頻率相關(guān)的N_ω個(gè)采樣點(diǎn)，“r_k”表示與圖像內(nèi)位置相關(guān)的N_r個(gè)采樣點(diǎn)。

[數(shù)式3]

由在多次濾波處理(第1濾波處理F1～第N濾波處理FN)中所使用的增益構(gòu)成的增益矢量(增益組)g由下述式表示。

[數(shù)式4]

g＝[g₀ g₁ ··· g_N-1]^T

T：轉(zhuǎn)置(Transpose)

設(shè)定有由上述式表示的增益的圖像濾波處理P整體(整個(gè)濾波處理部41)的頻率特性「f(ω，r|g)」在圖10所示的電路結(jié)構(gòu)中，由下述式表示。

[數(shù)式5]

另一方面，欲實(shí)現(xiàn)的“圖像濾波處理P的作為目標(biāo)的頻率特性“d(ω，r)””可通過任意的方法來確定，其確定方法并無特別限定。通常，基于點(diǎn)擴(kuò)散函數(shù)的復(fù)原濾波器能夠通過卷積型濾波器適當(dāng)?shù)貙?shí)現(xiàn)。作為確定基于點(diǎn)擴(kuò)散函數(shù)的濾波器的頻率特性的方法有各種方法，例如廣泛使用考慮到攝影光學(xué)系統(tǒng)的SN比的維納濾波器。維納濾波器能夠通過下述式并根據(jù)點(diǎn)擴(kuò)散函數(shù)的光學(xué)傳遞函數(shù)(OTF)及SN比的信息表示濾波器的頻率特性。因此，可根據(jù)該維納濾波器確定欲實(shí)現(xiàn)的圖像濾波處理P的作為目標(biāo)的頻率特性“d(ω，r)”。

[數(shù)式6]

H(ω，r)：光學(xué)系統(tǒng)的OTF

H^*(ω，r)：光學(xué)系統(tǒng)的OTF的復(fù)共軛

SNR(ω，r)：攝像系統(tǒng)的SN比

由“f(ω，r|g)”表示圖像濾波處理P整體的頻率特性，由“d(ω，r)”表示欲實(shí)現(xiàn)的圖像濾波處理P的作為目標(biāo)的頻率特性，由“w(ω，r)”表示近似加權(quán)函數(shù)。此時(shí)，能夠?qū)τ上率鍪奖硎镜幕诩訖?quán)最小二乘準(zhǔn)則的類函數(shù)“J_LMS[g]”進(jìn)行最小化的增益矢量設(shè)為圖像濾波處理P中的表示最佳頻率特性的增益矢量。

[數(shù)式7]

J_LMS[g]＝∫∫w(ω，r)||f(ω，r|g)-d(ω，r)||²dωdr

若通過頻率及圖像內(nèi)位置的采樣點(diǎn)對上述式進(jìn)行離散化，則可獲得下述式。

[數(shù)式8]

J′_LMS[g]＝||W^1/2(Ag-d)||²

其中

W＝diag[w]

A＝[φ₀ φ₁ ··· φ_N-1]

上述式中“diag”表示將參數(shù)矢量設(shè)為對角元素的對角矩陣，上述式的“w”及“d”以與“矢量φ_n”相關(guān)的上述方法相同的方式分別將“w(ω，r)”及“d(ω，r)”矢量化。

根據(jù)上述式，增益矢量的最優(yōu)解g_OPT由下述式來表示。

[數(shù)式9]

H：伴隨矩延(Hermitian Transpose)

如果近似加權(quán)函數(shù)及各濾波器的頻率特性(濾波器系數(shù))被確定，則上述式中的“(A^HWA)^-1A^HW”的部分由可預(yù)先計(jì)算的矩陣表示。如此，增益矢量的最優(yōu)解g_OPT能夠通過對根據(jù)表示個(gè)別的像劣化特性的點(diǎn)擴(kuò)散函數(shù)而獲取的濾波器特性應(yīng)用矩陣的運(yùn)算來計(jì)算。

另外，當(dāng)濾波處理部41采用圖10所示的電路結(jié)構(gòu)時(shí)，優(yōu)選除了上述條件之外，還可應(yīng)用為了防止圖像的DC成分(亮度)的改變而將DC成分的放大率(增益)設(shè)為1.0倍這樣的約束條件。具體而言，按照下述式獲取增益矢量的最優(yōu)解g_OPT的情況相當(dāng)于“將DC成分的放大率設(shè)為1.0倍而未改變圖像整體的亮度”的情況。

[數(shù)式10]

上述式能夠作為QP(Quadratic Programming)問題進(jìn)行處理，“N”較小時(shí)，能夠以較小的計(jì)算量解決。并且，如作為一例以下述式表示那樣，通過對各濾波器的DC成分的放大率設(shè)置限制，能夠排除DC成分的放大率的限制(約束條件)。

[數(shù)式11]

φ₀(0)＝1，φ_i(0)＝0(1≤i＜N)

<加權(quán)的設(shè)計(jì)>

上述最小二乘法中，如由“w(ω，r)”所表示那樣，根據(jù)頻率及圖像內(nèi)位置(像素位置)的每一個(gè)對頻率特性的近似精度進(jìn)行加權(quán)。例如，根據(jù)上述近似誤差評價(jià)函數(shù)J_LMS[g]進(jìn)行基于最小二乘法的頻率特性的近似時(shí)，其近似誤差評價(jià)函數(shù)J_LMS[g]根據(jù)頻率和圖像內(nèi)位置(像素位置)進(jìn)行加權(quán)。通過調(diào)整該加權(quán)能夠控制畫質(zhì)。即，通過最小二乘法而近似于圖像濾波處理P的作為目標(biāo)的頻率特性時(shí)，通過對特定的頻率或特定的像素位置調(diào)整加權(quán)，能夠在最小二乘法中提高與特定的頻率或特定的像素位置相關(guān)的近似精度，并且能夠控制畫質(zhì)。

例如，上述最小二乘法中，可將低頻帶中的加權(quán)設(shè)定為大于高頻帶中的加權(quán)。通常，在人類的視覺特性上，低頻成分比高頻成分更容易被感知，因此作為“近似于圖像濾波處理P的作為目標(biāo)的頻率特性”的精度使低頻成分優(yōu)先于高頻成分，從而能夠高精度地處理低頻成分。

另外，在此所說的“低頻帶(低頻成分)”及“高頻帶(高頻成分)”表示相對頻率范圍(頻帶)。例如，可將采樣頻率的1/4(＝0.25fs)以下的范圍視為“低頻帶(低頻成分)”，并且將大于0.25fs且為0.5fs以下范圍視為“高頻帶(高頻成分)”。

并且，在上述最小二乘法中，可根據(jù)獲取原圖像數(shù)據(jù)D1時(shí)的攝影條件，將高頻帶中的加權(quán)設(shè)定為大于低頻帶中的加權(quán)。通常，噪聲較多時(shí)，若濾波器的高頻特性差，則會(huì)導(dǎo)致噪聲放大。因此，在可預(yù)想到噪聲較多的攝影條件下獲取的原圖像數(shù)據(jù)D1的圖像濾波處理P中，有時(shí)優(yōu)選作為“近似于圖像濾波處理P的作為目標(biāo)的頻率特性”的精度而使高頻成分優(yōu)先于低頻成分。

另外，在此所說的“獲取原圖像數(shù)據(jù)D1時(shí)的攝影條件”并無特別限定。能夠?qū)⒖捎绊懺肼暳康娜我獾囊蛩卦O(shè)為攝影條件，例如可采用光圈值(F值)或成像元件24的攝影感度來作為可影響噪聲量的“獲取原圖像數(shù)據(jù)D1時(shí)的攝影條件”。

并且，上述最小二乘法中的加權(quán)可根據(jù)原圖像數(shù)據(jù)D1中的像素位置來確定。例如，當(dāng)通過使用一般用戶所使用的通常的數(shù)碼相機(jī)進(jìn)行拍攝而獲取原圖像數(shù)據(jù)D1時(shí)，通常主要被攝體配置于圖像中央部，因此有重視圖像中央部的像素位置的高頻成分的傾向。另一方面，在監(jiān)控?cái)z像機(jī)等中攝影范圍的邊界附近的圖像的重要性較高時(shí)，有重視圖像周邊部的像素位置的高頻成分的傾向。如此，有時(shí)根據(jù)原圖像數(shù)據(jù)D1中的像素位置而重要度不同，并且可根據(jù)攝像裝置的種類或攝影圖像的用途(產(chǎn)品)來確定加權(quán)較高的像素位置(被優(yōu)先的像素位置)。

例如，在一般用戶所使用的數(shù)碼相機(jī)10所具備的光學(xué)系統(tǒng)中，中央部具有通常分辨率較高且不依賴于頻率的優(yōu)異的分辨特性，周邊部有分辨性能下降的傾向。因此，在通過使用圖1所示的數(shù)碼相機(jī)10進(jìn)行拍攝而獲取的原圖像數(shù)據(jù)D1的圖像濾波處理P中，在圖像中央部增加高頻帶的加權(quán)，在圖像周邊部增加低頻帶的加權(quán)，從而能夠進(jìn)行與光學(xué)特性相應(yīng)的畫質(zhì)改善。即，在上述最小二乘法中，在原圖像數(shù)據(jù)D1的距離圖像中心為第1距離以下的像素位置(低像高的像素位置)，可將高頻帶中的加權(quán)設(shè)為大于原圖像數(shù)據(jù)D1的距離圖像中心比第l距離遠(yuǎn)的像素位置(高像高的像素位置)。并且，在上述最小二乘法中，在原圖像數(shù)據(jù)D1的距離圖像中心比第2距離遠(yuǎn)的像素位置(高像高的像素位置)，可將低頻帶中的加權(quán)設(shè)為大于原圖像數(shù)據(jù)D1的距離圖像中心為第2距離以下的像素位置(低像高的像素位置)。

另外，在此所說的“高頻帶”優(yōu)選包含于大于0.25fs且為0.5fs以下的范圍，“低頻帶”優(yōu)選包含于0.25fs以下的范圍。并且，在此所說的“第1距離”與“第2距離”既可相同，也可不同。

<濾波器的頻率特性不包括頻率衰減時(shí)的設(shè)計(jì)>

通過具有如圖8所示的串聯(lián)連接類型的電路結(jié)構(gòu)的濾波處理部41進(jìn)行多次濾波處理時(shí)，優(yōu)選根據(jù)在各濾波器應(yīng)用部48中應(yīng)用于處理對象數(shù)據(jù)D3的濾波器的頻率特性是否具有頻率衰減來設(shè)計(jì)控制方法。頻率衰減在“由光學(xué)系統(tǒng)的點(diǎn)擴(kuò)散函數(shù)表示的點(diǎn)像的擴(kuò)散(模糊)的程度較大”且“SN比較低”時(shí)尤其有效地發(fā)揮作用，并且?guī)硪种聘哳l帶中的噪聲成分的效果。

例如，在各濾波器應(yīng)用部48中所使用的濾波器無需具有頻率衰減效果時(shí)，能夠根據(jù)下述式設(shè)定圖10所示的濾波處理部41的各濾波器應(yīng)用部48中所使用的濾波器的頻率特性φ_n(ω)。

[數(shù)式12]

上述式表示當(dāng)在各濾波器應(yīng)用部48中所使用的濾波器的頻率特性φ_n(ω)滿足“|φ_n(ω)|＞1”時(shí)，使用具有本來的頻率特性φ_n(ω)的濾波器，且當(dāng)滿足“|φ_n(ω)|≤1”時(shí)，使用成為“頻率特性(響應(yīng))＝1”的濾波器。

另外，各濾波器應(yīng)用部48中所使用的濾波器無需具有頻率衰減效果時(shí)，圖8～圖9及圖11所示的濾波處理部41的各濾波器應(yīng)用部48中所使用的濾波器的頻率特性φ_n(ω)例如能夠根據(jù)下述式來設(shè)定。

[數(shù)式13]

并且，構(gòu)成濾波處理部41的電路結(jié)構(gòu)為如圖8所示的串聯(lián)連接類型時(shí)，圖像濾波處理P整體的頻率特性根據(jù)在各濾波器應(yīng)用部48中所使用的濾波器的頻率特性的積來表現(xiàn)。為了與“并聯(lián)連接類型的圖像濾波處理P整體的頻率特性”同樣地處理該“串聯(lián)連接類型的圖像濾波處理P整體的頻率特性”，優(yōu)選通過將在串聯(lián)連接類型的圖像濾波處理P中所使用的所有濾波器的頻率特性對數(shù)化而將“積”的問題轉(zhuǎn)換為“和”的問題。此時(shí)，通過與具有并聯(lián)連接類型的電路結(jié)構(gòu)的濾波處理部41相關(guān)的增益矢量的最優(yōu)解g_OPT的計(jì)算方法相同的運(yùn)算處理，能夠計(jì)算與具有串聯(lián)連接類型的電路結(jié)構(gòu)的濾波處理部41相關(guān)的增益矢量的最優(yōu)解g_OPT。另外，在濾波器的頻率特性不包括衰減特性的情況中，通過上述對數(shù)化，濾波器的頻率特性不會(huì)成為較大的負(fù)值，能夠利用下述式進(jìn)行復(fù)數(shù)的對數(shù)化。

[數(shù)式14]

log z＝log|z|+j(∠Z+2nπ)

z：復(fù)數(shù)(＝x+jy＝re^j0)

j：虛數(shù)單位

r_c：絕對值

x＝＝r_ccosθ

y＝r_csinθ

θ：偏角(＝∠z)

<濾波器的頻率特性包括頻率衰減時(shí)的設(shè)計(jì)>

例如，在具有如圖8所示的串聯(lián)連接類型的電路結(jié)構(gòu)的濾波處理部41中，各濾波器應(yīng)用部48中所使用的濾波器的頻率特性包括頻率衰減時(shí)，優(yōu)選注意以下方面。即，頻率放大率接近0倍時(shí)，對數(shù)化后的值成為較大的負(fù)值，因此在進(jìn)行對數(shù)化處理之后以最小二乘準(zhǔn)則進(jìn)行頻率特性的擬合的情況等，可能導(dǎo)致其較大的負(fù)值支配頻率特性近似的基準(zhǔn)。因此，優(yōu)選在對數(shù)化時(shí)以預(yù)先確定的最小負(fù)值進(jìn)行剪輯(clipping)，或者實(shí)行較小地調(diào)節(jié)容易引起頻率衰減的頻帶的加權(quán)等對策。

例如，通過剪輯進(jìn)行對應(yīng)時(shí)，濾波處理部41在圖像濾波處理P的作為目標(biāo)的頻率特性中處理圖像數(shù)據(jù)D2與原圖像數(shù)據(jù)D1的比例小于1的頻率中，在多次濾波處理的每一次處理中優(yōu)選使用將濾波處理數(shù)據(jù)D6設(shè)為與濾波器應(yīng)用處理數(shù)據(jù)D4相等的濾波器。

通過以如上所述的方法確定且調(diào)整各濾波處理中所使用的增益，與例如關(guān)于攝影條件的所有組合保持基于點(diǎn)擴(kuò)散函數(shù)的濾波器(濾波器系數(shù))的情況相比，能夠顯著減少應(yīng)保持的參數(shù)個(gè)數(shù)。并且，在通常的方法中，若如點(diǎn)擴(kuò)散函數(shù)那樣的像劣化特性不是已知的，則難以適當(dāng)?shù)剡M(jìn)行濾波器設(shè)計(jì)(濾波器系數(shù)設(shè)計(jì))，但根據(jù)本實(shí)施方式，在掌握各像劣化特性之前，可預(yù)先結(jié)束需要較多的計(jì)算量的有限抽頭長度的FIR濾波器的設(shè)計(jì)。此時(shí)，能夠在獲取具體的像劣化特性之后通過簡單的計(jì)算來計(jì)算最佳的增益矢量。

<參考圖像數(shù)據(jù)的獲取>

以下對通過顯示部27中的引導(dǎo)顯示提示用戶進(jìn)行參考圖像的攝影的方法的一例進(jìn)行說明。另外，以下所說明的“基于顯示控制部36的顯示部27的顯示控制”在參考圖像獲取部60(參考圖12及圖14)的控制下進(jìn)行。

通過參考圖像獲取部60被控制的顯示控制部36(參考圖2)控制顯示部27(參考圖1)，并將用于提示用戶進(jìn)行參考圖像的攝影的引導(dǎo)部顯示于顯示部27。用戶一邊被顯示于顯示部27的引導(dǎo)部輔助，一邊將包括測量對象的光學(xué)系統(tǒng)的透鏡單元11安裝于相機(jī)主體12并進(jìn)行參考圖像的攝影來獲取參考圖像數(shù)據(jù)。

圖17是表示顯示部27中的攝影引導(dǎo)件的一例的圖。圖17(a)～圖17(d)的每一個(gè)中圖示有通過顯示控制部36顯示于顯示部27的引導(dǎo)部70，并顯示有引導(dǎo)部70的顯示圖案。另外，圖17(a)～圖17(d)的每一個(gè)所示的例子中，顯示部27的中央部顯示有自動(dòng)對焦區(qū)域71。

在以下的說明中，使用了“右”、“左”、“下”及“上”之類的表現(xiàn)，但這些表現(xiàn)分別以“朝向附圖為右”、“朝向附圖為左”、“朝向附圖為下”及“朝向附圖為上”的含義來使用。

圖17(a)～圖17(d)所示的引導(dǎo)部70具有沿顯示于顯示部27的攝影圖像中的切向方向的直線形狀。在此所說的引導(dǎo)部70的直線形狀只要是直線狀的形狀，則并無特別限定，引導(dǎo)部70例如可以是實(shí)線的直線，也可以是虛線的直線，還可以是半透明的直線以便能夠看到攝影圖像。

另外，引導(dǎo)部70優(yōu)選為沿?cái)z影圖像中的弧矢方向或切向方向的直線形狀。尤其，濾波器為基于光學(xué)傳遞函數(shù)的濾波器時(shí)，從調(diào)節(jié)圖像濾波處理P的參數(shù)的觀點(diǎn)考慮，優(yōu)選在攝影圖像中沿弧矢方向或切向方向配置引導(dǎo)部70。即，當(dāng)拍攝如與攝影圖像中沿弧矢方向或切向方向配置的引導(dǎo)部70一致的被攝體時(shí)，從調(diào)整基于光學(xué)傳遞函數(shù)的濾波器的參數(shù)的觀點(diǎn)考慮，能夠獲得有用的數(shù)據(jù)。

在此所說的“沿弧矢方向或切向方向的引導(dǎo)部70”在不阻礙效果的范圍內(nèi)可偏離弧矢方向或切向方向。

并且，弧矢方向及切向方向的基準(zhǔn)作為攝影圖像。本來，優(yōu)選規(guī)定為投射到成像元件24的受光面上的光學(xué)圖像的弧矢方向或切向方向，但只有根據(jù)通過成像元件24受光且獲取的圖像數(shù)據(jù)才可獲得圖像數(shù)據(jù)。因此，以攝影圖像為基準(zhǔn)而考慮弧矢方向及切向方向也沒有問題。在此，所謂切向方向是指相對于以攝影圖像的中心為基準(zhǔn)的圓周的切線方向，所謂弧矢方向是指與切向方向垂直相交的方向。

圖17(a)中，作為引導(dǎo)顯示圖案1，引導(dǎo)部70配置于顯示部27中的左上方區(qū)域。用戶參考圖17(a)所示的引導(dǎo)部70，對參考圖像進(jìn)行拍攝來獲取攝影圖像數(shù)據(jù)。此時(shí)，根據(jù)圖17(a)所示的引導(dǎo)部70而確定的圖像(例如參考后述的圖18的符號“72a”)成為參考圖像。

在圖17(b)中，作為引導(dǎo)顯示圖案2，2個(gè)引導(dǎo)部70a、70b的每一個(gè)配置于顯示部27中的左上方區(qū)域及右上方區(qū)域。另外，圖17(b)所示的2個(gè)引導(dǎo)部由“第1引導(dǎo)部70a”及“不與第1引導(dǎo)部70a平行的第2引導(dǎo)部70b”構(gòu)成。即，配置于圖17(b)的顯示部27的左上方區(qū)域的引導(dǎo)部(第1引導(dǎo)部)70a與配置于右上方的引導(dǎo)部(第2引導(dǎo)部)70b配置成彼此不平行。

在圖17(c)中，作為引導(dǎo)顯示圖案3，2個(gè)引導(dǎo)部70a、70c的每一個(gè)配置于顯示部27中的左上方區(qū)域及右下方區(qū)域。在圖17(d)中，作為引導(dǎo)顯示圖案4，4個(gè)引導(dǎo)部70a、70b、70c、70d的每一個(gè)配置于顯示部27中的左上方區(qū)域、右上方區(qū)域、右下方區(qū)域及左下方區(qū)域。

另外，并不限定于圖17(a)至圖17(d)所示的引導(dǎo)部70的顯示中的引導(dǎo)顯示圖案，能夠采用各種形態(tài)的引導(dǎo)顯示圖案。

圖18是表示適合于圖17所示的引導(dǎo)顯示的被攝體W的一例的圖。例如，圖17(a)所示的引導(dǎo)顯示圖案1中，優(yōu)選沿引導(dǎo)部70拍攝被攝體W中由圖18的符號“72a”表示的黑色部分的圖像。并且，圖17(b)所示的引導(dǎo)顯示圖案2中，優(yōu)選沿引導(dǎo)部70拍攝被攝體W中由圖18的符號“72a”及符號“72b”所表示的黑色部分的圖像。并且，圖17(c)所示的引導(dǎo)顯示圖案3中，沿引導(dǎo)部70拍攝被攝體W中由圖18的符號“72a”及符號“72c”表示的黑色部分的圖像。并且，圖17(d)所示的引導(dǎo)顯示圖案2中，沿引導(dǎo)部70拍攝被攝體W中由圖18的符號“72a”、符號“72b”、符號“72c”及符號“72d”表示的黑色部分的圖像。

圖19是表示顯示部27中的攝影引導(dǎo)件的其他例子的圖。在本例中，由攝影引導(dǎo)件以按4個(gè)角的每一個(gè)引導(dǎo)部70的顯示進(jìn)行拍攝的方式進(jìn)行如滿足顯示部27的4個(gè)角的每一個(gè)引導(dǎo)部70的顯示那樣的被攝體的攝影。即，在本例中，首先，進(jìn)行如滿足如圖19(a)所示那樣配置于左上方的引導(dǎo)部70a那樣的攝影圖像的拍攝。然后，進(jìn)行如滿足如圖19(b)所示那樣配置于右上方的引導(dǎo)部70b的攝影圖像的拍攝。然后，進(jìn)行如滿足如圖19(c)所示那樣配置于右下方的引導(dǎo)部70c的攝影圖像的拍攝。然后，進(jìn)行滿足如圖19(d)所示那樣配置于左下方的引導(dǎo)部70d的攝影圖像的拍攝。這樣，通過圖19(a)～圖19(d)所示的引導(dǎo)部70a～70d被輔助而獲取的4個(gè)攝影圖像數(shù)據(jù)作為第2圖像來獲取。

另外，如圖19所示，引導(dǎo)部70的顯示并不限定于4個(gè)，可將顯示位置不同的任意數(shù)量的引導(dǎo)部70顯示于顯示部27來提示用戶進(jìn)行拍攝。根據(jù)本例，容易發(fā)現(xiàn)滿足引導(dǎo)部70a～70d的每一個(gè)的被攝體，并能夠獲取可靠地滿足引導(dǎo)部70a～70d的攝影圖像。

圖20是表示顯示部27中的攝影引導(dǎo)件的其他例子的圖。在本例中，攝影條件顯示部73與引導(dǎo)部70一同顯示于顯示部27。即，顯示控制部36將用于攝影獲取參考圖像數(shù)據(jù)的攝影條件顯示部73顯示于顯示部27，并告知用戶所需的攝影條件。由此，用戶在所需攝影條件下進(jìn)行拍攝而能夠獲取參考圖像數(shù)據(jù)。

具體而言，圖20(a)及圖20(b)中，與像高位置相關(guān)的攝影條件顯示部73顯示于顯示部27。即，圖20(a)所示的例子中，輔助獲取像高位置較高的部位(攝影圖像的周邊部位)中如滿足引導(dǎo)部70那樣的參考圖像數(shù)據(jù)。另一方面，圖20(b)所示的例子中，輔助獲取像高較低的部位(攝影圖像的中央部位)中如滿足引導(dǎo)部70那樣的參考圖像數(shù)據(jù)。如此，根據(jù)攝影圖像的像高來配置引導(dǎo)部70，由此能夠獲取與像高相對應(yīng)的參考圖像數(shù)據(jù)。

并且，圖20(c)及圖20(d)中，將到被攝體為止的距離(被攝體距離)作為攝影條件顯示部73而顯示于顯示部27。即，圖20(c)所示的例子中，輔助獲取到被攝體為止的攝影距離為50cm的參考圖像數(shù)據(jù)。另一方面，圖20(d)所示的例子中，輔助獲取到被攝體為止的攝影距離為1m的參考圖像數(shù)據(jù)。如此，表示到被攝體為止的攝影距離的攝影條件顯示部73與引導(dǎo)部70一同顯示于顯示部27，由此能夠獲取具有所希望的到被攝體為止的攝影距離的參考圖像數(shù)據(jù)。

如此根據(jù)圖20所示的例子，能夠通過攝影條件顯示部73在適當(dāng)?shù)臄z影條件下攝影獲取參考圖像數(shù)據(jù)。

圖21是表示主體控制器25中的顯示控制部36、參考圖像獲取部60及圖像判定部38的功能結(jié)構(gòu)例的框圖。

本例的主體控制器25除了上述顯示控制部36及參考圖像獲取部60之外，還具有圖像判定部38。圖像判定部38判定由上述引導(dǎo)部70提示進(jìn)行拍攝并通過成像元件24所生成的攝影圖像數(shù)據(jù)是否滿足第1基準(zhǔn)。參考圖像獲取部60獲取在圖像判定部38中判定為滿足第1基準(zhǔn)的攝影圖像數(shù)據(jù)而作為“參考圖像數(shù)據(jù)”，并發(fā)送到參考圖像分析部61。因此，在本實(shí)施方式中所獲得的參考圖像數(shù)據(jù)為滿足第1基準(zhǔn)的攝影圖像數(shù)據(jù)。

另一方面，當(dāng)在圖像判定部38中判定為由引導(dǎo)部70提示進(jìn)行拍攝并通過成像元件24所生成的攝影圖像數(shù)據(jù)不滿足第1基準(zhǔn)時(shí)，顯示控制部36再次將用于提示用戶進(jìn)行參考圖像的拍攝的引導(dǎo)部70顯示于顯示部27。

另外，成為參考圖像數(shù)據(jù)是否合適的基準(zhǔn)的“第1基準(zhǔn)”并無特別限定，例如可將引導(dǎo)部70與實(shí)際拍攝的參考圖像的匹配度作為“第1基準(zhǔn)”。即，圖像判定部38可根據(jù)該匹配度判定被引導(dǎo)部70引導(dǎo)而進(jìn)行拍攝的攝影圖像數(shù)據(jù)作為參考圖像數(shù)據(jù)是否合適。

引導(dǎo)部70與攝影圖像數(shù)據(jù)的匹配度，具體而言可判別為引導(dǎo)部70與攝影圖像數(shù)據(jù)的視角的重疊度。在此所說的匹配并不一定是指嚴(yán)格意義上的匹配。即，在能夠獲取可使用的參考圖像數(shù)據(jù)的范圍內(nèi)引導(dǎo)部70與攝影圖像數(shù)據(jù)匹配即可。具體而言，引導(dǎo)部70與攝影圖像數(shù)據(jù)的參考圖像只要相當(dāng)于引導(dǎo)部70的40％的部分以上重疊即可，優(yōu)選為相當(dāng)于引導(dǎo)部70的60％的部分以上重疊即可，進(jìn)一步優(yōu)選為相當(dāng)于引導(dǎo)部70的80％的部分以上重疊即可。

圖22是表示顯示部27中的攝影引導(dǎo)件的其他例子的圖。本例的顯示控制部36將判定信息部74與引導(dǎo)部70一同顯示于顯示部27，所述判定信息部74根據(jù)與引導(dǎo)部70的匹配度來表示是否為滿足第1基準(zhǔn)的合適的攝影圖像數(shù)據(jù)。

具體而言，圖22(a)表示由引導(dǎo)部70提示而攝影獲取的攝影圖像數(shù)據(jù)不與引導(dǎo)部70充分地匹配且不滿足第1基準(zhǔn)的情況。在圖22(a)所示的例子中，被攝體W不與配置于左上方的引導(dǎo)部70匹配。并且，“請修正被攝體”的判定信息部74顯示于顯示部27。另一方面，圖22(b)表示由引導(dǎo)部70提示而攝影獲取的攝影圖像數(shù)據(jù)與引導(dǎo)部70充分地匹配并滿足第1基準(zhǔn)的情況。在圖22(b)所示的例子中，被攝體W與配置于左上方的引導(dǎo)部70匹配。而且，“為正確的被攝體”的判定信息部74顯示于顯示部27。

圖23是表示顯示部27中的攝影引導(dǎo)件的其他例子的圖。在本例中，當(dāng)攝影圖像數(shù)據(jù)不滿足第1基準(zhǔn)時(shí)，提示用戶再次進(jìn)行拍攝。即，圖22所示的例子中，判定信息部74的內(nèi)容成為提示不同的被攝體的拍攝的內(nèi)容(參考圖22(a))，相對于此，圖23所示的本例的判定信息部74的內(nèi)容成為提示用戶再次進(jìn)行拍攝的信息。

圖24是表示顯示部27中的攝影引導(dǎo)件的其他例子的圖。如圖24(a)及圖24(b)所示，引導(dǎo)部70可配置于顯示部27的4個(gè)角以外的部位，顯示部27中的引導(dǎo)部70的配置方式并無特別限定。

若對圖24(a)所示的引導(dǎo)顯示圖案和圖24(b)所示的引導(dǎo)顯示圖案進(jìn)行比較，則各引導(dǎo)部70在兩者之間旋轉(zhuǎn)90°。即，圖24(a)所示的引導(dǎo)部70具有沿?cái)z影圖像中的切向方向的直線形狀，但圖24(b)所示的引導(dǎo)部70具有沿?cái)z影圖像中的弧矢方向的直線形狀。這樣，引導(dǎo)部70不僅可配置于切向方向，還可配置于弧矢方向。

如此，用戶能夠按照顯示部27中的引導(dǎo)部70的引導(dǎo)適當(dāng)?shù)財(cái)z影獲取與參考圖像相關(guān)的參考圖像數(shù)據(jù)。

<濾波器的設(shè)計(jì)方法>

接著，對在濾波處理部41的各濾波器應(yīng)用部48中使用的濾波器的設(shè)計(jì)方法的具體例進(jìn)行說明。

圖25是表示濾波器獲取裝置76的功能結(jié)構(gòu)的一例的框圖。

進(jìn)行在各濾波器應(yīng)用部48中所使用的濾波器的設(shè)計(jì)及獲取的濾波器獲取裝置76具有濾波器計(jì)算部77。本例的濾波器計(jì)算部77獲取根據(jù)多個(gè)光學(xué)系統(tǒng)的光學(xué)特性而確定的多種圖像濾波處理(第1圖像濾波處理P1～第k圖像濾波處理Pk(其中“k”為2以上的整數(shù)))的頻率特性數(shù)據(jù)，并輸出包括基準(zhǔn)濾波器h_b及方差濾波器h_v的多個(gè)濾波器。即，濾波器計(jì)算部77基于根據(jù)多個(gè)光學(xué)系統(tǒng)的光學(xué)特性而確定的多種圖像濾波處理P1～Pk的頻率特性來獲取根據(jù)多種圖像濾波處理P1～Pk的頻率特性的平均而確定的基準(zhǔn)濾波器h_b。并且，濾波器計(jì)算部77根據(jù)多種圖像濾波處理P1～Pk的頻率特性獲取根據(jù)多種圖像濾波處理P1～Pk的頻率特性的方差而確定的至少一個(gè)方差濾波器h_v。

圖26是表示濾波器計(jì)算部77的功能結(jié)構(gòu)的一例的框圖。

本例的濾波器計(jì)算部77具有平均計(jì)算部78、方差計(jì)算部79及濾波器特性獲取部80。平均計(jì)算部78由多種圖像濾波處理P1～Pk的頻率特性數(shù)據(jù)計(jì)算多種圖像濾波處理P1～Pk的頻率特性的平均。方差計(jì)算部79由多種圖像濾波處理P1～Pk的頻率特性數(shù)據(jù)計(jì)算多種圖像濾波處理P1～Pk的頻率特性的方差。濾波器特性獲取部80根據(jù)由平均計(jì)算部78計(jì)算出的多種圖像濾波處理P1～Pk的頻率特性的平均來計(jì)算基準(zhǔn)濾波器h_b。并且，濾波器特性獲取部80根據(jù)由平均計(jì)算部78計(jì)算出的多種圖像濾波處理P1～Pk的頻率特性的平均和由方差計(jì)算部79計(jì)算出的多種圖像濾波處理P1～Pk的頻率特性的方差來計(jì)算方差濾波器h_v。

另外，在本例的濾波器計(jì)算部77(平均計(jì)算部78、方差計(jì)算部79及濾波器特性獲取部80)中所使用的多種圖像濾波處理P1～Pk的頻率特性數(shù)據(jù)根據(jù)多個(gè)光學(xué)系統(tǒng)的光學(xué)特性而確定。如此，以多個(gè)光學(xué)系統(tǒng)為基準(zhǔn)確定成為濾波器(基準(zhǔn)濾波器h_b及方差濾波器h_v)的計(jì)算基礎(chǔ)的“多種圖像濾波處理P1～Pk的頻率特性數(shù)據(jù)”，由此能夠計(jì)算適于這種多個(gè)光學(xué)系統(tǒng)的濾波器(基準(zhǔn)濾波器h_b及方差濾波器h_v)。因此，作為這種“多個(gè)光學(xué)系統(tǒng)”，設(shè)想反映了因制造誤差產(chǎn)生的光學(xué)特性的偏差的多個(gè)光學(xué)系統(tǒng)，由此能夠通過濾波處理部41高精度地實(shí)現(xiàn)“圖像濾波處理的作為目標(biāo)的頻率特性”。

<多種圖像濾波處理的頻率特性>

在此所說的“多種圖像濾波處理P1～Pk”的每一個(gè)處理的頻率特性構(gòu)成“圖像濾波處理P的作為目標(biāo)的頻率特性”，且在本例中通過基于拍攝時(shí)所使用的光學(xué)系統(tǒng)的光學(xué)特性的頻率特性而確定。

例如，“多種圖像濾波處理P1～Pk的頻率特性”為基于光學(xué)系統(tǒng)的點(diǎn)擴(kuò)散函數(shù)的頻率特性時(shí)，點(diǎn)擴(kuò)散函數(shù)受到因制造誤差產(chǎn)生的光學(xué)系統(tǒng)的光學(xué)特性的偏差的影響而可發(fā)生變動(dòng)。因此，能夠根據(jù)基于光學(xué)系統(tǒng)的光學(xué)特性的偏差而推測的多種點(diǎn)擴(kuò)散函數(shù)的頻率特性來確定“多種圖像濾波處理P1～Pk的頻率特性”。并且，例如，“多種圖像濾波處理P1～Pk的頻率特性”為基于光學(xué)系統(tǒng)的點(diǎn)擴(kuò)散函數(shù)的頻率特性時(shí)，若攝影條件發(fā)生變化則點(diǎn)擴(kuò)散函數(shù)發(fā)生變動(dòng)，因此能夠根據(jù)不同攝影條件下的多種點(diǎn)擴(kuò)散函數(shù)的頻率特性確定“多種圖像濾波處理P1～Pk的頻率特性”。該“多種點(diǎn)擴(kuò)散函數(shù)”可通過任意方法獲取，也可根據(jù)實(shí)測值獲取，還可根據(jù)估計(jì)值獲取。“多種圖像濾波處理P1～Pk的頻率特性”可使用所獲取的多種點(diǎn)擴(kuò)散函數(shù)并根據(jù)維納濾波器等的任意的設(shè)計(jì)基準(zhǔn)來計(jì)算。

該“多種圖像濾波處理P1～Pk的頻率特性”能夠通過任意裝置獲取，例如，既可以在濾波器獲取裝置76中獲取，也可通過其他裝置獲取，還可通過濾波器獲取裝置76的濾波器計(jì)算部77從未圖示的存儲(chǔ)器讀出而獲取。

<多種圖像濾波處理的頻率特性的偏差>

多種圖像濾波處理的頻率特性的偏差可根據(jù)單峰型分布來表現(xiàn)，也可根據(jù)多峰型分布來表現(xiàn)。

圖27是以單峰型分布表示多種圖像濾波處理的頻率特性的偏差的概念圖。圖28是以多峰型分布表示多種圖像濾波處理的頻率特性的偏差的概念圖。

基于圖27所示的單峰型分布的偏差表現(xiàn)方法為通過一個(gè)多維復(fù)數(shù)正態(tài)分布(參考圖27的“偏差分布G”)來表現(xiàn)多種圖像濾波處理的頻率特性的偏差的方法。另一方面，基于多峰型分布的表現(xiàn)方法為通過多個(gè)多維復(fù)數(shù)正態(tài)分布(參考圖28的“第1偏差分布G1”及“第2偏差分布G2”)來表現(xiàn)多種圖像濾波處理的頻率特性的偏差的方法。

圖27中示出有通過第1濾波處理F1的濾波器的頻率特性φ₀、第2濾波處理F2的濾波器的頻率特性φ₁及第3濾波處理F3的濾波器的頻率特性φ₂表現(xiàn)多種圖像濾波處理的頻率特性的偏差分布G的情況。并且，圖28中示出有通過第1濾波處理F1的濾波器的頻率特性(φ₀⁽¹⁾、φ₀⁽²⁾)、第2濾波處理F2的濾波器的頻率特性(φ₁⁽¹⁾、φ₁⁽²⁾)及第3濾波處理F3的濾波器的頻率特性(φ₂⁽¹⁾、φ₂⁽²⁾)表現(xiàn)構(gòu)成多種圖像濾波處理的頻率特性的偏差分布G的第1偏差分布G1及第2偏差分布G2的每一個(gè)的情況。另外，圖27及圖28中圖示有作為一例以濾波處理部41具有圖10所示的電路結(jié)構(gòu)的情況為前提的濾波器的頻率特性φ₀～φ₂。

多種圖像濾波處理的頻率特性的偏差具有例如如圖27所示那樣的橢圓形狀的偏差分布G時(shí)，為了通過多個(gè)濾波處理(圖27所示的例子中為第1濾波處理F1～第3濾波處理F3)高精度地實(shí)現(xiàn)各圖像濾波處理，優(yōu)選根據(jù)偏差分布G的中心、長軸及短軸確定各濾波處理的頻率特性φ₀、φ₁、φ₂。同樣地，多種圖像濾波處理的頻率特性的偏差具有例如如圖28所示那樣的橢圓形狀的第1偏差分布G1及第2偏差分布G2時(shí)，為了通過多個(gè)濾波處理(圖28所示的例子中為第1濾波處理F1～第3濾波處理F3)高精度地顯示第1偏差分布G1及第2偏差分布G2所包括的各圖像濾波處理，優(yōu)選關(guān)于第1偏差分布G1及第2偏差分布G2的每一個(gè)，根據(jù)中心、長軸及短軸確定各濾波處理的頻率特性φ₀⁽¹⁾、φ₁⁽¹⁾、φ₂⁽¹⁾、φ₀⁽²⁾、φ₁⁽²⁾、φ₂⁽²⁾。

<單峰型分布>

接著，對將多種圖像濾波處理的頻率特性的偏差視為單峰型分布時(shí)(參考圖27)的、濾波器及增益的設(shè)計(jì)方法例進(jìn)行說明。

以下的方法有關(guān)一種在實(shí)際獲取任意個(gè)數(shù)的多種圖像濾波處理的頻率特性的偏差樣品時(shí)，求出能夠高精度地補(bǔ)償其圖像濾波處理的頻率特性的偏差的所希望個(gè)數(shù)的基底濾波器(FIR濾波器)的頻率特性的方法。并且，對將單峰型分布設(shè)為多維復(fù)數(shù)正態(tài)分布來進(jìn)行模型化并進(jìn)行ML(Maximum Likelihood)推定的情況進(jìn)行說明。

單峰型分布的偏差分布G可根據(jù)多維復(fù)數(shù)正態(tài)分布來表現(xiàn)，其多維復(fù)數(shù)正態(tài)分布通過協(xié)方差矩陣被賦予特征，并通過下式獲得。

[數(shù)式15]

在上述式中，“β_i”表示通過根據(jù)頻率(ω)及位置(r)對關(guān)于多種圖像濾波處理的每一個(gè)處理個(gè)別地獲取的頻率特性β(ω，r)進(jìn)行離散化而獲得的矢量，“N_p”表示多種圖像濾波處理的數(shù)量。因此，上述式的“Ψ₀”表示多種圖像濾波處理的頻率特性的平均(平均矩陣)，上述式的“R₀”表示多種圖像濾波處理的頻率特性的方差(協(xié)方差矩陣)。

通過按照下述式進(jìn)行由上述式所表示的協(xié)方差矩陣的特征值分解，能夠獲得特征矢量Ψ_i(其中“i”為1以上且N_p以下的整數(shù))。

[數(shù)式16]

根據(jù)Karhunen-Loeve展開，為了通過維度m的線性子空間使偏差分布平均地近似，最佳為使用通過從特征值較大的開始依次通過m個(gè)相對應(yīng)的特征矢量Ψ_i(其中“i”為1以上且m以下的整數(shù))展開的子空間。

因此，用于高精度地重現(xiàn)具有單峰型的偏差分布G的多種圖像濾波處理的每一個(gè)處理的頻率特性的濾波處理的濾波器的最佳頻率特性φ₀～φ_N-1能夠根據(jù)下述式來獲取。

[數(shù)式17]

另外，第1濾波處理F1的濾波器的頻率特性φ₀如上所述相當(dāng)于多種圖像濾波處理的頻率特性的分布的中心，因此從對分布中心進(jìn)行固定而使處理穩(wěn)定化的觀點(diǎn)考慮，優(yōu)選第1濾波處理F1中的增益固定為“1.0”。對于其他濾波處理中的增益，例如能夠通過上述加權(quán)最小二乘準(zhǔn)則來求出最佳值。

圖29是概略表示可分類到單峰型分布的多種圖像濾波處理的頻率特性的一例的圖，橫軸表示頻率(ω)，縱軸表示響應(yīng)。在此所說的響應(yīng)是各圖像濾波處理前后的頻率分量的比(＝處理后的頻率分量/處理前數(shù)據(jù)的頻率分量)，“響應(yīng)＝1”表示數(shù)據(jù)在圖像濾波處理的前后相同。

圖29中示出有4種圖像濾波處理(第1圖像濾波處理P1、第2圖像濾波處理P2、第3圖像濾波處理P3及第4圖像濾波處理P4)的頻率特性。這些4種圖像濾波處理P1～P4分別表示不同的頻率特性，但頻率(ω)為“0”時(shí)的響應(yīng)均表示“1”。

圖30是概略表示圖29所示的多種圖像濾波處理的頻率特性的方差的一例的圖，橫軸表示頻率(ω)，縱軸表示方差。另外，為了便于說明，圖30并不一定是在嚴(yán)格意義上表示圖29所示的多種圖像濾波處理P1～P4的頻率特性的方差的圖。

圖29所示的4種圖像濾波處理P1～P4，在頻率(ω)為“0”時(shí)的響應(yīng)均為“1”，因此頻率(ω)為“0”時(shí)的方差均為“0”。在圖30所示的例子中，關(guān)于多種圖像濾波處理P1～P4的頻率特性，顯示出“表示第一大的偏差的成分(參考圖30的符號“H1”)”及“表示第二大的偏差的成分(參考圖30的符號“H2”)”。

圖31是概略表示根據(jù)圖29所示的多種圖像濾波處理的頻率特性的平均及方差獲取的基底濾波器(特征矢量)的一例的圖，圖31(a)表示“φ₀”，圖31(b)表示“φ₁”，圖31(c)表示“φ₂”。

如上所述，在第1濾波處理F1中所使用的濾波器的頻率特性φ₀優(yōu)選根據(jù)多種圖像濾波處理P1～P4的頻率特性的分布中心(平均)而確定。

并且，在其他濾波處理中所使用的濾波器的頻率特性優(yōu)選從圖30所示的多種圖像濾波處理P1～P4的頻率特性的偏差(方差)較大的成分依次確定。因此，在第2濾波處理F2中所使用的濾波器的頻率特性φ₁優(yōu)選根據(jù)多種圖像濾波處理P1～P4的頻率特性的偏差最大的成分(參考圖30的“H1”)而確定。同樣地，在第3濾波處理F3中所使用的濾波器的頻率特性φ₂優(yōu)選根據(jù)多種圖像濾波處理的頻率特性的偏差第二大的成分(參考圖30的“H2”)而確定。

另外，上述例與圖像濾波處理P包括第1濾波處理F1～第3濾波處理F3的情況有關(guān)，但圖像濾波處理P既可由兩種濾波處理構(gòu)成，也可由4種以上的濾波處理構(gòu)成。例如，由第1濾波處理F1及第2濾波處理F2構(gòu)成圖像濾波處理P時(shí)，能夠根據(jù)上述“φ₀”(參考圖31(a))確定在第1濾波處理F1中所使用的濾波器的頻率特性，并能夠根據(jù)上述“φ₁”(參考圖31(b))確定在第2濾波處理F2中所使用的濾波器的頻率特性。

圖32表示與具有圖10所示的電路結(jié)構(gòu)的濾波處理部41所進(jìn)行的圖像濾波處理P(第1濾波處理F1～第3濾波處理F3)相關(guān)的頻率特性f(ω)(參考圖32(a))及增益例(參考圖32(b))。

如上所述，從對多種圖像濾波處理的頻率特性的分布中心進(jìn)行固定而使處理穩(wěn)定化的觀點(diǎn)考慮，優(yōu)選第1濾波處理F1中的增益g₀固定為“1.0”。因此，圖32(b)中例示有增益g₀～g₂，所述增益g₀～g₂在對具有圖10所示的電路結(jié)構(gòu)的濾波處理部41的各濾波器應(yīng)用部48中所使用的濾波器進(jìn)行固定，并且將第1濾波處理F1中的增益g₀固定為“1.0”時(shí)，用于通過如圖32(a)所示的整個(gè)系統(tǒng)的頻率特性高精度地實(shí)現(xiàn)圖29所示的圖像濾波處理P1～P4的每一個(gè)處理的頻率特性。

如圖32(b)所示，根據(jù)上述例，能夠?qū)⒍喾N圖像濾波處理P1～P4的頻率特性的數(shù)據(jù)壓縮到3個(gè)濾波器的頻率特性φ₀～φ₂(抽頭系數(shù))和12個(gè)增益(將g₀固定為“1.0”時(shí)是8個(gè)增益)。

如此，本例的濾波處理部41在第1濾波處理F1中，作為“濾波器的頻率特性φ₀”使用根據(jù)多種圖像濾波處理P1～P4的頻率特性的平均而確定的基準(zhǔn)濾波器h_b的頻率特性來獲取濾波器應(yīng)用處理數(shù)據(jù)D4-1，在第2濾波處理F2及第3濾波處理F3中，作為“濾波器的頻率特性φ₁”及“濾波器的頻率特性φ₂”使用根據(jù)多種圖像濾波處理P1～P4的頻率特性的方差而確定的兩個(gè)方差濾波器h_v的頻率特性來獲取濾波器應(yīng)用處理數(shù)據(jù)D4-2、D4-3。

尤其優(yōu)選濾波處理部41在第1濾波處理F1中使用“基于根據(jù)獲取原圖像數(shù)據(jù)D1時(shí)所使用的光學(xué)系統(tǒng)的個(gè)別的光學(xué)特性而確定的多種圖像濾波處理的頻率特性的平均而確定的基準(zhǔn)濾波器h_b”來獲取濾波器應(yīng)用處理數(shù)據(jù)D4-1，并在第2濾波處理F2及第3濾波處理F3中，使用“基于根據(jù)獲取原圖像數(shù)據(jù)D1時(shí)所使用的光學(xué)系統(tǒng)的個(gè)別的光學(xué)特性而確定的多種圖像濾波處理的頻率特性的方差而確定的方差濾波器h_v”來獲取濾波器應(yīng)用處理數(shù)據(jù)D4-2、D4-3。在該情況下，優(yōu)選在多次濾波處理的每一次處理中應(yīng)用于濾波器應(yīng)用處理數(shù)據(jù)D4的增益根據(jù)獲取原圖像數(shù)據(jù)D1時(shí)所使用的光學(xué)系統(tǒng)的個(gè)別的光學(xué)特性而確定。

圖33是表示根據(jù)單峰型分布計(jì)算濾波器系數(shù)的濾波器計(jì)算部77的功能結(jié)構(gòu)的一例的框圖。為了由以頻率空間所表示的濾波器特性計(jì)算以實(shí)際空間所表示的濾波器系數(shù)，本例的濾波器計(jì)算部77除了上述平均計(jì)算部78、方差計(jì)算部79及濾波器特性獲取部80(參考圖26)之外還具有抽頭系數(shù)運(yùn)算部81。

該濾波器計(jì)算部77的抽頭系數(shù)運(yùn)算部81獲取具有多個(gè)抽頭且對各抽頭分配系數(shù)的基準(zhǔn)濾波器h_b，并且獲取具有多個(gè)抽頭且對各抽頭分配系數(shù)的至少一個(gè)方差濾波器h_v。“對各抽頭分配系數(shù)的方法”并無特別限定，抽頭系數(shù)運(yùn)算部81(濾波器計(jì)算部77)例如能夠根據(jù)后述的SAGE算法或OMP算法計(jì)算分配到基準(zhǔn)濾波器h_b及至少一個(gè)方差濾波器h_v的每一個(gè)濾波器的各抽頭的系數(shù)。

<多峰型分布>

接著，對將多種圖像濾波處理的頻率特性的偏差作為多峰型分布來處理時(shí)(參考圖28)的濾波器及增益的設(shè)計(jì)方法例進(jìn)行說明。

在圖28所示的例子中，在將整體作為一個(gè)分布(單峰型分布)處理時(shí)，多種圖像濾波處理的頻率特性的偏差分布能夠由圖28所示的“偏差分布G”表示，但近似精度變差。另一方面，將多種圖像濾波處理的頻率特性的偏差分布通過圖28的“第1偏差分布G1”及“第2偏差分布G2”進(jìn)行分離來表示，并將“第1偏差分布G1”及“第2偏差分布G2”的每一個(gè)作為獨(dú)立的多維復(fù)數(shù)正態(tài)分布(多峰型分布)進(jìn)行處理，從而能夠提高近似精度。作為該多峰型分布中的ML推定的參數(shù)推定算法，例如能夠優(yōu)選利用基于EM(Expectation Max imization)算法的混合正態(tài)分布的推定，并能夠進(jìn)行有效的參數(shù)推定。

基于多峰型分布的濾波器的確定方法基本上能夠以與基于上述單峰型分布的濾波器確定方法相同的方法進(jìn)行。即，將多種圖像濾波處理的頻率特性分類到構(gòu)成多峰型分布的多個(gè)分布(圖28所示的例子中為第1偏差分布G1及第2偏差分布G2)，關(guān)于各分布，能夠以與上述單峰型分布的“偏差分布G”相同的步驟求出濾波器。

圖34是概略表示可分類到多峰型分布的圖像濾波處理的頻率特性的一例的圖，橫軸表示頻率(ω)，縱軸表示響應(yīng)。

圖34中示出有6種圖像濾波處理(第1圖像濾波處理P1、第2圖像濾波處理P2、第3圖像濾波處理P3、第4圖像濾波處理P4、第5圖像濾波處理P5及第6圖像濾波處理P6)的頻率特性。這些6種圖像濾波處理P1～P6分別表示不同的頻率特性，但頻率(ω)為“0”時(shí)的響應(yīng)均表示“1”。

在圖34所示的例子中，例如能夠?qū)ⅰ暗?圖像濾波處理P1的頻率特性數(shù)據(jù)、第2圖像濾波處理P2的頻率特性數(shù)據(jù)及第3圖像濾波處理P3的頻率特性數(shù)據(jù)”分類到第1偏差分布G1，并將“第4圖像濾波處理P4的頻率特性數(shù)據(jù)、第5圖像濾波處理P5的頻率特性數(shù)據(jù)及第6圖像濾波處理P6的頻率特性數(shù)據(jù)”分類到第2偏差分布G2。

圖35是概略表示圖34所示的多種圖像濾波處理的頻率特性的方差的一例的圖，圖35(a)表示分類到第1偏差分布G1的第1圖像濾波處理P1～第3圖像濾波處理P3的頻率特性數(shù)據(jù)的方差，圖35(b)表示分類到第2偏差分布G2的第4圖像濾波處理P4～第6圖像濾波處理P6的頻率特性數(shù)據(jù)的方差。圖35(a)及圖35(b)的橫軸表示頻率(ω)，縱軸表示方差。另外，為了便于說明，圖35(a)及圖35(b)不一定是在嚴(yán)格意義上表示圖34所示的多種圖像濾波處理P1～P6的頻率特性的方差。

圖34所示的6種圖像濾波處理P1～P6的頻率特性，頻率(ω)為“0”時(shí)的響應(yīng)均為“1”，因此頻率(ω)為“0”時(shí)的方差均成為“0”。如圖35(a)及圖35(b)所示，關(guān)于第1偏差分布G1及第2偏差分布G2的每一個(gè)的“圖像濾波處理的頻率特性的方差”，顯示“表示最大偏差的成分(參考圖35(a)及圖35(b)的“H1”)”及“表示第二大偏差的成分(參考圖35(a)及圖35(b)的“H2”)”。

圖36是概略表示根據(jù)分類到第1偏差分布G1的第1圖像濾波處理P1～第3圖像濾波處理P3的頻率特性的平均及方差獲取的基底濾波器(特征矢量)的一例的圖，圖36(a)表示“φ₀”，圖36(b)表示“φ₁”，圖36(c)表示“φ₂”。圖37是概略表示根據(jù)分類到第2偏差分布G2的第4圖像濾波處理P4～第6圖像濾波處理P6的頻率特性的平均及方差獲取的基底濾波器(特征矢量)的一例的圖，圖37(a)表示“φ₀”，圖37(b)表示“φ₁”，圖37(c)表示“φ₂”。

如上所述，優(yōu)選在第1濾波處理F1中所使用的濾波器的頻率特性φ₀根據(jù)多種圖像濾波處理的頻率特性的分布中心(平均)而確定。

并且，在其他濾波處理中所使用的濾波器的頻率特性優(yōu)選根據(jù)圖35(a)和圖35(b)的每一個(gè)所示的多種圖像濾波處理的頻率特性的偏差(方差)較大的成分而確定。因此，在第2濾波處理F2中所使用的濾波器的頻率特性φ₁優(yōu)選根據(jù)多種圖像濾波處理的頻率特性的偏差最大的成分(參考圖35(a)及圖35(b)的“H1”)而確定。同樣地，在第3濾波處理F3中所使用的濾波器的頻率特性φ₂優(yōu)選根據(jù)多種圖像濾波處理的頻率特性的偏差第二大的成分(參考圖35(a)及圖35(b)的“H2”)而確定。

圖38表示與具有圖10所示的電路結(jié)構(gòu)的濾波處理部41所進(jìn)行的圖像濾波處理P(第1濾波處理F1～第3濾波處理F3)相關(guān)的頻率特性f(ω)(參考圖38(a))及增益例(參考圖38(b))。在與圖38所示的多峰型分布相關(guān)的頻率特性f(ω)中，“φ₀⁽ⁱ⁾(ω)”表示在第1濾波處理F1的第1濾波器應(yīng)用部48-1中所使用的濾波器的頻率特性，“g₀”表示在第1濾波處理F1的第1增益應(yīng)用部49-1中所使用的增益。并且，“φ₁⁽ⁱ⁾(ω)”表示在第2濾波處理F2的第2濾波器應(yīng)用部48-2中所使用的濾波器的頻率特性，“g₁”表示在第2濾波處理F2的第2增益應(yīng)用部49-2中所使用的增益。并且“φ₂⁽ⁱ⁾(ω)”表示在第3濾波處理F3的第3濾波器應(yīng)用部48-3中所使用的濾波器的頻率特性，“g₂”表示在第3濾波處理F3的第3增益應(yīng)用部49-3中所使用的增益。

各濾波器的頻率特性φ₁⁽ⁱ⁾(ω)～φ₃⁽ⁱ⁾(ω)中的符號“i”表示簇索引，所述簇索引表示按照多峰型分布進(jìn)行分類的組。例如，分類到第1偏差分布G1的第1圖像濾波處理P1～第3圖像濾波處理P3中，能夠如圖38(b)所示那樣分配“1”作為簇索引i。另一方面，分類到第2偏差分布G2的第4圖像濾波處理P4～第6圖像濾波處理P6中，能夠如圖38(b)所示那樣分配“2”作為簇索引i。

另外，圖38(b)中例示有增益g₀～g₂，所述增益g₀～g₂在對具有圖10所示的電路結(jié)構(gòu)的濾波處理部41的各濾波器應(yīng)用部48中所使用的濾波器進(jìn)行固定，并且將在第1濾波處理F1中所使用的增益g₀固定為“1.0”時(shí)，用于通過圖38(a)所示的整個(gè)系統(tǒng)的頻率特性高精度地實(shí)現(xiàn)圖34所示的圖像濾波處理P1～P6的每一個(gè)處理的頻率特性。

如圖38(b)所示，根據(jù)上述例子，能夠?qū)⒍喾N圖像濾波處理P1～P6的頻率特性的數(shù)據(jù)壓縮為6個(gè)濾波器頻率特性φ₀⁽¹⁾～φ₂⁽¹⁾、φ₀⁽²⁾～φ₂⁽²⁾(抽頭系數(shù))和18個(gè)增益(將g₀固定為“1.0”時(shí)是12個(gè)增益)。

如此，根據(jù)基于多峰型分布的濾波器的確定方法，需要與構(gòu)成多峰型分布的組(圖28所示的例子中為第1偏差分布G1及第2偏差分布G2)的個(gè)數(shù)相應(yīng)的濾波器組。因此，在利用多峰型分布時(shí)，與利用單峰型分布時(shí)相比，需要預(yù)先存儲(chǔ)于存儲(chǔ)器的濾波器的數(shù)量增加，所需的存儲(chǔ)容量也增大。并且，為了將各濾波器與所分類的組建立對應(yīng)關(guān)聯(lián)，如上述簇索引那樣的相關(guān)信息也需要預(yù)先存儲(chǔ)于存儲(chǔ)器。

圖39是表示根據(jù)多峰型分布計(jì)算濾波器系數(shù)的濾波器計(jì)算部77的功能結(jié)構(gòu)的一例的框圖。本例的濾波器計(jì)算部77為了將圖像濾波處理的多種頻率特性分類到構(gòu)成多峰型分布的多個(gè)組，除了上述平均計(jì)算部78、方差計(jì)算部79、濾波器特性獲取部80及抽頭系數(shù)運(yùn)算部81(參考圖33)之外還具有濾波器組分類部82。

本例的濾波器組分類部82以混合正態(tài)分布為基準(zhǔn)，將多種圖像濾波處理(圖34所示的例子中為第1圖像濾波處理P1～第6圖像濾波處理P6)的頻率特性分類到多個(gè)濾波器組(圖28所示的例子中為第1偏差分布G1及第2偏差分布G2)。

圖40是通過濾波器組分類部82分類到多個(gè)濾波器組的多種圖像濾波處理(頻率特性)的概念圖。濾波器組分類部82對多種圖像濾波處理的頻率特性數(shù)據(jù)的相似性進(jìn)行分析，并將各圖像濾波處理的頻率特性分類到對應(yīng)的濾波器組。在上述例中，通過濾波器組分類部82，第1圖像濾波處理P1～第3圖像濾波處理P3被分類到第1偏差分布G1的濾波器組，第4圖像濾波處理P4～第6圖像濾波處理P6被分類到第2偏差分布G2的濾波器組。

構(gòu)成濾波器計(jì)算部77的其他平均計(jì)算部78、方差計(jì)算部79、濾波器特性獲取部80及抽頭系數(shù)運(yùn)算部81根據(jù)分類到多個(gè)濾波器組的多種圖像濾波處理的頻率特性中多個(gè)濾波器組的每一個(gè)所包括的多種圖像濾波處理的頻率特性獲取與多個(gè)濾波器組的每一個(gè)相關(guān)的基準(zhǔn)濾波器h_b及至少一個(gè)方差濾波器h_v。

根據(jù)上述例，在多種圖像濾波處理的頻率特性的偏差的分布為已知的情況下，能夠高精度地設(shè)計(jì)用于覆蓋該偏差的最佳的濾波器。尤其，通過根據(jù)多種圖像濾波處理的頻率特性的偏差的分布選擇單峰型分布及多峰型分布中合適的分布類型，能夠獲取可高精度地重現(xiàn)作為目標(biāo)的圖像濾波處理的頻率特性的濾波器(濾波器系數(shù))及增益。

如上所述，根據(jù)本實(shí)施方式，能夠減少濾波器數(shù)(數(shù)據(jù)量)，并能夠避免保持與所有條件有關(guān)的FIR濾波器(濾波器系數(shù)(抽頭系數(shù)))，而能夠平均地進(jìn)行使用了良好的濾波器的圖像濾波處理。

<FIR濾波器的設(shè)計(jì)>

接著，對抽頭數(shù)量設(shè)置限制的FIR濾波器的設(shè)計(jì)方法進(jìn)行說明。

通過利用上述方法靈活地調(diào)整濾波器的頻率特性，能夠設(shè)計(jì)用于有效地彌補(bǔ)多種圖像濾波處理的頻率特性的偏差的最佳的濾波器。然而，通過對抽頭數(shù)量設(shè)定限制的FIR濾波器實(shí)現(xiàn)實(shí)際使用的濾波器時(shí)，難以理想地獲得所希望的頻率特性。

通常，以較少的抽頭數(shù)量實(shí)現(xiàn)陡峭的頻率特性是非常困難的。尤其與較小的特征值對應(yīng)的特征矢量傾向于具有陡峭的鋸齒形狀。因此，即使通過上述方法獲取濾波器的理想的頻率特性，在沒有充分準(zhǔn)備實(shí)際所使用的濾波器的抽頭數(shù)量的情況下，也難以充分覆蓋多種圖像濾波處理的頻率特性的偏差。

該問題與如下問題類似，即關(guān)于基底為非線性且參數(shù)化的函數(shù)，以通過盡量較少的數(shù)量的基底的線性和使一定矢量近似為目的確定基底的參數(shù)。提出有用于解決這種問題的各種方法。例如SAGE算法為在電波傳播中的來波分析等中所使用的算法，并且為根據(jù)EM算法的構(gòu)思以使殘差最小的方式逐個(gè)求出基底的方法。并且，OMP算法為在壓縮感知(Compressed Sensing)的領(lǐng)域使用過完備庫(overcomplete dictionary)求出稀疏的系數(shù)矢量時(shí)所使用的算法。OMP的方法本身并不是求出參數(shù)化的基底的方法，但通過將選白OMP中的庫(dictionary)的情況設(shè)定改變?yōu)檫x擇接近于參數(shù)化的基底函數(shù)的基底函數(shù)的情況設(shè)定，由此能夠?qū)MP的方法應(yīng)用于FIR濾波器的設(shè)計(jì)。

對SAGE算法及OMP算法的具體運(yùn)算方法例將在后面說明，濾波器計(jì)算部77的抽頭系數(shù)運(yùn)算部81(參考圖33及圖39)能夠根據(jù)這些算法由偏差分布函數(shù)計(jì)算分配到至少一個(gè)方差濾波器hv的各抽頭的系數(shù)，所述偏差分布函數(shù)為表示多種圖像濾波處理的頻率特性的方差的偏差分布函數(shù)，且為根據(jù)分配到基準(zhǔn)濾波器h_b的各抽頭的系數(shù)而確定的偏差分布函數(shù)(參考后述協(xié)方差矩陣“R_i”)。

根據(jù)后述SAGE算法及OMP算法，濾波器計(jì)算部77的抽頭系數(shù)運(yùn)算部81在將“T”設(shè)為2以上的整數(shù)時(shí)，獲取第1個(gè)至第I個(gè)方差濾波器h_v，并由根據(jù)分配到基準(zhǔn)濾波器h_b的各抽頭的系數(shù)而確定的偏差分布函數(shù)計(jì)算分配到第1個(gè)方差濾波器h_v的各抽頭的系數(shù)。并且，濾波器計(jì)算部77的抽頭系數(shù)運(yùn)算部81在將“J”設(shè)為2以上且I以下的整數(shù)時(shí)，由偏差分布函數(shù)計(jì)算分配到第J個(gè)方差濾波器h_v的各抽頭的系數(shù)，所述偏差分布函數(shù)根據(jù)分配到基準(zhǔn)濾波器h_b的各抽頭的系數(shù)和分配到第1個(gè)至第J-1個(gè)方差濾波器h_v的每一個(gè)濾波器的各抽頭的系數(shù)而確定。

在SAGE算法中，濾波器計(jì)算部77的抽頭系數(shù)運(yùn)算部81進(jìn)一步根據(jù)偏差分布函數(shù)(參考后述協(xié)方差矩陣“Q_j”)來更新分配到基準(zhǔn)濾波器h_b及至少一個(gè)方差濾波器h_v中的至少任一個(gè)的各抽頭的系數(shù)，所述偏差分布函數(shù)為表示多種圖像濾波處理的頻率特性的方差的偏差分布函數(shù)，且表示根據(jù)分配到基準(zhǔn)濾波器h_b及至少一個(gè)方差濾波器h_v的每一個(gè)濾波器的各抽頭的系數(shù)而確定的殘差成分。

另外，SAGE算法及OMP算法在各種文獻(xiàn)中被進(jìn)行說明，例如可參考非專利文獻(xiàn)1、非專利文獻(xiàn)2及非專利文獻(xiàn)3。其中，SAGE算法及OMP算法這兩者均以矢量的基底分解為目的，原本就不是處理濾波器設(shè)計(jì)中的子空間近似，因此需要對計(jì)算式適當(dāng)?shù)丶右孕薷摹?/p>

<應(yīng)用了OMP算法的最佳濾波器組的計(jì)算>

以下對基于OMP算法的濾波器設(shè)計(jì)的一例進(jìn)行說明。下述各步驟的處理基本上在濾波器計(jì)算部77(抽頭系數(shù)運(yùn)算部81)中進(jìn)行，但各步驟的處理的一部分或全部可在其他部中進(jìn)行。

以下對以單峰型分布為前提的情況進(jìn)行說明。另外，關(guān)于以多峰型分布為前提的情況，如上所述能夠應(yīng)用以單峰型分布為前提的情況。即，通過將多個(gè)濾波器組(圖28所示的例子中為第1偏差分布G1及第2偏差分布G2)的每一個(gè)濾波器作為單峰型分布的偏差分布G進(jìn)行處理，由此還能夠?qū)?yīng)以多峰型分布為前提的情況。

·步驟1

首先，通過任意方法獲取最接近由上述“Ψ₀”所表示的多種圖像濾波處理的頻率特性的平均(中心值)的FIR濾波器的抽頭系數(shù)，并將通過該抽頭系數(shù)實(shí)際實(shí)現(xiàn)的濾波器的頻率特性作為“在第1濾波處理F1中所使用的濾波器的頻率特性φ₀”。

·步驟2

根據(jù)下述式計(jì)算將上述“在第1濾波處理F1中實(shí)際使用的濾波器的頻率特性φ₀”假設(shè)為多種圖像濾波處理的頻率特性的平均(中心值)時(shí)的協(xié)方差矩陣R₀。

[數(shù)式18]

·步驟3

如下述式所示，協(xié)方差矩陣R₀被設(shè)定為協(xié)方差矩陣R₁，參數(shù)“i”被設(shè)定為“1”。

[數(shù)式19]

R_i＝R₀

i←1

·步驟4

與協(xié)方差矩陣R_i的最大的特征值對應(yīng)的特征矢量Ψ_i通過上述方法求出。

·步驟5

最接近特征矢量Ψ_i的頻率特性的FIR濾波器的抽頭系數(shù)通過任意方法來獲取，并通過該抽頭系數(shù)而實(shí)際實(shí)現(xiàn)的濾波器的頻率特性被設(shè)定為“φ_i”。具有該頻率特性φ_i的濾波器與在第“i+1”濾波處理中所使用的濾波器相對應(yīng)，若例如為“i＝1”，則求出在第2濾波處理F2中所使用的濾波器的頻率特性φ₂。與該“φ_i+1”相關(guān)的濾波器的抽頭系數(shù)存儲(chǔ)于未圖示的存儲(chǔ)器。

·步驟6

將已經(jīng)求出的“φ₁～φ_i”作為基底，從協(xié)方差矩陣排除可通過該基底的展開子空間表現(xiàn)的成分，并計(jì)算殘差。例如，若將“i”設(shè)為3以上的整數(shù)而定義為“Φ_i＝[φ₁φ₂……φ_i]”，則在以“Φ_i⁺”表示Φ_i的Moore-Penrose廣義逆時(shí)，由“Φ_iΦ_i⁺”來表示對span{φ₁，φ₂，……，φ_i}的正投影矩陣。若使用該正投影矩陣Φ_iΦ_i⁺，則協(xié)方差矩陣“R_i+1”由下述式所表示。

[數(shù)式20]

I：單位矩陣

·步驟7

如下述式那樣重新設(shè)定“i”作為“i＝i+1”，反復(fù)“步驟4”～“步驟7”直至成為“i＝N-1”。以這種方法求出濾波器的頻率特性φ₁～φ_N-1。

[數(shù)式21]

i←i+1

<應(yīng)用了SAGE算法的最佳濾波器組的計(jì)算>

接著，對基于SAGE算法的濾波器設(shè)計(jì)的一例進(jìn)行說明。以下對以單峰型分布為前提的情況進(jìn)行說明，但在對以多峰型分布為前提的情況也可應(yīng)用本例的方面與上述OMP算法相同。

SAGE算法在以下兩個(gè)方面與OMP算法不同：是基于只選擇進(jìn)行上述步驟6中的協(xié)方差矩陣的殘差的更新的基底(FIR濾波器)的減法運(yùn)算的算法；在暫時(shí)求出所有基底之后也對各基底繼續(xù)單獨(dú)進(jìn)行更新。

更具體而言，上述OMP算法的步驟1～步驟5在SAGE算法中也同樣地進(jìn)行。其中，在上述OMP算法的步驟6中所使用的協(xié)方差矩陣“R_i+1”在SAGE算法中通過下述式求出。

[數(shù)式22]

R_i+1＝(I-φ_iφ_i^H)R_i(I-φ_iφ_i^H)^H

上述OMP算法的步驟7在SAGE算法中也同樣地進(jìn)行。其中，SAGE算法中，在步驟7之后進(jìn)行下述步驟8～步驟12。

·步驟8

如由下述式所表示那樣，參數(shù)“j”被設(shè)定為初始值“1”。

[數(shù)式23]

j←1

·步驟9

如由下述式所表示那樣，從協(xié)方差矩陣排除可由排除了第j個(gè)基底而得的基底的展開子空間表現(xiàn)的成分，并計(jì)算殘差。

[數(shù)式24]

Ψ_j＝[φ₁ φ₂ … φ_j-1 φ_j+1 … φ_N-1]

·步驟10

與表示由上述式所表示的殘差成分的協(xié)方差矩陣Qj的最大特征值對應(yīng)的特征矢量Ψ_j可根據(jù)上述方法求出。

·步驟11

最接近特征矢量Ψ_j的頻率特性的FIR濾波器的抽頭系數(shù)通過任意的方法獲取，通過該抽頭系數(shù)實(shí)際實(shí)現(xiàn)的濾波器的頻率特性被設(shè)定為“φ_j”。由此，在第“j+1”濾波處理中所使用的濾波器的頻率特性φ_j(抽頭系數(shù))被更新，并存儲(chǔ)于未圖示的存儲(chǔ)器。

·步驟12

由下述式定義的整體的近似誤差“J_TOTAL”在特定的目標(biāo)范圍內(nèi)，或者循環(huán)次數(shù)(計(jì)算時(shí)間)達(dá)到特定的上限為止，如由下述式所表示那樣改變參數(shù)“j”的同時(shí)反復(fù)進(jìn)行“步驟9”～“步驟12”。

[數(shù)式25]

Φ_ALL＝[φ₁ φ₂ … φ_N-1]

tr：trace(對角和)

通過利用上述SAGE算法或OMP算法，只要能夠掌握多種圖像濾波處理的頻率特性的偏差(例如平均及方差)，就能夠高精度地設(shè)計(jì)FIR濾波器的抽頭系數(shù)。并且，在掌握個(gè)別的具體的圖像濾波處理的頻率特性之前，能夠確定在圖像濾波處理(多個(gè)濾波處理)中可實(shí)際使用的濾波器的抽頭系數(shù)。

<基于點(diǎn)擴(kuò)散函數(shù)的濾波器與輪廓增強(qiáng)濾波器的組合>

點(diǎn)擴(kuò)散函數(shù)(PSF)由光學(xué)系統(tǒng)的設(shè)計(jì)值計(jì)算，這為最容易，但光學(xué)系統(tǒng)并不一定是按照設(shè)計(jì)值來制造的，實(shí)際的光學(xué)系統(tǒng)的點(diǎn)擴(kuò)散函數(shù)有時(shí)表示與由設(shè)計(jì)值導(dǎo)出的頻率特性不同的頻率特性。

例如，光學(xué)系統(tǒng)中所包括的透鏡14的中央部分的實(shí)際MTF與由設(shè)計(jì)值假設(shè)的MTF不同時(shí)，即使進(jìn)行基于點(diǎn)擴(kuò)散函數(shù)的圖像濾波處理，有時(shí)也無法充分改善原圖像數(shù)據(jù)D1的中央部分的分辨率。為了對應(yīng)這種情況，還考慮比預(yù)想更強(qiáng)地設(shè)定濾波器響應(yīng)，但此時(shí)，雖然原圖像數(shù)據(jù)D1的中央部分(低像高部分)的分辨率有所改善，但有時(shí)原圖像數(shù)據(jù)D1的周邊部分(高像高部分)的分辨率與中央部分的分辨率相比過高。

上述問題不僅在產(chǎn)生設(shè)計(jì)及制造的偏差的情況中發(fā)生，在產(chǎn)生光學(xué)系統(tǒng)的個(gè)體偏差的情況中也同樣地發(fā)生。

作為針對這種問題的途徑方法之一，關(guān)于各光學(xué)系統(tǒng)(透鏡14)的中央部分及周邊部分的每一個(gè)部分實(shí)際測量點(diǎn)擴(kuò)散函數(shù)，考慮根據(jù)該測量的點(diǎn)擴(kuò)散函數(shù)，單獨(dú)制作關(guān)于各光學(xué)系統(tǒng)的中央部分及周邊部分的每一個(gè)部分的濾波器。

然而，按光學(xué)系統(tǒng)的每個(gè)位置測量點(diǎn)擴(kuò)散函數(shù)來制作濾波器的處理的負(fù)載非常重，并且制成的濾波器的數(shù)據(jù)量也非常龐大，從而需要高性能且昂貴的運(yùn)算電路及存儲(chǔ)器等資源。尤其由用戶本身進(jìn)行校準(zhǔn)時(shí)，需要在數(shù)碼相機(jī)10的產(chǎn)品本身組裝這種運(yùn)算處理電路及存儲(chǔ)器，相對于各種輸入算法穩(wěn)定地發(fā)揮作用且保證品質(zhì)，這成為較大的負(fù)載。

圖41是表示由設(shè)計(jì)值導(dǎo)出的“光學(xué)系統(tǒng)(透鏡14)的MTF”的一例的曲線圖，圖41(a)表示光學(xué)系統(tǒng)的中央部分的MTF，圖41(b)表示光學(xué)系統(tǒng)的周邊部分的MTF。在圖41(a)及圖41(b)的每一個(gè)圖中，橫軸表示頻率，縱軸表示經(jīng)標(biāo)準(zhǔn)化的MTF。圖42是表示由實(shí)測值導(dǎo)出的“光學(xué)系統(tǒng)(透鏡14)的MTF”的一例的曲線圖，圖42(a)表示光學(xué)系統(tǒng)的中央部分的MTF，圖42(b)表示光學(xué)系統(tǒng)的周邊部分的MTF。在圖42(a)及圖42(b)的每一個(gè)圖中，橫軸表示頻率，縱軸表示經(jīng)標(biāo)準(zhǔn)化的MTF。若圖41及圖42為與相同的光學(xué)系統(tǒng)相關(guān)的圖，則在本例中關(guān)于光學(xué)系統(tǒng)的“周邊部分”由實(shí)測值導(dǎo)出的MTF(參考圖42(b))與由設(shè)計(jì)值導(dǎo)出的MTF(參考圖41(b))大致一致，但關(guān)于光學(xué)系統(tǒng)的“中央部分”，由實(shí)測值導(dǎo)出的MTF(參考圖42(a))比由設(shè)計(jì)值導(dǎo)出的MTF(參考圖41(a))良好。

對使用這種光學(xué)系統(tǒng)拍攝獲取的圖像數(shù)據(jù)進(jìn)行了濾波器應(yīng)用處理PF及增益應(yīng)用處理PG時(shí)的MTF進(jìn)行研究。

圖43是表示根據(jù)圖41所示的MTF進(jìn)行濾波器應(yīng)用處理PF及增益應(yīng)用處理PG時(shí)的“與圖像濾波處理相關(guān)的MTF”的一例的曲線圖，圖43(a)表示光學(xué)系統(tǒng)的中央部分的MTF，圖43(b)表示光學(xué)系統(tǒng)的周邊部分的MTF。圖44是表示根據(jù)圖42所示的MTF進(jìn)行濾波器應(yīng)用處理PF及增益應(yīng)用處理PG時(shí)的“與圖像濾波處理相關(guān)的MTF”的一例的曲線圖，圖44(a)表示光學(xué)系統(tǒng)的中央部分的MTF，圖44(b)表示光學(xué)系統(tǒng)的周邊部分的MTF。在圖43及圖44所示的例子中，表示兩者在濾波器應(yīng)用處理PF中均使用相同的濾波器，并且在增益應(yīng)用處理PG中均使用相同的增益“1.0”的例子。在本例中根據(jù)設(shè)計(jì)值獲取在濾波器應(yīng)用處理PF中所使用的濾波器，因此以設(shè)計(jì)值為基準(zhǔn)時(shí)(參考圖43(a)及圖43(b))獲得適當(dāng)?shù)腗TF，但以實(shí)測值為基準(zhǔn)時(shí)，有時(shí)會(huì)導(dǎo)致光學(xué)系統(tǒng)的中央部和/或周邊部的MTF變得過大。即，在圖44所示的例子中，光學(xué)系統(tǒng)的周邊部分的MTF落在容許范圍內(nèi)(參考圖44(b))，但光學(xué)系統(tǒng)的中央部分的MTF因頻帶而導(dǎo)致變得過大(參考圖44(a))。

圖45是表示根據(jù)圖42所示的MTF進(jìn)行濾波器應(yīng)用處理PF及增益應(yīng)用處理PG時(shí)的“光學(xué)系統(tǒng)(透鏡14)的MTF”的一例的曲線圖，圖45(a)表示光學(xué)系統(tǒng)的中央部分的MTF，圖45(b)表示光學(xué)系統(tǒng)的周邊部分的MTF。在圖45所示的例子中，在濾波器應(yīng)用處理PF中使用與圖44所示的例子相同的濾波器，但在增益應(yīng)用處理PG中使用比圖44所示的例子中所使用的增益小的增益(＜1.0)。在圖45所示的例子中，光學(xué)系統(tǒng)的中央部分的MTF落在容許范圍內(nèi)(參考圖45(a))，但光學(xué)系統(tǒng)的周邊部分的MTF因頻帶而導(dǎo)致變得過小(參考圖45(b))。

如上所述，難以平衡良好地調(diào)整光學(xué)系統(tǒng)(透鏡14)的所有位置(中央部分及周邊部分)的點(diǎn)擴(kuò)散函數(shù)。

在以下的實(shí)施方式中，通過將使用了由點(diǎn)擴(kuò)散函數(shù)導(dǎo)出的濾波器的濾波處理(以下稱為“點(diǎn)像復(fù)原處理”)和使用了輪廓增強(qiáng)濾波器的濾波處理(以下還稱為“輪廓增強(qiáng)處理”)進(jìn)行組合而良好地調(diào)整整個(gè)光學(xué)系統(tǒng)的點(diǎn)擴(kuò)散函數(shù)。圖46是表示根據(jù)圖42所示的MTF組合下述點(diǎn)像復(fù)原處理及輪廓增強(qiáng)處理時(shí)的“光學(xué)系統(tǒng)(透鏡14)的MTF”的一例的曲線圖，圖46(a)表示光學(xué)系統(tǒng)的中央部分的MTF，圖46(b)表示光學(xué)系統(tǒng)的周邊部分的MTF。根據(jù)以下的實(shí)施方式，如圖46(a)及圖46(b)所示，能夠在光學(xué)系統(tǒng)的中央部分及周邊部分的兩個(gè)區(qū)域中實(shí)現(xiàn)良好的MTF。

另外，在以下的實(shí)施方式中，“由點(diǎn)擴(kuò)散函數(shù)導(dǎo)出的濾波器”作為依賴于圖像內(nèi)位置(像素位置)而頻率特性發(fā)生變化的濾波器而構(gòu)成，另一方面，“輪廓增強(qiáng)濾波器”作為不依賴于圖像內(nèi)位置(像素位置)而具有恒定的頻率特性的濾波器而構(gòu)成。

圖47是表示進(jìn)行使用了由點(diǎn)擴(kuò)散函數(shù)導(dǎo)出的濾波器的濾波處理的電路與進(jìn)行使用了輪廓增強(qiáng)濾波器的濾波處理的電路串聯(lián)連接的情況的一例的電路結(jié)構(gòu)圖。圖47所示的電路結(jié)構(gòu)例與圖8所示的電路結(jié)構(gòu)例大致相同。即，在圖8所示的電路結(jié)構(gòu)例中設(shè)為“N＝2”，將在第1濾波器應(yīng)用部48-1中使用的濾波器設(shè)為“由點(diǎn)擴(kuò)散函數(shù)導(dǎo)出的濾波器”，將在第2濾波器應(yīng)用部48-2中使用的濾波器設(shè)為“輪廓增強(qiáng)濾波器”，從而成為圖47所示的電路結(jié)構(gòu)。

圖48是表示進(jìn)行使用了由點(diǎn)擴(kuò)散函數(shù)導(dǎo)出的濾波器的濾波處理的電路與進(jìn)行使用了輪廓增強(qiáng)濾波器的濾波處理的電路并聯(lián)連接的情況的一例的電路結(jié)構(gòu)圖。圖48所示的電路結(jié)構(gòu)例與圖9所示的電路結(jié)構(gòu)例大致相同。即，在圖9所示的電路結(jié)構(gòu)例中設(shè)為“N＝2”，將在第1濾波器應(yīng)用部48-1中使用的濾波器設(shè)為“由點(diǎn)擴(kuò)散函數(shù)導(dǎo)出的濾波器”，將在第2濾波器應(yīng)用部48-2中使用的濾波器設(shè)為“輪廓增強(qiáng)濾波器”，從而成為圖48所示的電路結(jié)構(gòu)。

圖49是表示進(jìn)行使用了由點(diǎn)擴(kuò)散函數(shù)導(dǎo)出的濾波器的濾波處理的電路與進(jìn)行使用了輪廓增強(qiáng)濾波器的濾波處理的電路并聯(lián)連接的情況的一例的電路結(jié)構(gòu)圖。圖49所示的電路結(jié)構(gòu)例與圖10所示的電路結(jié)構(gòu)例大致相同。即，在圖10所示的電路結(jié)構(gòu)例中設(shè)為“N＝2”，將在第1濾波器應(yīng)用部48-1中使用的濾波器設(shè)為“由點(diǎn)擴(kuò)散函數(shù)導(dǎo)出的濾波器”，將在第2濾波器應(yīng)用部48-2中使用的濾波器設(shè)為“輪廓增強(qiáng)濾波器”，從而成為圖49所示的電路結(jié)構(gòu)。

在圖47～圖49所示的例子中，也與上述圖8～圖10所示的例子同樣地，通過調(diào)整在第1增益應(yīng)用部49-1及第2增益應(yīng)用部49-2中所使用的增益g₀、g₁而近似地實(shí)現(xiàn)“圖像濾波處理的作為目標(biāo)的頻率特性”?？傊?，在圖47～圖49所示的例子中，光學(xué)系統(tǒng)的中央部分與周邊部分之間調(diào)整增益g₀、g₁，以免對分辨率產(chǎn)生過大的偏差。由此，無需重新設(shè)計(jì)濾波器(尤其由點(diǎn)擴(kuò)散函數(shù)導(dǎo)出的濾波器)，能夠降低關(guān)于許多攝影條件應(yīng)保持的參數(shù)個(gè)數(shù)(抽頭系數(shù)等)。并且，在用于校正光學(xué)系統(tǒng)的個(gè)體偏差的校準(zhǔn)中，無需進(jìn)行需要大量計(jì)算量的有限抽頭長度的FIR濾波器的設(shè)計(jì)工作。

以下，作為一例，主要對濾波處理部41具有圖49所示的電路結(jié)構(gòu)時(shí)的增益的計(jì)算方法進(jìn)行說明。

如上所述，在第1濾波處理F1中進(jìn)行使用了“由點(diǎn)擴(kuò)散函數(shù)導(dǎo)出的濾波器”的點(diǎn)像復(fù)原處理，在第2濾波處理F2中進(jìn)行使用了“輪廓增強(qiáng)濾波器”的輪廓增強(qiáng)處理。

由“φ₀(ω，r)”表示在點(diǎn)像復(fù)原處理中所使用的濾波器(即在第1濾波器應(yīng)用部48-1中所使用的濾波器)的頻率特性，關(guān)于針對頻率為N_ω個(gè)且針對圖像內(nèi)位置(像素位置)為N_r個(gè)的采樣點(diǎn)進(jìn)行“φ₀(ω，r)”的離散化，從而如上所述，使用Kronecker積而使下述式成立。

[數(shù)式26]

另一方面，以“T(ω)”表示在輪廓增強(qiáng)處理中所使用的濾波器(即在第2濾波器應(yīng)用部48-2中所使用的濾波器)的頻率特性。該輪廓增強(qiáng)濾波器的頻率特性“τ(ω)”不依賴于圖像內(nèi)位置，如以與上述點(diǎn)像復(fù)原處理的濾波器的頻率特性相同的公式格式所表示那樣，關(guān)于“τ(ω)”的離散化，下述式成立。

[數(shù)式27]

此時(shí)，由在第1濾波處理F1及第2濾波處理F2中所使用的增益構(gòu)成的增益矢量(增益組)g由下述式表示。

[數(shù)式28]

g＝[g₀ g₁]^T

若通過“f(ω，r|g)”表示設(shè)定有由上述式所表示的增益的圖像濾波處理P整體(濾波處理部41整體)的頻率特性，通過“d(ω，r)”表示欲實(shí)現(xiàn)的圖像濾波處理P的作為目標(biāo)的頻率特性，通過“w(ω，r)”表示近似加權(quán)函數(shù)，則以與圖10相關(guān)的上述處理相同的方法獲得下述關(guān)系式。

[數(shù)式29]

J_LMS[g]＝∫∫w(ω，r)||f(ω，r|g)-d(ω，r)||²dωdr

J_LMS[g]＝||W^1/2(Ag-d)||²

其中

W＝diag[w]

A＝[φ₀ τ]

如上所述，“(A^HWA)^-1A^HW”的一部分由可預(yù)先計(jì)算的矩陣(2×2矩陣)表示，因此增益矢量的最優(yōu)解g_OPT能夠通過對根據(jù)表示個(gè)別的像劣化特性的點(diǎn)擴(kuò)散函數(shù)而獲取的濾波器特性應(yīng)用矩陣的運(yùn)算來計(jì)算。

另外，優(yōu)選當(dāng)濾波處理部41采用圖49所示的電路結(jié)構(gòu)時(shí)，除了應(yīng)用上述條件之外，為了防止圖像的DC成分(亮度)發(fā)生變化，還應(yīng)用將DC成分的放大率(增益)設(shè)為1.0倍的約束條件。具體而言，按照下述式獲取增益矢量的最優(yōu)解g_OPT，這相當(dāng)于“將DC成分的放大率設(shè)為1.0倍而不改變圖像整體的亮度”。

[數(shù)式30]

subject to：g₀×φ_i(0)+g₁×τ(0)＝1

上述式能夠作為QP問題來處理，在維數(shù)較小的最優(yōu)化中能夠以較少的計(jì)算量解決。并且，作為一例，如由下述式所表示那樣，通過對各濾波器的DC成分的放大率設(shè)置限制，能夠排除DC成分的放大率的限制(約束條件)。

[數(shù)式31]

φ_i(0)＝1，ψ(0)＝0

<輪廓增強(qiáng)濾波器的設(shè)計(jì)方法>

在由攝影條件或個(gè)體偏差引起的點(diǎn)擴(kuò)散函數(shù)(PSF)的偏差的分布信息為已知的情況下，能夠設(shè)計(jì)用于彌補(bǔ)其點(diǎn)擴(kuò)散函數(shù)的偏差的最佳的輪廓增強(qiáng)濾波器。

能夠使用在頻率空間上表現(xiàn)點(diǎn)擴(kuò)散函數(shù)的OTF并通過下述“OTF_i(ω，r)”表示成為點(diǎn)擴(kuò)散函數(shù)的偏差的樣品的點(diǎn)擴(kuò)散函數(shù)的實(shí)測值或估計(jì)值的集合。

[數(shù)式32]

通過“d_i(ω，r)”由下述式表示根據(jù)該“OTF_i(ω，r)”獨(dú)立計(jì)算出的最佳濾波器的頻率，并通過“φ_i(ω，r)”由下述式表示關(guān)于各樣品的攝影條件預(yù)先被確定的點(diǎn)像復(fù)原處理的濾波器的頻率。

[數(shù)式33]

此時(shí)，如上所述，與第i個(gè)樣品相關(guān)的最佳增益矢量“g_i”由下述式表示。

[數(shù)式34]

W＝diag[w]

A＝[φ_i τ]

此時(shí)，通過濾波處理部41進(jìn)行的圖像濾波處理P(第1濾波處理F1及第2濾波處理F2)整體的頻率特性由下述式表示。

[數(shù)式35]

在此與“P”相關(guān)的下述式表示對下述線性子空間「R(W^1/2A)」的正投影矩陣。

[數(shù)式36]

與該線性子空間“正交的空間”由下述式表示。

[數(shù)式37]

R(W^1/2A)^⊥

近似誤差能夠通過對該“正交的空間”的投影矩陣來表現(xiàn)，因此由下述式所表示。

[數(shù)式38]

將該近似誤差的樣品平均最小化的輪廓增強(qiáng)濾波器的頻率特性為計(jì)算對象，其最小化基準(zhǔn)能夠作為下述式的類函數(shù)來表現(xiàn)。

[數(shù)式39]

將該基準(zhǔn)最小化的頻率特性τ能夠平均地最好地彌補(bǔ)頻率的偏差。因此，優(yōu)選設(shè)計(jì)近似地實(shí)現(xiàn)以這種方式計(jì)算出的頻率特性τ的有限抽頭長度FIR濾波器，并將在輪廓增強(qiáng)處理(第2增益應(yīng)用部49-2)中使用該F1R濾波器作為輪廓增強(qiáng)濾波器。

<其他變形例>

上述各功能結(jié)構(gòu)可通過任意的硬件、軟件或兩者的組合實(shí)現(xiàn)。例如，對使計(jì)算機(jī)執(zhí)行上述各裝置及處理部中的圖像處理方法(圖像處理步驟及功能)、增益獲取方法(增益獲取處理步驟及功能)及濾波器獲取方法(濾波器獲取處理步驟及功能)的程序、記錄了該程序的計(jì)算機(jī)可讀取的記錄介質(zhì)(非暫時(shí)記錄介質(zhì))、或者可安裝該程序的計(jì)算機(jī)也能夠應(yīng)用本發(fā)明。

并且，圖像濾波處理(多次濾波處理)的目的也并無特別限定，在各濾波處理(各濾波器應(yīng)用部48)中，可使用以改善畫質(zhì)為目的的基于點(diǎn)擴(kuò)散函數(shù)的復(fù)原濾波器或輪廓增強(qiáng)濾波器、以賦予特殊效果為目的的藝術(shù)濾波器或模糊濾波器等各種濾波器。

<對EDoF系統(tǒng)的應(yīng)用例>

例如，對于針對通過具有被放大的景深(焦深)(EDoF：Extended Depth of Field(Focus))的光學(xué)系統(tǒng)(攝影透鏡等)拍攝獲取的圖像數(shù)據(jù)(原圖像數(shù)據(jù)D1)的復(fù)原處理，也能夠應(yīng)用本發(fā)明所涉及的圖像濾波處理。針對通過EDoF光學(xué)系統(tǒng)在景深(焦深)被放大的狀態(tài)下拍攝獲取的模糊圖像的圖像數(shù)據(jù)進(jìn)行復(fù)原處理，從而能夠在廣范圍內(nèi)復(fù)原生成對焦?fàn)顟B(tài)的高分辨率的圖像數(shù)據(jù)。此時(shí)使用復(fù)原濾波器進(jìn)行復(fù)原處理，所述復(fù)原濾波器為基于EDoF光學(xué)系統(tǒng)的光學(xué)傳遞函數(shù)(PSF、OTF、MTF、PTF等)的復(fù)原濾波器，并且具有設(shè)定成能夠在被放大的景深(焦深)的范圍內(nèi)進(jìn)行良好的圖像復(fù)原的具有濾波器系數(shù)的復(fù)原濾波器。

以下對與經(jīng)由EDoF光學(xué)系統(tǒng)攝影獲取的圖像數(shù)據(jù)的復(fù)原相關(guān)的系統(tǒng)(EDoF系統(tǒng))的一例進(jìn)行說明。另外，在以下所示的例子中，對針對由去馬賽克處理后的圖像數(shù)據(jù)(RGB數(shù)據(jù))獲得的亮度信號(Y數(shù)據(jù))進(jìn)行復(fù)原處理的例子進(jìn)行說明，但進(jìn)行復(fù)原處理的時(shí)機(jī)并無特別限定，例如可對“去馬賽克處理前的圖像數(shù)據(jù)(馬賽克圖像數(shù)據(jù))”或“去馬賽克處理后且亮度信號轉(zhuǎn)換處理前的圖像數(shù)據(jù)(去馬賽克圖像數(shù)據(jù))”進(jìn)行復(fù)原處理。

圖50是表示具備EDoF光學(xué)系統(tǒng)的攝像模塊101的一方式的框圖。本例的攝像模塊(數(shù)碼相機(jī)等)101包含EDoF光學(xué)系統(tǒng)(透鏡單元)110、成像元件112、AD轉(zhuǎn)換部114及復(fù)原處理塊(圖像處理部35)120。

圖51是表示EDoF光學(xué)系統(tǒng)110的一例的圖。本例的EDoF光學(xué)系統(tǒng)110具有單焦點(diǎn)的被固定的攝影透鏡11OA及配置于光瞳位置的濾光器111。濾光器111調(diào)制相位，并以獲得被放大的景深(焦深)(EDoF)的方式將EDoF光學(xué)系統(tǒng)110(攝影透鏡110A)EDoF化。如此，攝影透鏡110A和濾光器111構(gòu)成調(diào)制相位來擴(kuò)大景深的透鏡部。

另外，EDoF光學(xué)系統(tǒng)110根據(jù)需要包含其他構(gòu)成要件，例如在濾光器111附近配設(shè)有光圈(省略圖示)。并且，濾光器111可以是一個(gè)，也可以組合多個(gè)。并且，濾光器111僅僅是光學(xué)相位調(diào)制機(jī)構(gòu)的一例，還可以通過其他機(jī)構(gòu)實(shí)現(xiàn)EDoF光學(xué)系統(tǒng)110(攝影透鏡110A)的EDoF化。例如，可通過以具有與本例的濾光器111相同功能的方式進(jìn)行透鏡設(shè)計(jì)而得的攝影透鏡110A實(shí)現(xiàn)EDoF光學(xué)系統(tǒng)110的EDoF化代替濾光器二111的設(shè)置。

即，能夠通過使對成像元件112的受光面的成像的波面發(fā)生變化的各種機(jī)構(gòu)，實(shí)現(xiàn)EDoF光學(xué)系統(tǒng)110的EDoF化。例如，可將“厚度發(fā)生變化的光學(xué)元件”、“折射率發(fā)生變化的光學(xué)元件(折射率分布型波面調(diào)制透鏡等)”、“通過對透鏡表面進(jìn)行編碼等而厚度或折射率發(fā)生變化的光學(xué)元件(在波面調(diào)制混合式透鏡、透鏡面上作為相位面而形成的光學(xué)元件等)”、“能夠調(diào)制光的相位分布的液晶元件(液晶空間相位調(diào)制元件等)”用作EDoF光學(xué)系統(tǒng)110的EDoF化機(jī)構(gòu)。如此，不僅能夠?qū)赏ㄟ^光波面調(diào)制元件(濾光器111(相位板))形成規(guī)則地分散而得的圖像的情況應(yīng)用本發(fā)明，而且能夠?qū)刹皇褂霉獠嬲{(diào)制元件而通過攝影透鏡110A本身形成與使用光波面調(diào)制元件時(shí)相同的分散圖像的情況應(yīng)用本發(fā)明。

圖51所示的EDoF光學(xué)系統(tǒng)110可以省略機(jī)械地進(jìn)行調(diào)焦的調(diào)焦機(jī)構(gòu)，因此能夠?qū)崿F(xiàn)小型化，可優(yōu)選搭載于帶相機(jī)的移動(dòng)電話或移動(dòng)信息終端。

通過被EDoF化的EDoF光學(xué)系統(tǒng)110之后的光學(xué)像成像于圖50所示的成像元件112，在此轉(zhuǎn)換成電信號。

成像元件112由以規(guī)定的圖案排列(拜耳排列、G條紋R/G全方格、X-Trans排列或蜂窩排列等)配置成矩陣狀的多個(gè)像素構(gòu)成，各像素包含微透鏡、濾色器(本例中為RGB濾色器)及光電二極管而構(gòu)成。經(jīng)由EDoF光學(xué)系統(tǒng)110入射到成像元件112的受光面的光學(xué)像通過排列于該受光面的各光電二極管而轉(zhuǎn)換成與入射光量相應(yīng)的量的信號電荷。并且，積蓄在各光電二極管的R、G、B的信號電荷作為每個(gè)像素的電壓信號(圖像信號)被依次輸出。

AD轉(zhuǎn)換部114將從成像元件112按每個(gè)像素被輸出的模擬R、G、B圖像信號轉(zhuǎn)換成數(shù)字RGB圖像信號。通過AD轉(zhuǎn)換部114轉(zhuǎn)換成數(shù)字圖像信號的數(shù)字圖像信號被加入到復(fù)原處理塊120。

復(fù)原處理塊120例如包括黑電平調(diào)整部122、白平衡增益部123、伽馬處理部124、去馬賽克處理部125、RGB/YCrCb轉(zhuǎn)換部126及Y信號復(fù)原處理部127。

黑電平調(diào)整部122對從AD轉(zhuǎn)換部114輸出的數(shù)字圖像信號實(shí)施黑電平調(diào)整。在黑電平調(diào)整中，可采用公知的方法。例如，在著眼于某一有效光電轉(zhuǎn)換元件的情況下，求出與在包括該有效光電轉(zhuǎn)換元件的光電轉(zhuǎn)換元件行中所包含的多個(gè)0B光電轉(zhuǎn)換元件的每一個(gè)對應(yīng)的暗電流量獲取用信號的平均值，從與該有效光電轉(zhuǎn)換元件對應(yīng)的暗電流量獲取用信號減去該平均值，從而進(jìn)行黑電平調(diào)整。

白平衡增益部123進(jìn)行與在調(diào)整了黑電平數(shù)據(jù)的數(shù)字圖像信號中所包含的RGB各顏色信號的白平衡增益對應(yīng)的增益調(diào)整。

伽馬處理部124進(jìn)行執(zhí)行半色調(diào)等的灰度校正的伽馬校正，使得白平衡調(diào)整后的R、G、B圖像信號成為期望的伽馬特性。

去馬賽克處理部125對伽馬校正后的R、G、B圖像信號施加去馬賽克處理。具體而言，去馬賽克處理部125通過對R、G、B的圖像信號施加顏色插值處理，生成從攝像元件112的各受光像素輸出的一組圖像信號(R信號、G信號、B信號)。即，雖然在顏色去馬賽克處理前，來自各受光像素的像素信號是R、G、B的圖像信號中的任一個(gè)圖像信號，但在顏色去馬賽克處理后，輸出與各受光像素對應(yīng)的R、G、B信號的3個(gè)像素信號的組。

RGB/YCrCb轉(zhuǎn)換部126將經(jīng)去馬賽克處理的每個(gè)像素的R、G、B信號轉(zhuǎn)換為亮度信號Y和色差信號Cr、Cb，并輸出每個(gè)像素的亮度信號Y及色差信號Cr、Cb。

Y信號復(fù)原處理部127根據(jù)預(yù)先存儲(chǔ)的復(fù)原濾波器，對來自RGB/YCrCb轉(zhuǎn)換部126的亮度信號Y進(jìn)行復(fù)原處理。復(fù)原濾波器例如包括具有7×7的核尺寸的反卷積核(與M＝7、N＝7的抽頭數(shù)量對應(yīng))和與該反卷積核對應(yīng)的運(yùn)算系數(shù)(與復(fù)原增益數(shù)據(jù)、濾波系數(shù)對應(yīng))，使用于光學(xué)濾波器111的相位調(diào)制量的反卷積處理(反卷積運(yùn)算處理)。另外，復(fù)原濾波器將與光學(xué)濾波器111對應(yīng)的部分存儲(chǔ)到未圖示的存儲(chǔ)器(例如，附隨地設(shè)有Y信號復(fù)原處理部127的存儲(chǔ)器)中。此外，反卷積核的核尺寸并不限于7×7。另外，Y信號復(fù)原處理部127具有上述圖像處理部35中的銳化處理的功能。

接著，對基于復(fù)原處理塊120的復(fù)原處理進(jìn)行說明。圖52是表示基于圖50所示的復(fù)原處理塊120的復(fù)原處理流程的一例的圖。

在黑電平調(diào)整部122的一個(gè)輸入中，由AD轉(zhuǎn)換部114被施加數(shù)字圖像信號，在其他輸入中被施加黑電平數(shù)據(jù)，黑電平調(diào)整部122根據(jù)數(shù)字圖像信號減去黑電平數(shù)據(jù)，并將減去了黑電平數(shù)據(jù)的數(shù)字圖像信號輸出到白平衡增益部123(S41)。由此，在數(shù)字圖像信號中不包括黑電平成分，表示黑電平的數(shù)字圖像信號成為0。

對進(jìn)行黑電平調(diào)整后的圖像數(shù)據(jù)依次實(shí)施通過白平衡增益部123、伽馬處理部124進(jìn)行的處理(S42及S43)。

被伽馬校正的R、G、B信號在去馬賽克處理部125中進(jìn)行去馬賽克處理之后，在RGB/YCrCb轉(zhuǎn)換部126中轉(zhuǎn)換為亮度信號Y和色差信號Cr、Cb(S44)。

Y信號復(fù)原處理部127進(jìn)行對亮度信號Y應(yīng)用EDoF光學(xué)系統(tǒng)110的光學(xué)濾波器111的相位調(diào)制量的反卷積處理的復(fù)原處理(S45)。即，Y信號復(fù)原處理部127進(jìn)行與以任意的處理對象的像素為中心的規(guī)定單位的像素組對應(yīng)的亮度信號(在此為7×7像素的亮度信號)和預(yù)先存儲(chǔ)在存儲(chǔ)器等中的復(fù)原濾波器(7×7的反卷積核和其運(yùn)算系數(shù))的反卷積處理(反卷積運(yùn)算處理)。Y信號復(fù)原處理部127通過以覆蓋攝像面的整個(gè)區(qū)域的方式反復(fù)該規(guī)定單位的每個(gè)像素組的反卷積處理，從而進(jìn)行去除圖像整體的像模糊的復(fù)原處理。復(fù)原濾波器是根據(jù)實(shí)施反卷積處理的像素組的中心的位置而確定的。即，對接近的像素組應(yīng)用共同的復(fù)原濾波器。進(jìn)一步為了簡化復(fù)原處理，優(yōu)選對所有像素組應(yīng)用共同的復(fù)原濾波器。

如圖53(a)所示，通過EDoF光學(xué)系統(tǒng)110之后的亮度信號的點(diǎn)像(光學(xué)像)作為較大的點(diǎn)像(模糊的圖像)成像于成像元件112，但通過Y信號復(fù)原處理部127中的反卷積處理而復(fù)原為如圖53(b)所示那樣較小的點(diǎn)像(高分辨率的圖像)。

如上所述，通過對去馬賽克處理后的亮度信號應(yīng)用復(fù)原處理，無需按RGB不同而具有復(fù)原處理的參數(shù)，能夠使復(fù)原處理高速化。此外，由于不是將與位于分散的位置的R、G、B的像素對應(yīng)的R、G、B的圖像信號分別匯集為一個(gè)單位而進(jìn)行反卷積處理，而是將接近的像素的亮度信號彼此以預(yù)定的單位匯集，對該單位應(yīng)用共同的復(fù)原濾波器而進(jìn)行反卷積處理，所以復(fù)原處理的精度提高。另外，關(guān)于色差信號Cr、Cb，在基于肉眼的視覺特性上，即使在復(fù)原處理中不提高分辨率，在畫質(zhì)上也被允許。此外，在以如JPEG這樣的壓縮形式來記錄圖像的情況下，色差信號以比亮度信號高的壓縮率被壓縮，所以缺少在復(fù)原處理中提高分辨率的必要性。這樣一來，能夠兼顧復(fù)原精度的提高和處理的簡化及高速化。

對于如以上進(jìn)行說明那樣的EDoF系統(tǒng)的復(fù)原處理，也能夠應(yīng)用上述實(shí)施方式所涉及的圖像濾波處理。

并且，能夠應(yīng)用本發(fā)明的方式并不限定于數(shù)碼相機(jī)及計(jì)算機(jī)(服務(wù)器)，除了以攝像為主要功能的相機(jī)類之外，對于除了攝像功能以外還具備攝像以外的其他功能(通話功能、通信功能、其他計(jì)算機(jī)功能)的移動(dòng)設(shè)備類，也能夠應(yīng)用本發(fā)明。作為能夠應(yīng)用本發(fā)明的其他方式，例如可舉出具有相機(jī)功能的移動(dòng)電話和智能手機(jī)、PDA(Personal Digital Assistants)、便攜式游戲機(jī)。以下，對能夠應(yīng)用本發(fā)明的智能手機(jī)的一例進(jìn)行說明。

<對智能手機(jī)的應(yīng)用例>

圖54是表示智能手機(jī)201的外觀的圖。圖54所示的智能手機(jī)201具有平板狀框體202，在框體202的一側(cè)面具備作為顯示部的顯示面板221與作為輸入部的操作面板222成為一體的顯示輸入部220。并且，這種框體202具備揚(yáng)聲器231、麥克風(fēng)232、操作部240及相機(jī)部241。另外，框體202的結(jié)構(gòu)并不限定于此，例如能夠采用顯示部與輸入部獨(dú)立的結(jié)構(gòu)，或者采用具有折疊結(jié)構(gòu)或滑動(dòng)機(jī)構(gòu)的結(jié)構(gòu)。

圖55是表示圖54所示的智能手機(jī)201的結(jié)構(gòu)的框圖。如圖55所示，作為智能手機(jī)的主要構(gòu)成要件，具備無線通信部210、顯示輸入部220、通話部230、操作部240、相機(jī)部241、存儲(chǔ)部250、外部輸入輸出部260、GPS(Global Positioning System)接收部270、動(dòng)作傳感器部280、電源部290及主控制部200(包括上述主體控制器25)。并且，作為智能手機(jī)201的主要功能，具備經(jīng)由基站裝置BS和移動(dòng)通信網(wǎng)NW進(jìn)行移動(dòng)無線通信的無線通信功能。

無線通信部210根據(jù)主控制部200的命令，對容納于移動(dòng)通信網(wǎng)Nw的基站裝置BS進(jìn)行無線通信。使用該無線通信，進(jìn)行語音數(shù)據(jù)、圖像數(shù)據(jù)等各種文件數(shù)據(jù)、電子郵件數(shù)據(jù)等的收發(fā)、Web數(shù)據(jù)或流數(shù)據(jù)等的接收。

顯示輸入部220是通過主控制部200的控制，顯示圖像(靜態(tài)圖像及動(dòng)態(tài)圖像)和文字信息等來視覺性地向用戶傳遞信息，并且檢測用戶對所顯示的信息的操作的所謂的觸控面板，具備顯示面板221及操作面板222。

顯示面板221是將LCD(Liquid Crystal Display)、OELD(Organic Electro-Luminescence Display)等用作顯示設(shè)備的裝置。操作面板222是以能夠視覺辨認(rèn)顯示于顯示面板221的顯示面上的圖像的方式載置，并檢測通過用戶的手指或觸控筆操作的一個(gè)或多個(gè)坐標(biāo)的設(shè)備。若通過用戶的手指或觸控筆操作該設(shè)備，則將因操作而產(chǎn)生的檢測信號輸出至主控制部200。接著，主控制部200根據(jù)所接收的檢測信號檢測顯示面板221上的操作位置(坐標(biāo))。

如圖54所示，作為本發(fā)明的攝像裝置的一實(shí)施方式來例示的智能手機(jī)201的顯示面板221與操作面板222成為一體而構(gòu)成顯示輸入部220，但配置成操作面板222完全覆蓋顯示面板221。采用該配置時(shí)，操作面板222可以對顯示面板221以外的區(qū)域也具備檢測用戶操作的功能。換言之，操作面板222可具備針對與顯示面板221重疊的重疊部分的檢測區(qū)域(以下，稱為顯示區(qū)域)和針對除此以外的不與顯示面板221重疊的外緣部分的檢測區(qū)域(以下，稱為非顯示區(qū)域)。

另外，可使顯示區(qū)域的大小與顯示面板221的大小完全一致，但無需一定使兩者一致。并且，操作面板222可具備外緣部分和除此以外的內(nèi)側(cè)部分這兩個(gè)感應(yīng)區(qū)域。而且，外緣部分的寬度根據(jù)框體202的大小等而適當(dāng)設(shè)計(jì)。此外，作為在操作面板222中所采用的位置檢測方式，可舉出矩陣開關(guān)方式、電阻膜方式、表面彈性波方式、紅外線方式、電磁感應(yīng)方式、靜電電容方式等，可采用任意方式。

通話部230具備揚(yáng)聲器231和麥克風(fēng)232，所述通話部將通過麥克風(fēng)232輸入的用戶的語音轉(zhuǎn)換成能夠在主控制部200中處理的語音數(shù)據(jù)來輸出至主控制部200，或者對通過無線通信部210或外部輸入輸出部260接收的語音數(shù)據(jù)進(jìn)行解碼而從揚(yáng)聲器231輸出。并且，如圖54所示，例如能夠?qū)P(yáng)聲器231搭載于與設(shè)置有顯示輸入部220的面相同的面，將麥克風(fēng)232搭載于框體202的側(cè)面。

操作部240為使用鍵開關(guān)等的硬件鍵，且接收來自用戶的命令。例如，如圖54所示，操作部240搭載于智能手機(jī)201的框體202的側(cè)面，且是若被手指等按下則開啟，若將手指移開則通過彈簧等的復(fù)原力而成為關(guān)閉狀態(tài)的按鈕式開關(guān)。

存儲(chǔ)部250存儲(chǔ)主控制部200的控制程序和控制數(shù)據(jù)、應(yīng)用軟件、將通信對象的名稱和電話號碼等建立對應(yīng)關(guān)聯(lián)的地址數(shù)據(jù)、所收發(fā)的電子郵件的數(shù)據(jù)、通過Web瀏覽下載的Web數(shù)據(jù)和已下載的內(nèi)容數(shù)據(jù)，并且暫時(shí)存儲(chǔ)流數(shù)據(jù)等。并且，存儲(chǔ)部250由智能手機(jī)內(nèi)置的內(nèi)部存儲(chǔ)部251和具有裝卸自如的外部存儲(chǔ)器插槽的外部存儲(chǔ)部252構(gòu)成。另外，構(gòu)成存儲(chǔ)部250的各個(gè)內(nèi)部存儲(chǔ)部251與外部存儲(chǔ)部252各自通過使用閃存類型(flash memory type)、硬盤類型(hard disk type)、微型多媒體卡類型(multimedia card micro type)、卡類型的存儲(chǔ)器(例如，MicroSD(注冊商標(biāo))存儲(chǔ)器等)、RAM(Random Acc ess Memory)或ROM(Read Only Memory)等存儲(chǔ)介質(zhì)來實(shí)現(xiàn)。

外部輸入輸出部260發(fā)揮與連結(jié)于智能手機(jī)201的所有外部設(shè)備的接口的作用，并用于通過通信等(例如，通用串行總線(USB)、IEEE1394等)或網(wǎng)絡(luò)(例如，互聯(lián)網(wǎng)、無線LAN、藍(lán)牙(Bluetooth(注冊商標(biāo)))、RFID(Radio Frequency Identification)、紅外線通信(Infrared Data Association：IrDA)(注冊商標(biāo))、UWB(Ultra Wideband)(注冊商標(biāo))或紫蜂(ZigBee)(注冊商標(biāo))等)直接或間接地與其他外部設(shè)備連接。

作為與智能手機(jī)201連結(jié)的外部設(shè)備，例如有：有/無線頭戴式耳機(jī)、有/無線外部充電器、有/無線數(shù)據(jù)端口、經(jīng)由卡插槽連接的存儲(chǔ)卡(Memory card)或SIM(Subscriber Identity Module Card)/UIM(User Identitv Module Card)卡、經(jīng)由音頻/視頻I/O(Input/Output)端子連接的外部音頻/視頻設(shè)備、無線連接的外部音頻/視頻設(shè)備、有/無線連接的智能手機(jī)、有/無線連接的個(gè)人計(jì)算機(jī)、有/無線連接的PDA、有/無線連接的耳機(jī)等。外部輸入輸出部能夠?qū)倪@種外部設(shè)備接收到傳送的數(shù)據(jù)傳遞至智能手機(jī)201內(nèi)部的各構(gòu)成要件或?qū)⒅悄苁謾C(jī)201內(nèi)部的數(shù)據(jù)傳送至外部設(shè)備。

GPS接收部270按照主控制部200的命令，接收從GPS衛(wèi)星ST1～STn發(fā)送的GPS信號，執(zhí)行基于所接收的多個(gè)GPS信號的測位運(yùn)算處理，檢測智能手機(jī)201的包括緯度、經(jīng)度、高度的位置。GPS接收部270在能夠從無線通信部210或外部輸入輸出部260(例如無線LAN)獲取位置信息時(shí)，還能夠利用該位置信息檢測位置。

動(dòng)作傳感器部280例如具備3軸加速度傳感器等，根據(jù)主控制部200的命令，檢測智能手機(jī)201的物理動(dòng)作。通過檢測智能手機(jī)201的物理動(dòng)作，可檢測智能手機(jī)201的移動(dòng)方向或加速度。該檢測結(jié)果被輸出至主控制部200。

電源部290按照主控制部200的命令，向智能手機(jī)201的各部供給積蓄在電池(未圖示)中的電力。

主控制部200具備微處理器，并根據(jù)存儲(chǔ)部250所存儲(chǔ)的控制程序或控制數(shù)據(jù)進(jìn)行動(dòng)作，集中控制智能手機(jī)201的各部。并且，主控制部200為了通過無線通信部210進(jìn)行語音通信或數(shù)據(jù)通信，具備控制通信系統(tǒng)的各部的移動(dòng)通信控制功能及應(yīng)用處理功能。

應(yīng)用處理功能通過主控制部200根據(jù)存儲(chǔ)部250所存儲(chǔ)的應(yīng)用軟件進(jìn)行動(dòng)作來實(shí)現(xiàn)。作為應(yīng)用處理功能，例如有控制外部輸入輸出部260來與對象設(shè)備進(jìn)行數(shù)據(jù)通信的紅外線通信功能、進(jìn)行電子郵件的收發(fā)的電子郵件功能、瀏覽Web頁的Web瀏覽功能等。

并且，主控制部200具備根據(jù)接收數(shù)據(jù)或所下載的流數(shù)據(jù)等圖像數(shù)據(jù)(靜態(tài)圖像或動(dòng)態(tài)圖像的數(shù)據(jù))而在顯示輸入部220顯示影像等圖像處理功能。圖像處理功能是指主控制部200對上述圖像數(shù)據(jù)進(jìn)行解碼，對該解碼結(jié)果實(shí)施圖像處理并將圖像顯示于顯示輸入部220的功能。

而且，主控制部200執(zhí)行對顯示面板221的顯示控制和檢測通過操作部240、操作面板222進(jìn)行的用戶操作的操作檢測控制。

通過執(zhí)行顯示控制，主控制部200顯示用于啟動(dòng)應(yīng)用軟件的圖標(biāo)或滾動(dòng)條等軟件鍵，或者顯示用于創(chuàng)建電子郵件的窗口。另外，滾動(dòng)條是指用于針對無法完全落入顯示面板221的顯示區(qū)域的較大圖像等，接收使圖像的顯示部分移動(dòng)的命令的軟件鍵。

并且，通過執(zhí)行操作檢測控制，主控制部200檢測通過操作部240進(jìn)行的用戶操作，或者通過操作面板222接收對上述圖標(biāo)的操作或?qū)ι鲜龃翱诘妮斎霗诘淖址妮斎耄蛘呓邮胀ㄟ^滾動(dòng)條進(jìn)行的顯示圖像的滾動(dòng)請求。

而且，通過執(zhí)行操作檢測控制，主控制部200具備判定對操作面板222進(jìn)行操作的位置是與顯示面板221重疊的重疊部分(顯示區(qū)域)還是除此以外的不與顯示面板221重疊的外緣部分(非顯示區(qū)域)，并控制操作面板222的感應(yīng)區(qū)域或軟件鍵的顯示位置的觸控面板控制功能。

并且，主控制部200還能夠檢測對操作面板222的手勢操作，并根據(jù)檢測出的手勢操作執(zhí)行預(yù)先設(shè)定的功能。所謂手勢操作表示并非以往的單純的觸控操作，而是通過手指等描繪軌跡、或者同時(shí)確定多個(gè)位置或者組合這些來對多個(gè)位置中至少一個(gè)描繪軌跡的操作。

相機(jī)部241是使用CMOS或CCD等成像元件進(jìn)行電子攝影的數(shù)碼相機(jī)。并且，相機(jī)部241能夠通過主控制部200的控制，將通過拍攝獲得的圖像數(shù)據(jù)轉(zhuǎn)換成例如JPEG等的被壓縮的圖像數(shù)據(jù)并記錄于存儲(chǔ)部250，或者能夠通過外部輸入輸出部260和無線通信部210輸出。在圖54所示的智能手機(jī)201中，相機(jī)部241搭載于與顯示輸入部220相同的面，但相機(jī)部241的搭載位置并不限于此，還可搭載于顯示輸入部220的背面，或者也可以搭載有多個(gè)相機(jī)部241。另外，搭載有多個(gè)相機(jī)部241時(shí)，還能夠切換供于拍攝的相機(jī)部241來單獨(dú)進(jìn)行拍攝、或者同時(shí)使用多個(gè)相機(jī)部241來進(jìn)行拍攝。

并且，相機(jī)部241能夠利用于智能手機(jī)201的各種功能中。例如，能夠在顯示面板221顯示由相機(jī)部241獲取的圖像，或者能夠作為操作面板222的操作輸入之一而利用相機(jī)部241的圖像。并且，當(dāng)GPS接收部270檢測位置時(shí)，還能夠參考來自相機(jī)部241的圖像來檢測位置。而且，還能夠參考來自相機(jī)部241的圖像，不使用3軸加速度傳感器或者與3軸加速度傳感器并用來判斷智能手機(jī)201的相機(jī)部241的光軸方向，或判斷當(dāng)前的使用環(huán)境。當(dāng)然，還能夠在應(yīng)用軟件內(nèi)利用來自相機(jī)部241的圖像。

另外，能夠在靜態(tài)圖像或動(dòng)態(tài)圖像的圖像數(shù)據(jù)上附加通過GPS接收部270獲取的位置信息、通過麥克風(fēng)232獲取的語音信息(也可通過主控制部等進(jìn)行語音文本轉(zhuǎn)換而成為文本信息)、通過動(dòng)作傳感器部280獲取的姿勢信息等來記錄于存儲(chǔ)部250，或者還能夠通過外部輸入輸出部260或無線通信部210輸出。

上述圖像處理部35(濾波處理部41)例如可通過主控制部200來實(shí)現(xiàn)。

本發(fā)明并不限定于上述實(shí)施方式，當(dāng)然也能夠在不脫離本發(fā)明的宗旨的范圍內(nèi)進(jìn)行各種變形。

符號說明

10-數(shù)碼相機(jī)，11-透鏡單元，12-相機(jī)主體，14-透鏡，15-光圈，17-光學(xué)系統(tǒng)操作部，18-透鏡單元控制器，19-透鏡單元存儲(chǔ)部，20-透鏡單元輸入輸出部，24-成像元件，25-主體控制器，26-用戶界面，27-顯示部，28-相機(jī)主體輸入輸出部，29-主體存儲(chǔ)部，30-輸入輸出接口，34-設(shè)備控制部，35-圖像處理部，36-顯示控制部，38-圖像判定部，40-預(yù)處理部，41-濾波處理部，42-后處理部，43-增益確定部，44-增益候補(bǔ)數(shù)據(jù)存儲(chǔ)部，45-增益獲取部，48-濾波器應(yīng)用部，49-增益應(yīng)用部，50-處理數(shù)據(jù)計(jì)算部，51-處理圖像數(shù)據(jù)計(jì)算部，52-加法器，54-反復(fù)運(yùn)算判定部，55-增益供給部，56-濾波器供給部，60-參考圖像獲取部，61-參考圖像分析部，62-目標(biāo)頻率特性獲取部，63-應(yīng)用增益計(jì)算部，66-頻率分析部，67-目標(biāo)頻率特性確定部，68-頻率特性存儲(chǔ)部，70-引導(dǎo)部，70a-第1引導(dǎo)部，70b-第2引導(dǎo)部，70c-引導(dǎo)部，70d-引導(dǎo)部，71-自動(dòng)對焦區(qū)域，73-攝影條件顯示部，74-判定信息部，76-濾波器獲取裝置，77-濾波器計(jì)算部，78-平均計(jì)算部，79-方差計(jì)算部，80-濾波器特性獲取部，81-抽頭系數(shù)運(yùn)算部，82-濾波器組分類部，92-計(jì)算機(jī)，93-計(jì)算機(jī)輸入輸出部，94-計(jì)算機(jī)控制器，95-顯示器，96-網(wǎng)絡(luò)，97-服務(wù)器，98-服務(wù)器輸入輸出部，99-服務(wù)器控制器，101-攝像模塊，110-EDoF光學(xué)系統(tǒng)，110A-攝影透鏡，111-濾光器，112-成像元件，114-AD轉(zhuǎn)換部，120-復(fù)原處理塊，122-黑電平調(diào)整部，123-白平衡增益部，124-伽馬處理部，125-去馬賽克處理部，126-YCrCb轉(zhuǎn)換部，127-Y信號復(fù)原處理部，200-主控制部，201-智能手機(jī)，202-框體，210-無線通信部，220-顯示輸入部，221-顯示面板，222-操作面板，230-通話部，231-揚(yáng)聲器，232-麥克風(fēng)，240-操作部，241-相機(jī)部，250-存儲(chǔ)部，251-內(nèi)部存儲(chǔ)部，252-外部存儲(chǔ)部，260-外部輸入輸出部，270-GPS接收部，280-動(dòng)作傳感器部，290-電源部。