專利名稱：圖像處理設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于重建劣化圖像的圖像處理設(shè)備。
背景技術(shù)：
迄今為止，在利用諸如數(shù)字照相機(jī)等的攝像設(shè)備拍攝被攝體的情況下，存在當(dāng)隨 后觀看圖像時(shí)、該圖像由于失焦等而變?yōu)榱踊瘓D像的情況。在這種情況下，嘗試通過超分 辨率處理來重建該劣化圖像，并且考慮超分辨率處理用的各種算法。例如，Irani和Peleg 在Improving Resolution by Image Registration CVGIP :GRAPHICAL MODELS AND IMAGE PROCESSING Vol. 53,No. 3,pp. 231-239,May 1991中，提出了用于根據(jù)多個(gè)模糊圖像進(jìn)行重 建的代表性方法(以下稱為Irani-Peleg方法)。在Irani-Peleg方法的圖像重建處理中使用以下的公式(1)。根據(jù)該系統(tǒng)，在重復(fù) 處理中根據(jù)劣化圖像逐漸推定未知的原始圖像。此時(shí)，計(jì)算公式(1)所示的通過對(duì)緊前的 重建圖像^11)和示出所假定的模糊的點(diǎn)擴(kuò)散函數(shù)(hPSF)進(jìn)行卷積所形成的偽模糊圖像g(n)、 和通過拍攝所獲得的模糊圖像g的范數(shù)(各像素的差分平方和)，并且假定該范數(shù)為f(n+1)。 也就是說，計(jì)算以下的公式O)中的e(n)，并且將^11)最小的情況看作為圖像重建完成。f(n+1) = f(n)+(g-g(n)) XhAUX/c= f(n) + (g-f(n) XhPSF) XhittVc ...公式(1)其中，c :標(biāo)準(zhǔn)化常數(shù)，ω 空間頻率，hAUX可以是針對(duì)所有ω均滿足0 < l-HPSF(co) .ΗΑ Χ(ω)/0 I < 1的函數(shù)，一般地使用Hpsf，并且H :h的傅立葉變換。e(n) = Il g(n)-g(°) Il...公式 O)其中，II Il 示出各像素的差分平方和或差分絕對(duì)值和的范數(shù)。日本特開2006-242746號(hào)公報(bào)已經(jīng)公開了通過改進(jìn)使用用于原始圖像的推定的B ayes推定的、代表性的Richardson-Lucy方法所獲得的算法。日本特開2006-195856號(hào)公 報(bào)已經(jīng)公開了與超分辨率處理有關(guān)的15種非專利文獻(xiàn)。用于測(cè)量到要拍攝的被攝體的距離、并獲得各像素的距離信息的技術(shù)也是已知 的。例如，日本特開平11-257951號(hào)公報(bào)已經(jīng)公開了被稱為立體方法(stereo method)的 如下方法通過將望遠(yuǎn)鏡與用于測(cè)量到要拍攝的被攝體的距離的技術(shù)組合來提高遠(yuǎn)距離處 的距離測(cè)量精度。

發(fā)明內(nèi)容
在執(zhí)行劣化圖像重建處理的情況下，通常，由于各被攝體的失焦程度的差異，在重 復(fù)重建單元的處理中，圖像中的多個(gè)被攝體的最佳劣化重建次數(shù)不同。也就是說，如圖9所 示，存在以下問題用于判定收斂的評(píng)價(jià)函數(shù)，例如處理前后的圖像或重建圖像與示出模糊 的點(diǎn)擴(kuò)散函數(shù)(hPSF)的卷積、和模糊圖像的范數(shù)具有多個(gè)最小值，并且不知曉這些最小值中 的哪一個(gè)是正確解。為了解決該問題，日本特開平05-205048號(hào)公報(bào)已經(jīng)公開了以下技術(shù)按每個(gè)像素進(jìn)行最佳劣化重建判定并且凍結(jié)重建完成像素的處理，由此重建所有的像素。根據(jù)該方 法，對(duì)重建圖像的各像素的鄰近區(qū)域執(zhí)行用于獲得鄰接像素之間的差分的濾波，由此推定 該鄰近區(qū)域中的噪聲(=由于高頻增強(qiáng)濾波器引起的振鈴(ringing))并獲得所推定出的 噪聲的分散。對(duì)于像素值的分散和噪聲的分散之間的差小于預(yù)定值的像素，判斷為該像素 已經(jīng)收斂。然而，以上系統(tǒng)是僅基于該推定的方法，并且在振鈴噪聲和實(shí)際圖像混合存在的 部分中有可能混入了誤差。本發(fā)明的目的是提供以下的圖像處理設(shè)備在該圖像處理設(shè)備中，可以消除與超 分辨率處理的收斂有關(guān)的誤判定，并且可以提高超分辨率處理的精度。根據(jù)本發(fā)明，提供一種圖像處理設(shè)備，用于重建包括被攝體的圖像的劣化圖像，所 述圖像處理設(shè)備包括測(cè)量單元，用于測(cè)量到所述被攝體的距離，由此設(shè)置所述被攝體所屬 的距離層；圖像重建單元，用于通過重復(fù)計(jì)算來重建所述劣化圖像；以及結(jié)束判定單元，用 于進(jìn)行所述圖像重建單元的重復(fù)計(jì)算的結(jié)束判定，其中，所述結(jié)束判定單元僅對(duì)距離層中 的特定距離層或?qū)γ總€(gè)距離層進(jìn)行所述結(jié)束判定。


圖1是示出根據(jù)本發(fā)明的圖像處理設(shè)備的第一實(shí)施例的框圖。圖2是用于說明本發(fā)明第一實(shí)施例中的拍攝處理的流程圖。圖3是示出距離圖像的示例的圖。圖4是用于說明本發(fā)明第一實(shí)施例中的圖像處理的流程圖。圖5是示出已經(jīng)基于距離信息分離了拍攝圖像的部分圖像的示例的圖。圖6是用于說明本發(fā)明第二實(shí)施例中的圖像處理的流程圖。圖7A、7B和7C是各自示出重建各距離信息的圖像時(shí)的范數(shù)的圖。圖8是示出本發(fā)明第三實(shí)施例的PC中的處理的流程圖。圖9是示出整個(gè)顯示畫面的范數(shù)的圖。
具體實(shí)施例方式隨后，將參考附圖來詳細(xì)說明用于執(zhí)行本發(fā)明的最佳模式。第一實(shí)施例圖1是示出根據(jù)本發(fā)明的圖像處理設(shè)備的第一實(shí)施例的結(jié)構(gòu)的框圖。特別地，第 一實(shí)施例示出執(zhí)行屬于特定距離層的被攝體的分辨率重建處理的例子。在該圖中，附圖標(biāo)記1表示拍攝單元，并且附圖標(biāo)記2表示距離測(cè)量單元。例示出 在距離測(cè)量單元2中使用雙鏡頭立體方法的例子。在拍攝單元1中配置攝像透鏡120、光圈 121和諸如CXD等的攝像裝置122。附圖標(biāo)記123表示用于對(duì)來自攝像裝置122的攝像信 號(hào)進(jìn)行A/D轉(zhuǎn)換的ADC(A/D轉(zhuǎn)換器)；附圖標(biāo)記IM表示用于執(zhí)行濾波處理等的照相機(jī)處 理單元；附圖標(biāo)記130表示存儲(chǔ)器控制器；并且附圖標(biāo)記131表示諸如SDRAM等的存儲(chǔ)器。附圖標(biāo)記132表示圖像縮小單元；附圖標(biāo)記133表示P SF表；附圖標(biāo)記134表示 劣化圖像重建單元；附圖標(biāo)記135表示圖像處理效果判定單元；附圖標(biāo)記140表示編碼解 碼器；附圖標(biāo)記141表示閃速存儲(chǔ)器控制器；并且附圖標(biāo)記142表示閃速存儲(chǔ)器。此外，附 圖標(biāo)記143表示顯示器接口 ；附圖標(biāo)記144表示諸如液晶等的顯示單元；附圖標(biāo)記98表示十字小鍵盤；附圖標(biāo)記99表示快門；并且附圖標(biāo)記100表示用于控制整個(gè)系統(tǒng)的系統(tǒng)控制
ο在距離測(cè)量單元2中配置攝像透鏡104R和104L。還分別與這兩個(gè)攝像透鏡相對(duì) 應(yīng)地配置了光圈105R和105L、攝像裝置(CCD等)106R和106L、以及ADC (A/D轉(zhuǎn)換器)107R 和107L。附圖標(biāo)記108表示用于判定到被攝體的距離的距離判定單元，并且附圖標(biāo)記109 表示距離圖像形成單元。ADC 123以及ADC 107R和107L各自具有AGC(自動(dòng)增益控制)功能。在圖1的左下部中示出被攝體的例子(通過俯視圖示出各被攝體)。在圖1中示 出了 3個(gè)被攝體。附圖標(biāo)記101表示(實(shí)際上存在于由箭頭所示的左側(cè)遙遠(yuǎn)的位置處的) 遠(yuǎn)景被攝體；附圖標(biāo)記102表示中間距離被攝體；并且附圖標(biāo)記103表示近景被攝體。隨后，將通過使用圖1、2和3來說明本實(shí)施例中的拍攝處理操作。圖2是示出本實(shí) 施例中的拍攝處理的流程圖。圖3示出距離圖像形成單元109所獲得的距離圖像的示例。1.準(zhǔn)備拍攝時(shí)首先，當(dāng)半按下快門99時(shí)(圖2中的S101)，系統(tǒng)控制器100執(zhí)行拍攝單元1和距 離測(cè)量單元2的AE (自動(dòng)曝光)處理和AF (自動(dòng)調(diào)焦)處理，從而為拍攝作準(zhǔn)備(S102)。 通常，在AE處理中，按以下方式對(duì)光圈121、光圈105L和105R、ADC 107L和107R以及ADC 123中的AGC進(jìn)行控制重要的被攝體所位于的中央部的亮度等于預(yù)定值，而沒有過曝光或 曝光不足。另一方面，在AF處理中，按與AE的情況相同的方式，以中央部的ADC輸出的高頻 成分的量增多的方式，利用登山方法(mountain climbing method)來調(diào)整攝像透鏡104R 和104L以及攝像透鏡120。距離測(cè)量單元2使用如上所述的雙透鏡立體方法。通常，在距 離測(cè)量單元2中，由于相對(duì)于拍攝單元1使用直徑小的透鏡和直徑小的單色CCD，因此景深 深并且感光度高。2.拍攝時(shí)隨后，當(dāng)全按下快門99時(shí)(S10;3)，拍攝單元1執(zhí)行攝像處理，并且距離測(cè)量單元 2測(cè)量距離圖像(S104)。此時(shí)，照相機(jī)處理單元IM通過濾波處理將ADC 123的輸出從拜 爾(Bayer)陣列圖像轉(zhuǎn)換成RGB圖像，并且通過存儲(chǔ)器控制器130將該輸出寫入存儲(chǔ)器131中。距離測(cè)量單元2將ADC 107R和107L的各像素的輸出輸入至距離判定單元108。 在這種情況下，各像素的左右兩側(cè)上的多個(gè)像素向左向右偏移，并且計(jì)算一個(gè)范數(shù)(差分 絕對(duì)值和)。根據(jù)獲得最小值時(shí)的偏移量來計(jì)算該像素所屬于的層的距離。在距離圖像形 成單元109中，通過按每個(gè)像素計(jì)算該距離，形成如圖3所示的距離圖像，并且按與拍攝圖 像相同的方式，通過存儲(chǔ)器控制器130將該距離圖像寫入存儲(chǔ)器131中610 。記錄距離 信息作為由約8位的位圖信息所表示的距離圖像。在圖3所示的距離圖像中，以黑色示出近景，以(由黑色和白色之間的中間顏色所 表示的)灰色示出中間距離，并且以白色示出遠(yuǎn)景。在本實(shí)施例中，假定已經(jīng)預(yù)先設(shè)置了 示出近景層、中間距離層和遠(yuǎn)景層之間的邊界的距離信息(近景層0 5m，中間距離層 5 20m，遠(yuǎn)景層20m-)?？梢曰诰嚯x信息的直方圖來確定示出這些邊界的信息。例如， 通過將頻率小的距離設(shè)置為這些層的邊界，可以使由各層的圖像重建處理的差異所引起的不均勻最小化。距離層的數(shù)量不限于近景層、中間距離層和遠(yuǎn)景層這三層。層數(shù)可以等于 自然數(shù)N(N>2)。由于景深根據(jù)光瞳(光圈)的大小而不同，因此需要根據(jù)景深來調(diào)整層 數(shù)。例如，當(dāng)在直徑大的透鏡中打開光圈時(shí)，由于景深淺，因此需要的層數(shù)較多。對(duì)于分割 間隔，期望按距離的倒數(shù)幾乎恒定的方式細(xì)微地分割近景。如圖1的左下部所示，盡管攝像 裝置106L和106R拍攝到的近景被攝體103的位置向外側(cè)偏離，但在這兩個(gè)攝像裝置的同 一位置處拍攝到光束將變?yōu)閹缀跗叫械墓馐摹?shí)際上無(wú)限遠(yuǎn)的遠(yuǎn)景圖像101。日本特開平 11-257951號(hào)公報(bào)已經(jīng)詳細(xì)公開了這一點(diǎn)。在拍攝之后，除了寫入存儲(chǔ)器131中的拍攝圖像和距離圖像以外，通過存儲(chǔ)器控 制器130讀出拍攝參數(shù)(諸如調(diào)焦、變焦和光圈等的信息)。根據(jù)需要，通過編碼解碼器140 和閃速存儲(chǔ)器控制器141將這些拍攝圖像寫入閃速存儲(chǔ)器142中。3.拍攝后的圖像確認(rèn)在拍攝之后，當(dāng)操作員通過操作十字小鍵盤98進(jìn)行指示時(shí)，系統(tǒng)控制器100通過 閃速存儲(chǔ)器控制器141從閃速存儲(chǔ)器142中讀出所拍攝圖像，并通過存儲(chǔ)器控制器130將 所拍攝圖像寫入存儲(chǔ)器131中。首先，圖像縮小單元132縮小所讀出的幾兆像素的圖像，并且小型的VGA程度的 顯示單元144顯示該圖像。在降低縮小程度的情況下仔細(xì)確認(rèn)被攝體的圖像時(shí)，出現(xiàn)以下 情況AF位置已經(jīng)聚焦于背景的中間距離被攝體102，而不是所期望的被攝體(近景被攝 體)103。特別地，在如圖1所示的結(jié)構(gòu)圖的情況下，根據(jù)點(diǎn)測(cè)距系統(tǒng)，焦點(diǎn)聚焦于中心，并 且易發(fā)生所謂的跳過中心的后焦點(diǎn)現(xiàn)象(center-skip rear focus phenomenon)。然而，由 于該狀態(tài)并非聚焦于無(wú)限遠(yuǎn)的遠(yuǎn)景被攝體101的大模糊狀態(tài)，因此存在許多以下情況即 使在緊挨拍攝之后利用小的監(jiān)視器顯示畫面簡(jiǎn)單觀看圖像，也不能確認(rèn)后焦點(diǎn)狀態(tài)。4.圖像重建圖4是示出本實(shí)施例中的圖像重建處理的流程圖。圖5示出已經(jīng)基于距離信息分 離了拍攝圖像的部分圖像的示例。現(xiàn)在將通過使用圖1、4和5來說明本實(shí)施例中圖像重建 時(shí)的操作。4. 1圖像重建預(yù)處理因此，執(zhí)行圖像重建處理。此時(shí)，通過對(duì)劣化圖像進(jìn)行重復(fù)計(jì)算來執(zhí)行圖像重建處 理。首先，操作員操作十字小鍵盤98并指示應(yīng)當(dāng)重建哪個(gè)圖像，以使得系統(tǒng)控制器100開 始當(dāng)前所顯示的圖像的重建處理。在該例子中，假定已經(jīng)指示了近景的人物被攝體中的一 個(gè)的情況。根據(jù)所指示的像素存在的距離圖像，系統(tǒng)控制器100判斷出進(jìn)行重建的區(qū)域是 近景。假定使用劣化圖像gN(n)的像素來進(jìn)行收斂判定。gN(n)表示劣化圖像g(n)中、與圖3中以黑色示出的距離圖像中的近景(Near)相對(duì) 應(yīng)的一部分的像素的集合，并且是圖5所示的Near的圖像。通過存儲(chǔ)器控制器130將存儲(chǔ) 器131中的拍攝參數(shù)和劣化圖像(假定為g(°))發(fā)送至劣化圖像重建單元134。將用于對(duì)圖 像重建處理次數(shù)進(jìn)行計(jì)數(shù)的重復(fù)處理計(jì)數(shù)器η設(shè)置為0 (初始化)。為了將劣化圖像處理的初始圖像f(°)設(shè)置為g(°)，將g(°)復(fù)制到存儲(chǔ)器中。根據(jù)拍 攝參數(shù)和P SF表133獲得拍攝時(shí)的gN(n)的點(diǎn)擴(kuò)散函數(shù)hNPSF(圖4中的S201)。4. 2圖像重建重復(fù)處理
隨后，劣化圖像重建單元134執(zhí)行一個(gè)步驟的圖像重建處理(S 202)，通過存儲(chǔ)器 控制器130將重建圖像再次寫入存儲(chǔ)器131中的其它區(qū)域，并將其設(shè)置為新的重建中圖像 f(n+1)。將說明在圖像重建處理中使用Irani-Peleg方法的情況作為例子，并且使用在背景 技術(shù)中所述的公式(1)。在圖4中示出這種情況下的計(jì)算公式。hNPSF表示點(diǎn)擴(kuò)散函數(shù)。標(biāo)準(zhǔn)化常數(shù)c和 hAUX如背景技術(shù)所述。4. 3收斂判定隨后，系統(tǒng)控制器100進(jìn)行收斂判定(結(jié)束判定)(S 203)。具體而言，計(jì)算并保 持Il gN(n)-gN(0) Il。Il gN(n)-gN(°) Il表示以下的偽模糊圖像gN(n)和拍攝時(shí)獲得的模糊圖像 gN(°)的范數(shù)，該偽模糊圖像gN(n)是通過對(duì)被判斷為是圖3中的黑色部分的近景Near的區(qū) 域中的像素的、圖像重建處理之后獲得的圖像fN(n)和點(diǎn)擴(kuò)散函數(shù)hNPSF進(jìn)行卷積所形成的。將Il gN(n)-gN(0) Il與Il gN(n+1)-gN(°) Il進(jìn)行比較。如果通過后一處理所獲得的值比 前一處理的值大，則通過看作為過剩處理來判斷收斂(結(jié)束判定)，并且將最佳重建處理圖 像f設(shè)置為該時(shí)間點(diǎn)時(shí)的f(n)。如果尚未進(jìn)行收斂，則系統(tǒng)控制器100代入f(n) = f(n+1)。使 處理例程返回至S202G. 2的處理)，執(zhí)行圖像重建處理，并且在S 203中進(jìn)行結(jié)束判定。如果判斷為已經(jīng)進(jìn)行了收斂，則系統(tǒng)控制器100通過存儲(chǔ)器控制器130從存儲(chǔ)器 131中讀出最佳重建圖像f，并通過閃速存儲(chǔ)器控制器141將該最佳重建圖像f寫入閃速存 儲(chǔ)器142中(S204)。這樣，圖像重建處理完成。例如，操作員通過使用十字小鍵盤98指示 來確定以下模式中的任一個(gè)就足夠了 利用編碼解碼器140再次壓縮圖像的模式；重寫并 擦除以前的模糊圖像的模式；以及利用最佳重建圖像f僅替換模糊圖像的近景(Near)部的 模式。在本實(shí)施例中，在執(zhí)行超分辨率處理時(shí)的收斂判定函數(shù)僅使用所指定的距離層的 像素。也就是說，距離層由距離信息構(gòu)成，并且僅對(duì)特定距離層進(jìn)行超分辨率處理的結(jié)束判 定。因此，收斂評(píng)價(jià)的最小值的數(shù)量等于1。結(jié)果，由于沒有生成多個(gè)示出判定結(jié)果的最小 值，因此從未進(jìn)行誤判定，并且可以執(zhí)行精確的圖像重建處理。盡管在本實(shí)施例中已經(jīng)說 明了單色圖像的情況，但在彩色圖像的情況下，通常，將RGB信號(hào)轉(zhuǎn)換成示出亮度和色差的 YUV信號(hào)，僅對(duì)Y進(jìn)行收斂判定，并且對(duì)所有的YUV同等執(zhí)行圖像處理。期望在圖像重建完 成之后執(zhí)行UV信號(hào)的子采樣處理并執(zhí)行JPEG壓縮。第二實(shí)施例隨后，將通過使用圖1、3和6來說明本發(fā)明的第二實(shí)施例。圖6是示出本實(shí)施例 中的圖像重建處理的流程圖。本實(shí)施例涉及以下例子執(zhí)行屬于所有的距離層、在這種情況 下為近景(N)、中間距離(M)和遠(yuǎn)景(F)這三個(gè)距離層的被攝體的分辨率重建處理。各個(gè)距 離層中的圖像重建處理與第一實(shí)施例中的圖像重建處理基本相同。本實(shí)施例的結(jié)構(gòu)與圖1 中的結(jié)構(gòu)相同。由于1.準(zhǔn)備拍攝時(shí)的操作、2.拍攝時(shí)的操作、3.拍攝后的圖像確認(rèn)的操作 與第一實(shí)施例中的這些操作相同，因此這里省略對(duì)這些操作的說明。4.圖像重建4. 1圖像重建預(yù)處理當(dāng)操作員操作十字小鍵盤98、并指示該操作員想要重建所有的距離圖像時(shí)，系統(tǒng) 控制器110開始當(dāng)前所顯示的圖像的重建處理。根據(jù)這些距離圖像，系統(tǒng)控制器110判斷為可以將執(zhí)行重建的區(qū)域分成近景(N)、中間距離(M)和遠(yuǎn)景(F)這三層。假定在收斂判定 時(shí)使用各個(gè)劣化圖像gN、gM和gF的像素。根據(jù)拍攝時(shí)的參數(shù)和拍攝圖像中存在的距離信息，在本實(shí)施例中，系統(tǒng)控制器100 從P SF表133獲得假定的點(diǎn)擴(kuò)散函數(shù)hNPSF、hMPSF和hFPSF (S301)。此外，為了將重建中圖像的初始圖像設(shè)置為(fN(°) = fM(°) = fF(°) = g(°))，將用于 對(duì)圖像重建處理次數(shù)進(jìn)行計(jì)數(shù)的重復(fù)處理計(jì)數(shù)器η設(shè)置為0 (初始化)(S301)。4. 2圖像重津重復(fù)處理隨后，系統(tǒng)控制器100通過存儲(chǔ)器控制器130將存儲(chǔ)器131中的重建中圖像 (fNW、fM(n)和fpW)發(fā)送至劣化圖像重建單元134，并且執(zhí)行一個(gè)步驟的圖像重建處理。系 統(tǒng)控制器100通過存儲(chǔ)器控制器130將重建中圖像再次寫入至存儲(chǔ)器131中的其它區(qū)域 中，并將這些重建中圖像設(shè)置為新的重建中圖像(fN(n+1)、fM(n+1)、fF(n+1))。在近景圖像、中間 距離圖像和遠(yuǎn)景圖像的圖像重建處理中，以與第一實(shí)施例的方式相同的方式，使用前述的 公式(1)。在圖6中，在S302中對(duì)近景圖像執(zhí)行近景圖像重建處理，在S305中對(duì)中間距離圖 像執(zhí)行中間距離圖像重建處理，并且在S308中對(duì)遠(yuǎn)景圖像執(zhí)行遠(yuǎn)景圖像重建處理。如以上 所述，在S302中近景圖像的圖像重建處理中、在S305中中間距離圖像的圖像重建處理中以 及在S308中遠(yuǎn)景圖像的圖像重建處理中，均使用公式(1)。在圖6中分別示出了圖像重建處理的計(jì)算公式。hNPSF、hMPSF和hFPSF表示如上所述 的點(diǎn)擴(kuò)散函數(shù)。4. 3收斂判定在圖6中，分別在S 303中進(jìn)行近景圖像收斂判定(結(jié)束判定)，在S306中進(jìn)行中 間距離圖像結(jié)束判定，并且在S309中進(jìn)行遠(yuǎn)景圖像結(jié)束判定?，F(xiàn)在將詳細(xì)說明S303、S306 和S309中的收斂判定處理。系統(tǒng)控制器100分別計(jì)算Il gN(n+1)-gN(°) Il、Il gM^+D-gM Il 和Il gF(n+1)-gF(0) Il并保持它們。將說明Il gN(n+1)-gN(0) Il。也就是說，Il gN(n+1)-gN(°) Il是根據(jù)以下兩者計(jì)算出的范 數(shù)通過對(duì)被判斷為是圖3中的近景Near的層的、圖像重建處理之后獲得的圖像和相關(guān)距 離的模糊函數(shù)行卷積所形成的偽模糊圖像gN(n+1)；以及拍攝時(shí)獲得的模糊圖像g 的區(qū)域gN 。將說明Il gM(n+1)-gM(°) Il。也就是說，Il gM(n+1)-gM(°) Il是根據(jù)以下兩者計(jì)算出的范 數(shù)通過對(duì)被判斷為是圖3中的中間距離Middle的層的、圖像重建處理之后獲得的圖像和 相關(guān)距離的模糊函數(shù)hMPSF進(jìn)行卷積所形成的偽模糊圖像gM(n+1)；以及拍攝時(shí)獲得的模糊圖 像g(°)的區(qū)域gM 。將說明Il gF(n+1)-gF(0) Il。也就是說，Il gF(n+1)-gF(°) Il是根據(jù)以下兩者計(jì)算出的范 數(shù)通過對(duì)被判斷為是圖3中的遠(yuǎn)景Far的層的、圖像重建處理之后獲得的圖像和相關(guān)距離 的模糊函數(shù)行卷積所形成的偽模糊圖像gF(n+1)；以及拍攝時(shí)獲得的模糊圖像g 的 區(qū)域gF 。隨后，針對(duì)近景圖像，將Il gN(n)-g(0) Il與Il gN(n+1)-g(°) Il進(jìn)行比較。如果通過后一 處理所獲得的值比前一處理的值大，則通過看作為過剩處理來判斷收斂(S303)，并且將最 佳重建處理圖像保持為添加有該時(shí)間點(diǎn)時(shí)的η的fN(n) (S304)。同樣，還針對(duì)其它的中間距
8離圖像和遠(yuǎn)景圖像的距離部分進(jìn)行計(jì)算，并且保持在步驟S306或S309中判斷為處理是過 剩處理時(shí)的 fM(n)和 fF(n) (S307、S310)。如果判斷為在各距離部分中收斂尚未完成，則在收斂未完成的距離的情況下，例 如，在近景圖像的情況下，系統(tǒng)控制器IOORAfNfc) = fN(n+1)，并且返回至S302(4. 2的圖像 重建處理)。同樣，執(zhí)行近景圖像重建處理，并且在S303中進(jìn)行收斂判定。在中間距離圖像的情況下，代入fM(n) = fM(n+1)，使處理例程返回至S305，同樣，執(zhí) 行中間距離圖像重建處理，并且在S306中進(jìn)行收斂判定。此外，在遠(yuǎn)景圖像的情況下，代入 fF(n) = fF(n+1)，使處理例程返回至S308，同樣，執(zhí)行遠(yuǎn)景圖像重建處理，并且在S309中進(jìn)行 收斂判定。圖7A、7B和7C示出每個(gè)距離信息(Far、Middle、Near)的圖像重建時(shí)的范數(shù)。在 以上所有情況中，收斂評(píng)價(jià)的最小值的數(shù)量等于1，并且沒有生成多個(gè)示出判定結(jié)果的最小值。5.圖像合成隨后，分別通過使用在S 304中保持的fN(n)來合成圖3所示的距離圖像中的黑色 近景部分，通過使用在S307中保持的fM(n)來合成中間距離部分，并且通過使用在S310中 保持的fF(n)來合成遠(yuǎn)景部分(各個(gè)η均不同)(S311)。結(jié)果，可以獲得在所有的距離處進(jìn) 行了重建的劣化圖像的圖像f。隨后，系統(tǒng)控制器100通過存儲(chǔ)器控制器130從存儲(chǔ)器131讀出重建圖像f，并且 通過閃速存儲(chǔ)器控制器141將該重建圖像f寫入閃速存儲(chǔ)器142中(S311)。這樣，圖像重 建處理完成。以與第一實(shí)施例的方式相同的方式，例如，操作員通過使用十字小鍵盤98指 示來確定以下模式中的任一個(gè)就足夠了 利用編碼解碼器140再次壓縮圖像的模式；和重 寫并擦除以前的模糊圖像的模式。 在本實(shí)施例中，由于距離層由距離信息構(gòu)成、并且按每個(gè)距離層進(jìn)行超分辨率處 理的收斂判定，因此收斂評(píng)價(jià)的最小值的數(shù)量等于1，并且沒有生成多個(gè)示出判定結(jié)果的最 小值。結(jié)果，從未進(jìn)行誤判定，并且可以執(zhí)行精確的圖像重建處理。盡管在本實(shí)施例中已經(jīng)示出了屬于三個(gè)距離層的被攝體的分辨率重建處理的例 子，但本發(fā)明不限于該例子，而是可以按數(shù)量小于或大于3的距離層中的每個(gè)距離層來執(zhí) 行這些處理。第三實(shí)施例隨后，將說明本發(fā)明的第三實(shí)施例。在本實(shí)施例中，示出了在PC側(cè)上重建劣化圖 像的情況下的例子。也就是說，示出了將圖1中的照相機(jī)所拍攝到的圖像發(fā)送至PC、并且在 PC側(cè)上重建劣化圖像的例子。圖8是示出本實(shí)施例中的處理的流程圖。由于1.準(zhǔn)備拍攝 時(shí)的操作、2.拍攝時(shí)的操作、3.拍攝后的圖像確認(rèn)的操作是照相機(jī)側(cè)的處理，因此這些操 作與第一實(shí)施例中的操作相同。在圖8中，用戶將閃速存儲(chǔ)器插入至PC中，并且在PC上啟動(dòng)劣化圖像重建處理應(yīng) 用程序。因而，該劣化圖像重建處理應(yīng)用程序從閃速存儲(chǔ)器讀出所拍攝圖像、距離圖像和照 相機(jī)參數(shù)，將它們寫入PC的記錄介質(zhì)中，并且顯示各圖像(S401)。用戶確認(rèn)顯示畫面上的圖像，輸入示出第一實(shí)施例中的特定區(qū)域的劣化圖像重建 處理、或第二實(shí)施例中的整個(gè)區(qū)域的劣化圖像重建處理的期望條件，并且指定用于重建圖像的系統(tǒng)(S402)。劣化圖像重建處理應(yīng)用程序利用在第一或第二實(shí)施例中所述的算法，根據(jù)所指定 的系統(tǒng)執(zhí)行處理(S403)。此時(shí)，盡管在第二實(shí)施例中已經(jīng)針對(duì)三個(gè)距離層重建了圖像，但本 發(fā)明不限于該例子。當(dāng)在步驟S404中圖像重建完成時(shí)，PC向用戶呈現(xiàn)在這些處理完成之后所獲得的 重建圖像。如果重建圖像成功(OK)，則用戶將該圖像寫入PC的記錄介質(zhì)中(S406)。例如， 盡管已經(jīng)重建了整個(gè)區(qū)域中的劣化圖像，但如果由于用戶想要背景上存在模糊感覺、因而 判斷為重建圖像失敗(NG)，則該用戶再次指示特定區(qū)域的劣化圖像重建處理，改變重建條 件，并且執(zhí)行劣化圖像重建處理。在這些處理結(jié)束之后，用戶確認(rèn)圖像，之后將該圖像寫入 PC的記錄介質(zhì)中。具體而言，如果在S405中用戶判斷為重建圖像為“否”，則使處理例程返回至 S402。用戶如上所述指定在期望條件下重建圖像，并且改變?cè)搱D像的重建條件。此時(shí)，例 如，如果用戶想要背景上存在模糊感覺，則按以下方式指定條件就足夠了 保持背景部分作 為劣化圖像，并且對(duì)諸如人物被攝體等的其它圖像執(zhí)行圖像重建處理。其它實(shí)施例還通過執(zhí)行以下處理來實(shí)現(xiàn)本發(fā)明。也就是說，通過網(wǎng)絡(luò)或各種類型的存儲(chǔ)介質(zhì) 向系統(tǒng)或設(shè)備供給用于實(shí)現(xiàn)以上所述的實(shí)施例的功能的軟件(程序)，并且該系統(tǒng)或設(shè)備 的計(jì)算機(jī)(或者CPU或MPU等)讀出該程序并且執(zhí)行與該程序相對(duì)應(yīng)的處理。在這種情況 下，程序和已經(jīng)存儲(chǔ)有該程序的存儲(chǔ)介質(zhì)構(gòu)成本發(fā)明。本申請(qǐng)要求2008年9月4日提交的日本專利申請(qǐng)2008_2沈976的優(yōu)先權(quán)，在此通 過引用包含其全部?jī)?nèi)容。
權(quán)利要求
1.一種圖像處理設(shè)備，用于重建包括被攝體的圖像的劣化圖像，所述圖像處理設(shè)備包括測(cè)量單元，用于測(cè)量到所述被攝體的距離，由此設(shè)置所述被攝體所屬的距離層； 圖像重建單元，用于通過重復(fù)計(jì)算來重建所述劣化圖像；以及 結(jié)束判定單元，用于進(jìn)行所述圖像重建單元的重復(fù)計(jì)算的結(jié)束判定， 其中，所述結(jié)束判定單元僅對(duì)距離層中的特定距離層或?qū)γ總€(gè)距離層進(jìn)行所述結(jié)束判定。
2.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其特征在于，在對(duì)每個(gè)距離層進(jìn)行所述結(jié)束 判定的情況下，所述圖像重建單元合成每個(gè)距離層的重建圖像。
3.根據(jù)權(quán)利要求1或2所述的圖像處理設(shè)備，其特征在于，還包括 指定單元，用于指定圖像的重建條件；以及呈現(xiàn)單元，用于呈現(xiàn)重建得到的重建圖像，其中，在改變所呈現(xiàn)的重建圖像的情況下，所述指定單元再次指定圖像的重建條件，并 且重建劣化圖像。
4.根據(jù)權(quán)利要求3所述的圖像處理設(shè)備，其特征在于，當(dāng)所述指定單元指定圖像的重 建條件、并且再次重建劣化圖像時(shí)，如果在重建圖像中存在要保持為劣化圖像的圖像，則將 該圖像保持為劣化圖像，并且對(duì)其它距離層的圖像進(jìn)行重建處理。
5.一種圖像處理方法，用于重建包括被攝體的圖像的劣化圖像，所述圖像處理方法包括測(cè)量步驟，用于測(cè)量到所述被攝體的距離，由此設(shè)置所述被攝體所屬的距離層； 圖像重建步驟，用于通過重復(fù)計(jì)算來重建所述劣化圖像；以及 結(jié)束判定步驟，用于進(jìn)行所述圖像重建步驟中的重復(fù)計(jì)算的結(jié)束判定， 其中，所述結(jié)束判定步驟包括僅對(duì)距離層中的特定距離層或?qū)γ總€(gè)距離層進(jìn)行所述結(jié) 束判定。
全文摘要
提供了使得能夠減少超分辨率處理的收斂的誤判斷、并提高超分辨率處理的精度的圖像處理裝置。該圖像處理裝置包括距離測(cè)量部(2)，用于測(cè)量到要拍攝的被攝體的距離；劣化圖像重建部(134)，用于通過重復(fù)計(jì)算來重建該被攝體的圖像；以及結(jié)束判斷部件，用于進(jìn)行圖像重建的結(jié)束判斷。僅對(duì)使用距離測(cè)量部(2)所測(cè)量出的距離信息的特定距離層、或?qū)κ褂迷摼嚯x信息的每個(gè)距離層進(jìn)行圖像重建的結(jié)束判斷。
文檔編號(hào)G06T3/00GK102144244SQ20098013475
公開日2011年8月3日 申請(qǐng)日期2009年9月4日 優(yōu)先權(quán)日2008年9月4日
發(fā)明者渡邊郁夫 申請(qǐng)人:佳能株式會(huì)社