本發(fā)明的實施方式涉及圖像處理裝置和攝影裝置。

背景技術(shù)：

以往，存在通過分割攝像光學(xué)系統(tǒng)的透鏡、開口部、圖像傳感器的像素來生成對通過了透鏡的不同區(qū)域的光進行攝像而得到的多個視點圖像的技術(shù)。在該技術(shù)中，通過在多個視點圖像之間探索映現(xiàn)出同一被攝體的像素，計算多個視點圖像間的相位差量，根據(jù)相位差量求出直至在相應(yīng)像素中映現(xiàn)出的被攝體的距離。多個視點圖像的模糊的形狀(模糊函數(shù))分別不同。因此，在上述技術(shù)中，基于計算出的相位差量，將圖像的模糊校正為圓形等自然的模糊。

技術(shù)實現(xiàn)要素：

然而，上述現(xiàn)有技術(shù)存在難以進行高精度的距離測定這樣的問題。具體來說，在現(xiàn)有技術(shù)中，在用于計算相位差量的一致度計算中使用的多個視點圖像的模糊函數(shù)分別不同，所以難以進行高精度的距離測定。

本發(fā)明所要解決的課題在于，提供一種能夠進行高精度的距離測定的圖像處理裝置和攝影裝置。

實施方式的圖像處理裝置具有傳感器控制部和距離計算部。傳感器控制部從圖像傳感器取得模糊函數(shù)被非點對稱地表示的對象圖像以及模糊函數(shù)被點對稱地表示的基準圖像。距離計算部根據(jù)附加了不同的模糊的對象圖像與基準圖像的相關(guān)性，計算直至在圖像中映現(xiàn)出的被攝體的距離。

根據(jù)上述圖像處理裝置，能夠?qū)崿F(xiàn)高精度的距離推測。

附圖說明

圖1是示出第1實施方式的攝影裝置的硬件構(gòu)成的框圖。

圖2是示出第1實施方式的攝影裝置的功能構(gòu)成的框圖。

圖3是示出第1實施方式的圖像處理的流程的流程圖。

圖4是示出第1實施方式的濾光區(qū)域的結(jié)構(gòu)的圖。

圖5是示出第1實施方式的第1濾光區(qū)域的透射率特性的圖。

圖6是說明第1實施方式的直至被攝體的距離與模糊函數(shù)的形狀的關(guān)系的圖。

圖7是示出第1實施方式的基準圖像的模糊函數(shù)的圖。

圖8是示出第1實施方式的對象圖像的模糊函數(shù)的圖。

圖9是示出第1實施方式的模糊校正核心(kernel)的圖。

圖10是示出第2實施方式的攝影裝置的功能構(gòu)成的框圖。

圖11是示出第2實施方式的圖像處理的流程的流程圖。

圖12是示出第2實施方式的濾光區(qū)域的結(jié)構(gòu)的圖。

圖13是示出第2實施方式的濾光區(qū)域的透射率特性的圖。

圖14是示出第3實施方式的攝影裝置的功能構(gòu)成的框圖。

圖15是示出第3實施方式的圖像處理的流程的流程圖。

圖16是示出第4實施方式的攝影裝置的功能構(gòu)成的框圖。

圖17是示出第4實施方式的圖像處理的流程的流程圖。

圖18是示出第4實施方式的處理結(jié)果的一個例子的圖。

圖19是示出第4實施方式的處理結(jié)果的一個例子的圖。

符號說明

10 濾光器

20 透鏡

30 圖像傳感器

40 CPU

50 存儲器

60 存儲卡插槽

70 顯示器

80 通信I/F

100 攝影裝置

110 傳感器控制部

120 距離計算部。

具體實施方式

(第1實施方式)

圖1是示出第1實施方式的攝影裝置的硬件構(gòu)成例的框圖。如圖1所示，攝影裝置100具有濾光器10、透鏡20、圖像傳感器30、CPU(Central Processing Unit，中央處理單元)40、存儲器50、存儲卡插槽60、顯示器70和通信I/F80。圖像傳感器30、CPU40、存儲器50、存儲卡插槽60、顯示器70和通信I/F80通過總線而連接。攝影裝置100對任意的映現(xiàn)出被攝體的圖像進行攝影，生成表示直至被攝體的進深信息的距離圖像。

在圖1所示的例子中，朝向濾光器10的箭頭表示光的入射。濾光器10設(shè)置于攝影裝置100的某個光學(xué)系統(tǒng)即可。例如，攝影裝置100的光學(xué)系統(tǒng)是指透鏡20、圖像傳感器30等。即，濾光器10也可以設(shè)置于透鏡20的內(nèi)部、開口部、透鏡20與圖像傳感器30之間。關(guān)于濾光器10，入射通過攝影而由被攝體反射了的光，并使所入射的光透過。由此，由圖像傳感器30進行攝影的多種傳感器圖像中的至少一種以上的傳感器圖像的模糊函數(shù)(PSF：Point Spread Function，點擴散函數(shù))成為變更為非點對稱的函數(shù)。以下，以在透鏡20的開口部具備濾光器10的情況為例進行說明。

透鏡20在進行所入射的光的聚光時，根據(jù)在開口部具備的濾光器10的顏色，使特定的波長區(qū)域的光透過。通過了濾光器10和透鏡20的光到達圖像傳感器30。圖像傳感器30接收通過了透鏡20和設(shè)置于透鏡20的開口部的濾光器10的光。例如，圖像傳感器30具有兩個以上的傳感器，光通過濾光器10，從而生成模糊函數(shù)被變更為非點對稱的對象圖像以及至少一種以上的作為傳感器圖像的基準圖像。兩個以上的傳感器是指例如RGB傳感器中的R與G、G與B、R與B以及R、G與B等兩個以上的組合。例如，兩個以上的傳感器中的某一個傳感器(第1傳感器)生成對象圖像，其他傳感器(第2傳感器)生成基準圖像。

例如，圖像傳感器30是CCD(Charge Coupled Device，電荷耦合器件)圖像傳感器、CMOS(Complementary Metal Oxide Semiconductor，互補金屬氧化物半導(dǎo)體)圖像傳感器等。作為一個方式，圖像傳感器30具有接收紅色光的傳感器(R傳感器)、接收綠色光的傳感器(G傳感器)和接收藍色光的傳感器(B傳感器)，通過各個傳感器接收對應(yīng)的波長區(qū)域的光，生成攝影圖像(R圖像、G圖像、B圖像)。

CPU40集中地控制攝影裝置100的動作。具體來說，CPU40執(zhí)行在存儲器50等中存儲的程序，控制攝影裝置100整體的動作。存儲器50是HDD(Hard Disk Drive，硬盤驅(qū)動器)、NAND型閃存等可改寫的非易失性的存儲設(shè)備。例如，存儲器50存儲與攝影裝置100的控制有關(guān)的程序、在處理中使用的各種數(shù)據(jù)等。在存儲卡插槽60中，能夠插入SD存儲卡、SDHC存儲卡等移動式存儲介質(zhì)。顯示器70是液晶顯示器、觸摸面板等。通信I/F80是控制與外部設(shè)備的通信、由用戶實施的各種指示的輸入的接口。

圖2是示出第1實施方式的攝影裝置100的功能構(gòu)成例的框圖。如圖2所示，攝影裝置100具有傳感器控制部110和距離計算部120。此外，傳感器控制部110、距離計算部120的一部分或者全部可以通過軟件(程序)來實現(xiàn)，也可以通過硬件電路來實現(xiàn)。

傳感器控制部110控制圖像傳感器30，取得模糊函數(shù)被非點對稱地變更了的對象圖像以及至少一種以上的作為傳感器圖像的基準圖像。距離計算部120求出多個模糊校正核心中的、作為附加了模糊的對象圖像的校正圖像與基準圖像的相關(guān)性更高的模糊校正核心，從而計算直至在圖像中映現(xiàn)出的被攝體的距離，輸出距離圖像。多個模糊校正核心是對對象圖像附加相互不同的模糊的函數(shù)。以下，使用流程圖，說明第1實施方式的處理的詳細情況。

圖3是示出第1實施方式的圖像處理的流程的例子的流程圖。此外，以下，以圖像傳感器30具有RGB傳感器的情況為例進行說明，但圖像傳感器30的波長區(qū)域不限于此。

首先，通過攝影而由被攝體反射了的光通過濾光器10，從而由圖像傳感器30觀測的傳感器圖像中的至少一種以上的傳感器圖像的模糊函數(shù)被非點對稱地變更。濾光器10的濾光區(qū)域通過使由圖像傳感器30接收的光中的任意種類的光衰減、使得光線的聚光的分布中產(chǎn)生偏斜，能夠變更傳感器圖像的模糊函數(shù)。

圖4是示出第1實施方式的濾光區(qū)域的結(jié)構(gòu)例的圖。如圖4所示，濾光器10的濾光區(qū)域中的第1濾光區(qū)域構(gòu)成為在將作為光學(xué)中心的濾光區(qū)域的中心點(重心位置的點)設(shè)為對稱點時不為點對稱形狀。在圖4所示的例子中，將濾光區(qū)域中的黃色濾光器(Y濾光器)設(shè)為第1濾光區(qū)域，將不是第1濾光區(qū)域的濾光區(qū)域設(shè)為第2濾光區(qū)域。即，作為第1濾光區(qū)域的黃色濾光器(Y濾光器)在將光學(xué)中心設(shè)為對稱點時，不為點對稱形狀。

圖5是示出第1實施方式的第1濾光區(qū)域(Y濾光器)的透射率特性的例子的圖。如圖5所示，第1濾光區(qū)域(Y濾光器)使紅色光和綠色光透過，使藍色光衰減。此外，第1濾光區(qū)域也可以是變更任意波長區(qū)域的透射率的濾光器、使任意方向的偏振光通過的偏振濾光器(偏振片)、使任意波長區(qū)域的聚光能力變更的微透鏡。例如，變更任意波長區(qū)域的透射率的濾光器也可以是原色濾光器(RGB)、補色濾光器(CMY)、色彩校正濾光器(CC-RGB/CMY)、紅外線/紫外線截止濾光器、ND濾光器、遮蔽板。在第1濾光區(qū)域是微透鏡的情況下，由于透鏡20導(dǎo)致光線的聚光的分布產(chǎn)生偏斜，從而模糊函數(shù)變化。

此外，在濾光器10中，如果不為點對稱形狀，則也可以存在任意的區(qū)域數(shù)量的濾光區(qū)域。另外，濾光器10也可以通過變更多個傳感器圖像的模糊函數(shù)的一個濾光區(qū)域而構(gòu)成。

另外，第1濾光區(qū)域優(yōu)選是用任意的直線分割濾光器10而得到的形狀，優(yōu)選是通過光學(xué)中心的直線。只要是用任意的直線分割濾光器10而得到的形狀，則能夠削減在后面敘述的模糊校正濾光器的維度。另外，只要是通過光學(xué)中心的直線，則在被插入用于光量調(diào)整的遮蔽物等光闌機構(gòu)的情況下，也能夠做成能夠變更傳感器圖像的模糊函數(shù)的結(jié)構(gòu)。

圖像傳感器30接收透過了濾光器10的濾光區(qū)域的光中的、在任意濾光區(qū)域中都不衰減地通過了的光，生成基準圖像。由此，傳感器控制部110取得由圖像傳感器30生成的基準圖像(步驟S101)。任意濾光區(qū)域在圖4所示的例子中是指第1濾光區(qū)域和第2濾光區(qū)域?；鶞蕡D像的模糊函數(shù)在通過濾光區(qū)域的前后變化少。在圖4所示的濾光區(qū)域的情況下，不衰減地通過了作為第1濾光區(qū)域的黃色濾光器(Y濾光器)的紅色光和綠色光被圖像傳感器30接收，所以R圖像和G圖像成為基準圖像。R圖像和G圖像具有圓形的模糊函數(shù)，模糊形狀為圓形形狀。

另外，圖像傳感器30接收透過了濾光器10的濾光區(qū)域的光中的、由于通過第1濾光區(qū)域而模糊函數(shù)被變更的光，生成對象圖像。由此，傳感器控制部110取得由圖像傳感器30生成的對象圖像(步驟S102)。對象圖像的模糊函數(shù)由于第1濾光區(qū)域而變化成非點對稱形狀。在圖4所示的濾光區(qū)域的情況下，由于作為第1濾光區(qū)域的黃色濾光器(Y濾光器)而衰減地通過了的藍色光被圖像傳感器30接收，所以B圖像成為對象圖像。即，通過濾光器10的濾光區(qū)域的藍色光中的、通過了第1濾光區(qū)域的藍色光被吸收，通過了第2濾光區(qū)域的藍色光不被吸收地通過。因此，在圖4所示的濾光器10的情況下，對象圖像的模糊函數(shù)在通過濾光區(qū)域的前后從圓形形狀變更為半圓形形狀，成為半圓形形狀的模糊形狀。

圖6是說明第1實施方式所涉及的直至被攝體的距離與模糊函數(shù)的形狀的關(guān)系的圖。如圖6所示，在圖像中映現(xiàn)出的被攝體的位置比焦點位置遠“d>0”的情況下，對象圖像與基準圖像相比，偏向左側(cè)的模糊被攝像。另外，在圖像中映現(xiàn)出的被攝體的位置比焦點位置近“d<0”的情況下，對象圖像與基準圖像相比，偏向右側(cè)的模糊被攝像。另外，在圖像中映現(xiàn)出的被攝體的位置處于焦點位置“d＝0”的情況下，在對象圖像和基準圖像中，都是沒有模糊的圖像被攝像。在本實施方式中，利用這樣的特性來計算攝影場景的距離。

另外，距離計算部120基于由傳感器控制部110取得的對象圖像和基準圖像，對對象圖像附加不同的模糊，從而生成校正了對象圖像的模糊形狀的校正圖像(步驟S103)。如上所述，根據(jù)直至在圖像中映現(xiàn)出的被攝體的距離d，對象圖像和基準圖像的模糊形狀變化。在本實施方式中，假定直至在圖像中映現(xiàn)出的被攝體的距離是任意的距離d，使用制成的多個模糊校正核心，生成校正了對象圖像的模糊形狀的校正圖像，求出所生成的校正圖像與基準圖像的相關(guān)性更高的距離d，從而計算直至被攝體的距離。此外，關(guān)于計算校正圖像與基準圖像的相關(guān)性的方法，在后面敘述。

此處，如果將從在攝影圖像Ix中映現(xiàn)出的被攝體到相機的焦點位置的距離設(shè)為d，則攝影圖像Ix能夠使用模糊少的理想的攝影圖像Iy和攝影圖像的模糊函數(shù)f(d)，由(式1)來表示。

【式1】

Ix＝f(d)*Iy

攝影圖像的模糊函數(shù)f(d)根據(jù)攝影裝置100的開口形狀和距離d來確定。關(guān)于距離d，如上所述，以焦點位置作為基準，在被攝體比焦點位置遠的的情況下，表示為“d>0”，在被攝體比焦點位置近的情況下，表示為“d<0”。圖7是示出第1實施方式的基準圖像的模糊函數(shù)的例子的圖。如圖7所示，在圖4所示的濾光區(qū)域的情況下，開口形狀是點對稱形狀即圓形形狀，所以模糊函數(shù)f(d)的形狀在焦點位置的前后不變化，模糊函數(shù)f(d)能夠表現(xiàn)為模糊的寬度根據(jù)距離d的大小|d|而變化的高斯函數(shù)。此外，模糊函數(shù)f(d)也可以表現(xiàn)為模糊的寬度根據(jù)距離d的大小|d|而變化的拋物柱面函數(shù)。

基準圖像Ix_r與(式1)同樣地，能夠使用根據(jù)開口形狀和濾光區(qū)域的特性而確定的模糊函數(shù)f_r(d)，由(式2)來表示。

【式2】

Ix_r＝f_r(d)*Iy

另外，對象圖像Ix_o與(式1)同樣地，能夠使用根據(jù)開口形狀和濾光區(qū)域的特性而確定的模糊函數(shù)f_o(d)，由(式3)表示。

【式3】

Ix_o＝f_o(d)*Iy

在圖4所示的濾光區(qū)域的情況下，基準圖像不受到第1濾光區(qū)域的影響，所以，f_r(d)＝f(d)。另外，f_o(d)由于第1濾光區(qū)域中的光衰減的影響，在焦點位置即d＝0的前后變化為不同的形狀。圖8是示出第1實施方式的對象圖像的模糊函數(shù)的例子的圖。如圖8所示，在被攝體比焦點位置更處于遠方的d>0的情況下，對象圖像的模糊函數(shù)f_o(d)為與x>0的第1濾光區(qū)域中的光衰減相應(yīng)地衰減了的模糊的寬度|d|的高斯函數(shù)。另外，在被攝體比焦點位置更處于近處的d<0的情況下，對象圖像的模糊函數(shù)f_o(d)為與x<0的第1濾光區(qū)域中的光衰減相應(yīng)地衰減了的模糊的寬度|d|的高斯函數(shù)。

此處，將用于對對象圖像Ix_o賦予模糊而使對象圖像Ix_o的模糊形狀與基準圖像Ix_r的模糊形狀一致的模糊函數(shù)定義為模糊校正核心f_c(d)。模糊校正核心f_c(d)能夠由(式4)表示。

【式4】

Ix_r＝f_c(d)*Ix_o

(式4)的模糊校正核心f_c(d)能夠通過(式2)～(式4)，使用基準圖像Ix_r的模糊函數(shù)f_r(d)和對象圖像Ix_o的模糊函數(shù)f_o(d)，由(式5)表示。

【式5】

(式5)的f_o^－1(d)是對象圖像的模糊函數(shù)f_o(d)的反向濾光器。由此，模糊校正核心f_c(d)能夠根據(jù)基準圖像Ix_r和對象圖像Ix_o的模糊函數(shù)進行解析來計算。另外，對象圖像Ix_o的模糊形狀能夠使用模糊校正核心f_c(d)，校正為設(shè)想了任意的距離d的各種模糊形狀。

圖9是示出第1實施方式的模糊校正核心的例子的圖。此外，圖9所示的模糊校正核心是使用圖4所示的濾光區(qū)域的情況下的模糊校正核心。如圖9所示，在將濾光區(qū)域設(shè)定為用任意的直線進行分割而得到的形狀的情況下，模糊校正核心f_c(d)通過分割了的線段的中心點，在與該線段垂直的方向的直線上(直線附近)分布。此處，如果將對象圖像Ix_o的模糊形狀設(shè)為使用任意的距離d處的模糊校正核心f_c(d)來校正而得到的校正圖像Ix^_o(d)，則校正圖像Ix^_o(d)能夠由(式6)表示。此外，“Ix^”是公式中的Ix頭帶^符號

【式6】

另外，距離計算部120對所生成的校正圖像Ix^_o(d)與基準圖像Ix_r進行比較，判定校正圖像Ix^_o(d)與基準圖像Ix_r的模糊形狀是否一致(步驟S104)。距離計算部120在校正圖像Ix^_o(d)與基準圖像Ix_r的模糊形狀一致的情況下(步驟S104：“是”)，結(jié)束處理。另一方面，距離計算部120在校正圖像Ix^_o(d)與基準圖像Ix_r的模糊形狀不一致的情況下(步驟S104：“否”)，再次執(zhí)行步驟S103的處理。即，距離計算部120在攝影圖像的各像素中求出校正圖像Ix^_o(d)與基準圖像Ix_r的模糊形狀最一致的距離d。一致不僅是指模糊形狀完全一致，也可以包括例如一致度低于規(guī)定的閾值的情況(后述)。關(guān)于模糊形狀的一致度，計算以各像素為中心的任意尺寸的矩形區(qū)域中的校正圖像Ix^_o(d)與基準圖像Ix_r的相關(guān)性即可。該模糊形狀的一致度的計算使用既有的相似度評價方法即可。由此，距離計算部120求出在校正圖像Ix^_o(d)和基準圖像Ix_r之間相關(guān)性最高的距離d，計算直至在各像素中映現(xiàn)出的被攝體的距離。

例如，既有的相似度評價方法利用SSD(Sum of Squared Difference，方差和)、SAD(Sum of Absolute Difference，絕對誤差和)，NCC(Normalized Cross-Correlation歸一化互相關(guān))、ZNCC(Zero-mean Normalized Cross-Correlation零均值歸一化互相關(guān))、Color Alignment Measure(顏色校準測量)等即可。在本實施方式中，采用Color Alignment Measure，其利用了自然圖像的顏色成分具有局部地保持線性的關(guān)系的特性。

在Color Alignment Measure中，根據(jù)以攝影圖像的對象像素為中心的局部區(qū)域的顏色分布的方差，計算表示相關(guān)性關(guān)系的指標L。在以RGB圖像的各像素為中心的局部區(qū)域中，計算指標L(d)，該RGB圖像根據(jù)由圖像傳感器30進行攝影而得到的基準圖像Ix_r以及假定了距離d的校正圖像Ix^_o(d)而生成。在是圖4所示的濾光區(qū)域的情況下，針對由圖像傳感器30進行攝影而得到的R圖像、G圖像和B圖像，在根據(jù)由距離d的模糊校正核心校正了的校正圖像B^(d)而生成的彩色圖像的各像素中，通過(式7)來計算指標L(d)。此外，“B^”設(shè)為公式中的B頭帶^符號

【式7】

在(式7)中、λ₀、λ₁、λ₂是沿著圖像的顏色分布的主成分軸的方差(圖像的協(xié)方差矩陣的固有值)。另外，在(式7)中、σ_R²、σ_G²、σ_B²是沿著圖像的顏色分布的R軸、G軸、B軸的方差。因此，指標L(d)越小，則表示彩色圖像的一致度越高。由此，在步驟S104中，距離計算部120判定指標L(d)是否低于閾值，如果指標L(d)低于閾值，則結(jié)束對象像素中的距離推測。如果指標L(d)為閾值以上，則距離計算部120返回到步驟S103的處理，生成不同的距離d下的校正圖像。此外，直至在各像素中映現(xiàn)出的被攝體的距離的計算也可以不是使用閾值的條件判定，而是計算假定的全部距離d下的指標L(d)，求出指標L(d)最小的距離d。另外，例如，作為求出直至各被攝體的距離的結(jié)果，距離圖像能夠生成為越是存在于近前側(cè)的被攝體則越明亮、越是存在于里側(cè)的被攝體則越暗那樣的圖像。

如上所述，根據(jù)設(shè)置于攝影裝置100的光學(xué)系統(tǒng)的濾光區(qū)域來變更對象圖像的模糊形狀，生成通過假定了距離d的模糊校正核心來校正所述變更后的對象圖像的模糊形狀而得到的校正圖像，求出所生成的校正圖像與基準圖像的相關(guān)性更高的距離d，從而計算直至在圖像中映現(xiàn)出的被攝體的距離。根據(jù)本實施方式，使用模糊函數(shù)與采樣位置一致的圖像的相關(guān)性來計算距離，所以能夠?qū)崿F(xiàn)高精度的距離推測。另外，根據(jù)本實施方式，利用作為空間信息的卷積結(jié)果的模糊信息，所以距離推測的結(jié)果是穩(wěn)定的，不會產(chǎn)生重復(fù)圖案、陰面問題，能夠?qū)崿F(xiàn)高精度的距離推測。

(第2實施方式)

圖10是示出第2實施方式的攝影裝置200的功能構(gòu)成例的框圖。在第2實施方式中，有時針對與第1實施方式的攝影裝置100相同的結(jié)構(gòu)附加相同的符號，省略其詳細說明。具體來說，以下說明的距離計算部220的功能與第1實施方式不同。此外，關(guān)于第2實施方式的攝影裝置200的硬件構(gòu)成，第1實施方式的攝影裝置100的硬件構(gòu)成中的濾光器10的濾光區(qū)域的結(jié)構(gòu)不同。關(guān)于第2實施方式的濾光區(qū)域，在后面敘述。

如圖10所示，攝影裝置200具有傳感器控制部110和距離計算部220。此外，傳感器控制部110、距離計算部220的一部分或者全部可以通過軟件(程序)來實現(xiàn)，也可以通過硬件電路來實現(xiàn)。與第1實施方式同樣地，攝影裝置200對任意的映現(xiàn)出被攝體的圖像進行攝影，生成表示直至被攝體的進深信息的距離圖像。

距離計算部220求出多個模糊校正核心中的、作為附加了模糊的對象圖像的校正圖像與第2基準圖像的相關(guān)性更高的模糊校正核心，從而計算直至在圖像中映現(xiàn)出的被攝體的距離，輸出距離圖像。第2基準圖像是通過對多個傳感器圖像中的某一個傳感器圖像附加模糊而校正了模糊后的圖像。以下，使用流程圖，說明第2實施方式的處理的詳細情況。

圖11是示出第2實施方式的圖像處理的流程的例子的流程圖。此外，以下，以圖像傳感器30具有RGB傳感器的情況為例進行說明，但圖像傳感器30的波長區(qū)域不限于此。

首先，通過攝影而由被攝體反射了的光通過濾光器10，從而由圖像傳感器30觀測的傳感器圖像中的至少一種以上的傳感器圖像的模糊函數(shù)變更為非點對稱。第2實施方式的濾光區(qū)域使由圖像傳感器30接收的光中的任意種類的光衰減、使得光線的聚光的分布產(chǎn)生偏斜，從而能夠變更傳感器圖像的模糊函數(shù)。

圖12是示出第2實施方式的濾光區(qū)域的結(jié)構(gòu)例的圖。如圖12所示，第2實施方式的濾光區(qū)域中的第1濾光區(qū)域構(gòu)成為在將作為光學(xué)中心的濾光區(qū)域的中心點(重心位置的點)設(shè)為對稱點時，不為點對稱形狀。同樣地，第2實施方式的濾光區(qū)域中的第2濾光區(qū)域構(gòu)成為在將作為光學(xué)中心的濾光區(qū)域的中心點設(shè)為對稱點時，不為點對稱形狀。另外，第1濾光區(qū)域和第2濾光區(qū)域在圖像傳感器30的R、G、B傳感器中的某一個的波長區(qū)域中，具有不同的透射率特性。在本實施方式中，以將第1濾光區(qū)域設(shè)為黃色的色彩校正濾光器(CC-Y)、將第2濾光區(qū)域設(shè)為青色的色彩校正濾光器(CC-C)的情況作為例子。

圖13是示出第2實施方式的第1濾光區(qū)域和第2濾光區(qū)域的透射率特性的例子的圖。如圖13所示，第1濾光區(qū)域(CC-Y)使紅色光、綠色光、藍色光的全部波長區(qū)域的光透過。另外，第2濾光區(qū)域(CC-C)使紅色光、綠色光、藍色光的全部波長區(qū)域的光透過。但是，在第1濾光區(qū)域和第2濾光區(qū)域中，各波長的透射率不同。此外，第1濾光區(qū)域和第2濾光區(qū)域也可以是變更任意波長區(qū)域的透射率的濾光器、使任意方向的偏振光通過的偏振濾光器、使任意波長區(qū)域的聚光能力變更的微透鏡。例如，變更任意波長區(qū)域的透射率的濾光器也可以是原色濾光器(RGB)、補色濾光器(CMY)、色彩校正濾光器(CC-RGB/CMY)、紅外線/紫外線截止濾光器、ND濾光器、遮蔽板。在第1濾光區(qū)域、第2濾光區(qū)域是微透鏡的情況下，由于透鏡20導(dǎo)致光線的聚光的分布產(chǎn)生偏斜，從而模糊函數(shù)變化。

圖像傳感器30接收通過了濾光區(qū)域的光中的、在第1濾光區(qū)域與第2濾光區(qū)域中模糊函數(shù)被變更的光，生成對象圖像。由此，傳感器控制部110取得由圖像傳感器30生成的對象圖像(步驟S201)。對象圖像的模糊函數(shù)由于濾光區(qū)域而變化為非點對稱。其結(jié)果，在被攝體的位置存在于比焦點位置遠的位置的情況(d>0)以及被攝體的位置存在于比焦點位置近的位置的情況下(d<0)，對象圖像的模糊成為非點對稱形的模糊，另外，在焦點位置的前后成為不同的形狀的模糊。具體來說，根據(jù)在R、G、B傳感器的各波長區(qū)域中觀測的光在第1濾光區(qū)域與第2濾光區(qū)域中的哪個區(qū)域更多地通過，確定對象圖像的模糊形狀的偏斜。此外，在被攝體的位置存在于焦點位置的情況下(d＝0)，對象圖像成為沒有模糊的圖像。在本實施方式中，利用對象圖像的上述特性來計算攝影場景的距離。

在圖12所示的濾光區(qū)域的情況下，紅色光、綠色光、藍色光的全部衰減地通過而被圖像傳感器30接收，所以R圖像、G圖像、B圖像全部成為對象圖像。但是，也可以不將R圖像、G圖像、B圖像的全部的圖像設(shè)為對象圖像。與CC-C濾光器(第2濾光區(qū)域)相比，通過濾光區(qū)域的光中的藍色光由CC-Y濾光器(第1濾光區(qū)域)更多地吸收而衰減。因此，在被攝體的位置存在于比焦點位置遠的位置的情況下(d>0)，與圓形形狀相比，偏向左側(cè)的模糊被攝影，在被攝體的位置存在于比焦點位置近的位置的情況下(d<0)，與圓形形狀相比，偏向右側(cè)的模糊被攝影。

另外，與CC-Y濾光器(第1濾光區(qū)域)相比，通過濾光區(qū)域的光中的紅色光由CC-C濾光器(第2濾光區(qū)域)更多地吸收而衰減。因此，在被攝體的位置存在于比焦點位置遠的位置的情況下(d>0)，與圓形形狀相比，偏向右側(cè)的模糊被攝影，在被攝體的位置存在于比焦點位置近的位置的情況下(d<0)，與圓形形狀相比，偏向左側(cè)的模糊被攝影。

另外，與CC-C濾光器(第2濾光區(qū)域)相比，通過濾光區(qū)域的光中的綠色光由CC-Y濾光器(第1濾光區(qū)域)更多地吸收而衰減。因此，在被攝體的位置存在于比焦點位置遠的位置的情況下(d>0)，與圓形形狀相比，偏向右側(cè)的模糊被攝影，在被攝體的位置存在于比焦點位置近的位置的情況下(d<0)，與圓形形狀相比，偏向左側(cè)的模糊被攝影。

另外，距離計算部220生成第2基準圖像，該第2基準圖像是將從由傳感器控制部110取得的多個傳感器圖像選擇出的某一個傳感器圖像(對象圖像)的模糊校正為任意形狀的模糊而得到的(步驟S202)。將傳感器圖像(對象圖像)的模糊校正為任意形狀的模糊的方法與上述步驟S103相同。另外，在步驟S101中，如上所述，傳感器圖像(對象圖像)的模糊形狀根據(jù)直至在圖像中映現(xiàn)出的被攝體的距離d而變化。距離計算部220假定直至在圖像中映現(xiàn)出的被攝體的距離是任意的距離d，生成使用所制成的第2模糊校正核心來校正傳感器圖像(對象圖像)的模糊形狀所得的第2基準圖像。在本實施方式中，將第2基準圖像的模糊形狀作為圓形形狀來說明，但第2基準圖像的模糊形狀既可以是任意的傳感器圖像(對象圖像)的模糊形狀，也可以是與其不同的其他任意的形狀的模糊形狀。以下，以圖12所示的濾光區(qū)域為例，對傳感器圖像的全部是對象圖像的情況進行舉例說明。即，當在傳感器圖像中包括基準圖像的情況下，也能夠通過同樣的方法進行校正。

校正任意選擇出的對象圖像Ix_o的模糊、并校正第2基準圖像的模糊形狀的第2模糊校正核心f’_c(d)通過將上述(式5)中的基準圖像的模糊函數(shù)f_r(d)設(shè)為假定的第2基準圖像的模糊函數(shù)f’_c(d)，能夠由(式8)表示。

【式8】

另外，使用通過(式8)求出的第2模糊校正核心f’_c(d)校正對象圖像Ix_o的模糊而得到的第2基準圖像Ix^_r(d)能夠由(式9)表示。由此，能夠生成在假定直至被攝體的距離是d的情況下的第2基準圖像。

【式9】

另外，距離計算部220生成將在步驟S202中選擇出的傳感器圖像以外的傳感器圖像(對象圖像)的模糊校正為第2基準圖像的模糊而得到的校正圖像(步驟S203)。將對象圖像的模糊校正為校正圖像的模糊的方法與上述步驟S103相同。距離計算部220通過上述(式8)求出校正任意選擇出的對象圖像Ix_o的模糊、并校正第2基準圖像的模糊形狀的模糊校正核心f’_c(d)。然后，距離計算部220使用所求出的模糊校正核心f’_c(d)，在步驟S203中生成校正了選擇出的對象圖像Ix_o的模糊的校正圖像。此處，如果將對象圖像Ix_o的模糊形狀校正為第2基準圖像的模糊形狀而得到的校正圖像設(shè)為Ix^’_o(d)，則校正圖像能夠由(式10)表示。由此，能夠生成假定直至被攝體的距離是d的情況下的校正圖像。

【式10】

另外，距離計算部220對所生成的校正圖像Ix^’_o(d)與第2基準圖像Ix^’_r(d)進行比較，判定校正圖像Ix^’_o(d)與第2基準圖像Ix^’_r(d)的模糊形狀是否一致(步驟S204)。距離計算部220在校正圖像Ix^’_o(d)與第2基準圖像Ix^’_r(d)的模糊形狀一致的情況下(步驟S204：“是”)，結(jié)束處理。另一方面，距離計算部220在校正圖像Ix^’_o(d)與第2基準圖像Ix^’_r(d)的模糊形狀不一致的情況下(步驟S204：“否”)，再次執(zhí)行步驟S202的處理。關(guān)于求出校正圖像Ix^’_o(d)與第2基準圖像Ix^’_r(d)的模糊形狀最一致的距離d的方法，與上述步驟S104相同。例如，在本實施方式中，采用利用了自然圖像的顏色成分具有局部地保持線性的關(guān)系的特性的Color Alignment Measure。

在Color Alignment Measure中，根據(jù)以攝影圖像的對象像素為中心的局部區(qū)域的顏色分布的方差來計算表示相關(guān)性關(guān)系的指標L。即，在以根據(jù)假定了距離d的第2基準圖像Ix^’_r(d)和校正圖像Ix^’_o(d)而生成的RGB圖像的各像素為中心的局部區(qū)域中，計算指標L(d)。在是圖12所示的濾光區(qū)域的情況下，針對彩色圖像的各像素，通過(式11)計算指標L(d)，彩色圖像根據(jù)通過距離d的第2模糊校正核心來校正由圖像傳感器30拍攝到的R圖像、G圖像和B圖像各圖像而得到的第2基準圖像、通過模糊校正核心來校正由圖像傳感器30拍攝到的R圖像、G圖像和B圖像各圖像而得到的校正圖像即R^(d)、G^(d)、B^(d)而生成的。

【式11】

由此，在步驟S204中，距離計算部220判定指標L(d)是否低于閾值，如果指標L(d)低于閾值，則結(jié)束對象像素的距離推測。如果指標L(d)為閾值以上，則距離計算部220返回到步驟S202的處理，生成不同的距離d下的第2基準圖像和校正圖像。此外，直至在各像素中映現(xiàn)出的被攝體的距離的計算方法不限于使用閾值的條件判定。距離計算部220也可以計算假定的全部的距離d下的指標L(d)，求出指標L(d)最小的距離d。

如上所述，在本實施方式中，生成將根據(jù)濾光區(qū)域而變更了的對象圖像的模糊形狀校正為假定了距離d的任意的模糊形狀而得到的第2基準圖像和校正圖像。然后，求出所生成的第2基準圖像與校正圖像的相關(guān)性更高的距離d，從而計算直至在圖像中映現(xiàn)出的被攝體的距離。根據(jù)本實施方式，使用模糊函數(shù)與采樣位置一致的圖像的相關(guān)性來計算距離，所以能夠?qū)崿F(xiàn)高精度的距離推測。另外，根據(jù)本實施方式，用于利用作為空間信息的卷積結(jié)果的模糊信息的距離推測的結(jié)果是穩(wěn)定的，不會產(chǎn)生重復(fù)圖案、陰面問題，能夠?qū)崿F(xiàn)高精度的距離推測。

(第3實施方式)

圖14是示出第3實施方式的攝影裝置300的功能構(gòu)成例的框圖。在第3實施方式中，有時針對與第1實施方式的攝影裝置100相同的結(jié)構(gòu)附加相同的符號，省略其詳細說明。具體來說，以下說明的距離計算部320、圖像生成部330的功能與第1實施方式不同。此外，第3實施方式的攝影裝置300的硬件構(gòu)成與第1實施方式的攝影裝置100的硬件構(gòu)成相同。

如圖14所示，攝影裝置300具有傳感器控制部110、距離計算部320、圖像生成部330。此外，傳感器控制部110、距離計算部320和圖像生成部330的一部分或者全部既可以通過軟件(程序)來實現(xiàn)，也可以通過硬件電路來實現(xiàn)。攝影裝置300對任意的映現(xiàn)出被攝體的圖像進行攝影，生成用于向使用者顯示的顯示圖像。

除了表示直至在圖像中映現(xiàn)出的被攝體的距離的距離圖像之外，距離計算部320還對圖像生成部330輸出模糊校正圖像，該模糊校正圖像是由使用與基準圖像的相關(guān)性最高的模糊校正核心對對象圖像附加了模糊后的校正圖像和基準圖像生成的。圖像生成部330使用由距離計算部320輸出的距離圖像以及傳感器圖像的模糊形狀被校正后的校正圖像，生成用于向使用者顯示的顯示圖像。將通過圖像生成部330生成的顯示圖像顯示輸出到顯示器70等。

圖15是示出第3實施方式的圖像處理的流程的例子的流程圖。此外，步驟S301～步驟S304的處理與上述步驟S101～步驟S104的處理相同，所以省略這些詳細處理的說明。

如圖15所示，圖像生成部330根據(jù)由距離計算部320輸出的表示各像素的進深信息的距離圖像以及傳感器圖像的模糊形狀一致了的校正圖像，生成用于向使用者顯示的顯示圖像(輸出圖像)(步驟S305)。顯示圖像既可以是距離圖像，也可以是將距離圖像進行偽彩色顯示而得到的圖像。另外，顯示圖像也可以是校正圖像、傳感器圖像。校正圖像是將對象圖像的模糊校正為基準圖像的模糊而得到的圖像。另外，顯示圖像也可以是根據(jù)距離圖像和校正圖像并基于被攝體的距離而去除了校正圖像的各像素的焦點模糊所得的全焦點圖像。另外，顯示圖像也可以是根據(jù)校正圖像和距離圖像并基于被攝體的距離而去除或者附加了校正圖像的任意距離的被攝體的模糊而得到的模糊強調(diào)圖像。

(第4實施方式)

提出了如下的技術(shù)：通過應(yīng)用代價卷過濾(cost volume filtering)，在基于馬爾可夫隨機場的一般的離散值的標示問題中，快速地解出高精度的近似解。采用應(yīng)用這樣的技術(shù)的距離測定方法的話，有時在沒有線索的平坦區(qū)域中求不出距離。

在第4實施方式中，能夠應(yīng)用代價卷過濾，更高精度地測定距離。在本實施方式中，將在階層化了的代價卷的上位階層中確定了的標記(例如距離)與下位階層的標記之差設(shè)為下位階層的標記選擇的正則化項，從而將在上位階層中最佳化了的標記作為空間上的制約，對下位階層的標記進行最佳化。由此，能夠例如在補償被攝體細的凹凸形狀的同時，確定平坦區(qū)域的距離。另外在本實施方式中，實施使用在各階層中最佳化了的結(jié)果的正則化，能夠提高針對攝像噪聲等干擾的穩(wěn)健性。

以下，主要以對第1實施方式應(yīng)用代價卷過濾的情況為例進行說明。對第2和第3實施方式也能夠應(yīng)用同樣的方法。

圖16是示出第4實施方式的攝影裝置400的功能構(gòu)成例的框圖。在本實施方式中，有時針對與第1實施方式的攝影裝置100相同的結(jié)構(gòu)附加相同的符號，省略其詳細說明。在本實施方式中，距離計算部420的功能與第1實施方式不同。此外，本實施方式的攝影裝置400的硬件構(gòu)成與第1實施方式的攝影裝置100的硬件構(gòu)成相同。

如圖16所示，攝影裝置400具有傳感器控制部110和距離計算部420。此外，傳感器控制部110、距離計算部420的一部分或者全部既可以通過軟件(程序)來實現(xiàn)，也可以通過硬件電路來實現(xiàn)。與第1實施方式同樣地，攝影裝置400對任意的映現(xiàn)出被攝體的圖像進行攝影，生成表示直至被攝體的進深信息的距離圖像。

距離計算部420具有CV(代價卷)生成部421和正則化部422。

CV生成部421生成3維的代價卷。代價卷是除了圖像的一個方向(例如水平方向)和與圖像的一個方向不同的其他方向(例如垂直方向)之外還包括標記方向的信息的3維的數(shù)據(jù)。代價卷包括圖像的水平方向的位置、圖像的垂直方向的位置和基于對象圖像和基準圖像之差的代價的3維的信息。例如針對直至在各像素中映現(xiàn)出的被攝體的所設(shè)想的每個距離(標記)而計算代價。對象圖像和基準圖像之差是例如信號值之差、通過相似度評價法計算出的值之差。在該情況下，距離相當于標記，但標記不限于距離。例如，也可以將表示根據(jù)距離而變化的模糊的程度的信息設(shè)為標記。標記也可以是例如視差方向。

另外，CV生成部421生成使代價卷的至少1維方向的分辨率變低而得到的代價卷。例如CV生成部421生成使上述3維的信息中的至少1維方向的分辨率越到上位階層則越變小而得到的階層數(shù)n(n是2以上的整數(shù))的代價卷(代價卷金字塔)。階層數(shù)n是任意的，只要是2以上即可。

以下，以使主要代價卷的水平方向與垂直方向的分辨率降低的情況為例進行說明，但也可以使這以外的任意的1個以上的方向的分辨率降低。例如，除了水平方向和垂直方向之外，也可以還使標記方向的分辨率降低。根據(jù)這樣的結(jié)構(gòu)，能夠使處理高速化。

正則化部422將k階層(k是滿足1≤k≤n-1的整數(shù))的代價卷修正為包括正則化項的代價卷(修正代價卷)。正則化項被求出為基于根據(jù)(k+1)階層的代價卷求出的距離(第1距離)與根據(jù)k階層的代價卷求出的距離(第2距離)之差的項。例如正則化部422根據(jù)分辨率低的代價卷((k+1)階層的代價卷)確定直至在各像素中映現(xiàn)出的被攝體的距離，計算將根據(jù)分辨率低的代價卷求出的距離與根據(jù)分辨率高的代價卷(k階層的代價卷)求出的距離之差作為正則化項添加到分辨率高的代價卷(k階層的代價卷)而得到的代價卷C’(修正代價卷)。

距離計算部420根據(jù)通過正則化部422計算出的代價卷C’來計算距離圖像。

接下來，說明本實施方式的攝像裝置400的動作的詳細情況。圖17是示出第4實施方式的圖像處理的流程的例子的流程圖。

傳感器控制部110取得由圖像傳感器30生成的基準圖像(步驟S401)。另外，傳感器控制部110取得由圖像傳感器30生成的對象圖像(步驟S402)。距離計算部420通過對對象圖像附加根據(jù)設(shè)想距離而不同的模糊，生成校正了對象圖像的模糊形狀的多個校正圖像(步驟S403)。

CV生成部421根據(jù)基準圖像和校正圖像而生成代價卷(步驟S404)。例如CV生成部421將附加不同的模糊而生成的校正圖像與基準圖像之差計算為匹配代價(代價)。CV生成部421與例如上述步驟S104同樣地，將以各像素為中心的任意尺寸的矩形區(qū)域中的校正圖像和基準圖像的一致度作為該像素的代價而求出。關(guān)于各像素，計算與根據(jù)距離而生成的多個校正圖像對應(yīng)的多個代價。CV生成部421根據(jù)計算出的多個代價來計算代價卷。例如CV生成部421生成包括像素的水平方向的位置、像素的垂直方向的位置和針對像素求出的代價的3維的代價卷。

CV生成部421進而基于代價卷而生成代價卷金字塔(步驟S405)。CV生成部421通過生成使3維的代價卷的至少1維方向的分辨率階梯狀地變低而得到的代價卷，從而生成代價卷金字塔。

例如CV生成部421使代價卷的水平方向與垂直方向的分辨率降低。CV生成部421通過既有的縮小方法(面積平均法、三次卷積法、最鄰近法和雙線性法等)來使代價卷的各切片(slice)縮小。CV生成部421生成包括使水平方向與垂直方向的分辨率降低了的代價卷切片群的低分辨率的代價卷。代價卷金字塔包括通過這樣階梯狀地縮小至任意的階層數(shù)n而得到的代價卷。

正則化部422從最上位的階層(分辨率最低的階層)向下位的階層地執(zhí)行以下的處理，計算直至被攝體的距離。首先，正則化部422判定當前的處理階層(k階層)是否為最上位階層(步驟S406)。在k階層是最上位階層的情況下(步驟S406：“是”)，正則化部422將k階層的代價卷C^k設(shè)為C’^k而前進到步驟S408。這樣在最上位階層的情況下，不求出與在上位的階層求出的距離之差，所以，不執(zhí)行使代價卷正則化的處理。

在k階層不是最上位階層的情況下(步驟S406：“否”)，正則化部422對代價卷C^k進行正則化(步驟S407)。例如正則化部422生成通過向代價卷C^k追加正則化項而修正了的代價卷C’^k。正則化部422如(式12)所示，將k階層的代價卷C^k設(shè)為數(shù)據(jù)項，將在上位階層求出的距離b^_i^(k+1)與在k階層求出的距離b之差作為正則化項而計算k階層的修正代價卷C’^k。

【式12】

此外，λ是正則化參數(shù)。λ既可以是常數(shù)，也可以越是上位階層則使強度越弱。“L1”表示作為正則化方法而應(yīng)用L1正則化。正則化方法不限于L1正則化，也可以使用例如L2正則化等其他正則化方法。i表示像素，b表示距離。(式12)表示針對距離b的每個像素i而應(yīng)用(式12)并對代價卷進行正則化。有時將對各距離b和各像素i進行正則化而得到的代價卷整體表示為C’^k。

距離計算部420對代價卷C’^k實施代價卷過濾(CVF)(步驟S408)。CVF是適合于代價卷的各切片的圖像過濾處理。在CVF中，針對代價卷的各切片應(yīng)用采用邊緣保存型的FGWLS(Fast Global Image Smoothing Based on Weighted Least Squares，基于加權(quán)最小二乘的快速總體圖像平滑)濾波器、高斯濾波器、雙邊濾光器、盒式濾波器、引導(dǎo)濾波器和ε-濾波器等的過濾處理。以下，以使用FGWLS濾波器的情況為例進行說明。

距離計算部420如(式13)所示，對代價卷C’^k應(yīng)用FGWLS濾波器，計算代價卷C”^k。

【式13】

距離計算部420根據(jù)代價卷C”^k，計算直至在各像素中映現(xiàn)出的被攝體的距離b^_i^k(步驟S409)。例如距離計算部420如(式14)所示，關(guān)于各像素i，選擇代價卷C_i”^k(b)中的代價最小的距離b^_i^k。距離不需要是整數(shù)值，也可以根據(jù)距離和代價的值計算加權(quán)平均，保持為小數(shù)值。

【式14】

距離計算部420判定是否處理至通過用戶等指定了的階層(指定階層)(步驟S410)。在處理未完成的情況下(步驟S410：“否”)，返回到步驟S407而重復(fù)進行處理。在處理完成的情況下(步驟S410：“是”)，距離計算部420結(jié)束圖像處理。此外，距離的計算不需要執(zhí)行至最下位的階層。根據(jù)所要求的精度等，也可以在中途的階層(指定階層)結(jié)束處理。

距離計算部420也可以生成并輸出表示計算出的距離的距離圖像。圖18是示出攝影圖像的一個例子的圖。圖19是示出根據(jù)圖18的攝影圖像來生成的距離圖像的一個例子的圖。圖19的距離圖像表示根據(jù)圖18所示的攝影圖像來求出直至被攝體的距離的結(jié)果。在圖19中，示出越是處于近前側(cè)的被攝體則越暗，越是處于里側(cè)的被攝體則越明亮。距離圖像可以以與指定階層相應(yīng)的分辨率來生成，也可以以更高分辨率(與最下位階層對應(yīng)的分辨率等)來生成。

如上所述，根據(jù)本實施方式，通過將與在階層化了的代價卷的上位階層確定了的距離之差設(shè)為下位階層的距離選擇的正則化項，將在上位階層中最佳化了的距離設(shè)為空間上的制約，能夠?qū)ο挛浑A層的距離進行最佳化。其結(jié)果，能夠在補償被攝體細的凹凸形狀的同時，確定平坦區(qū)域的距離。在本實施方式中，通過實施使用在各階層中最佳化的結(jié)果的正則化，能夠提高針對攝像噪聲等干擾的穩(wěn)健性。

(變形例1)

在(式12)中，將與在1個上位階層中求出的距離之差設(shè)為正則化項。也可以將與在2個以上的上位階層中求出的各距離之差分別設(shè)為正則化項。例如，也可以不僅將k階層的距離b與(k+1)階層的距離b^_i^(k+1)之差，還將k階層的距離b與(k+2)階層的距離b^_i^(k+2)(第3距離)之差作為正則化項而追加。在該情況下，針對各差而使用相同或者不同的正則化參數(shù)即可。

(變形例2)

過濾處理(步驟S408等)也可以設(shè)為將攝影圖像作為引導(dǎo)的過濾處理。在該情況下，例如CV生成部421進一步輸入攝影圖像，生成使攝影圖像的水平方向和垂直方向的分辨率階梯狀地變低到與代價卷金字塔相同的分辨率的階層數(shù)n的圖像金字塔(圖像群)。距離計算部420針對代價卷C’^k的各切片，應(yīng)用將圖像金字塔中的k階層的圖像作為引導(dǎo)的過濾處理，計算代價卷C”^k。

(變形例3)

在使代價卷的分辨率降低的情況下，也可以使用將特定的信息設(shè)為權(quán)重的加權(quán)平均。例如，能夠?qū)ⅰ?-相應(yīng)像素的代價的最小值”、相應(yīng)像素的飽和評價值、相應(yīng)像素的邊緣強度(例如水平方向的邊緣強度)和相應(yīng)像素的邊緣梯度方向等信息用作加權(quán)α。也可以將這些信息中的2個以上的組合用作加權(quán)α。另外，在使代價卷的分辨率降低的情況下，也可以使用將攝影圖像的圖像金字塔縮小成引導(dǎo)的方法。

(變形例4)

到此為止，說明了使用通過1個攝像部(圖像傳感器)得到的來自1個視點的攝影圖像來計算距離的實施方式。使用第4實施方式那樣的代價卷過濾的方法也能夠應(yīng)用于使用來自多個視點的攝影圖像來計算距離的方式。本變形例的攝影裝置例如輸入視點不同的至少2張以上的攝影圖像，將至少1張以上的攝影圖像作為對象圖像，生成按與設(shè)想距離相應(yīng)的視差移動量校正了對象圖像的多個校正圖像。本變形例的攝影裝置將所生成的校正圖像群與作為對象圖像以外的攝影圖像的基準圖像之差計算為代價。本變形例的攝影裝置使用通過這樣計算出的代價來生成代價卷。以后的處理與第4實施方式相同。

(變形例5)

輸出不限于距離圖像，也可以構(gòu)成為輸出以下那樣的信息。

·表示距離與位置的對應(yīng)關(guān)系的信息(表等)

·距離的最大值、最小值、中心值和平均值中的至少1個

·與距離相應(yīng)的區(qū)域分割結(jié)果(表示分割了的區(qū)域的圖像等)

也可以通過使用計算出的距離來對攝影圖像進行處理，輸出以下那樣的信息。

·全焦點圖像(在所有的距離下使焦點對準的圖像)

·重新聚焦圖像(在指定的距離下使焦點對準的圖像)

·處于任意距離的圖像的提取結(jié)果

·使用圖像和距離的物體識別結(jié)果或者行動識別結(jié)果

包括在上述文檔中、附圖中等示出的處理步驟、控制步驟、具體的名稱、各種的數(shù)據(jù)、參數(shù)等的信息除了特別說明的情況之外，能夠任意變更。另外，所圖示出的裝置的各構(gòu)成要素是功能概念性的要素，不一定需要在物理上如圖所示地構(gòu)成。即，裝置的分散或者統(tǒng)合的具體方式不限于圖示，能夠根據(jù)各種負擔、使用狀況等，按任意的單位在功能上或者物理上對其全部或者一部分進行分散或者統(tǒng)合。

另外，上述實施方式的攝影裝置的圖像處理的功能例如能夠?qū)⑼ㄓ玫挠嬎銠C裝置用作基本硬件來實現(xiàn)。所執(zhí)行的圖像處理程序為包括上述各功能的模塊構(gòu)成。另外，所執(zhí)行的圖像處理程序既可以以能夠安裝的形式或者能夠執(zhí)行的形式的文件存儲在CD-ROM、CD-R、DVD等計算機可讀的存儲介質(zhì)中來提供，也可以預(yù)先并入到ROM等來提供。

另外，上述實施方式是作為例子而提出的，并非旨在限定發(fā)明的范圍。這些新穎的實施方式能夠按其他各種方式來實施，在不脫離發(fā)明的主旨的范圍內(nèi)，能夠進行各種的省略、置換、變更。另外，各實施方式在不矛盾的范圍能夠?qū)?nèi)容適當組合。另外，各實施方式、其變形包含在發(fā)明的范圍、主旨中，并且包含在權(quán)利要求書所記載的發(fā)明及其均等范圍內(nèi)。

此外，能夠?qū)⑸鲜鰧嵤┓绞綒w納為以下的技術(shù)方案。

技術(shù)方案1

一種圖像處理裝置，具有：

傳感器控制部，其取得模糊函數(shù)被非點對稱地表示的對象圖像以及模糊函數(shù)被點對稱地表示的基準圖像；以及

距離計算部，其根據(jù)附加了不同的模糊的所述對象圖像與所述基準圖像的相關(guān)性，計算直至在圖像中映現(xiàn)出的被攝體的距離。

技術(shù)方案2

在技術(shù)方案1所記載的圖像處理裝置中，

所述距離計算部通過求出對所述對象圖像附加不同的模糊的多個模糊校正核心中的、附加了不同的模糊的所述對象圖像與所述基準圖像的相關(guān)性更高的所述模糊校正核心，計算直至所述被攝體的距離。

技術(shù)方案3

在技術(shù)方案2所記載的圖像處理裝置中，

所述模糊校正核心是用于將所述對象圖像的模糊校正為所述基準圖像的模糊的卷積函數(shù)，

所述距離計算部根據(jù)所述對象圖像的模糊函數(shù)和所述基準圖像的模糊函數(shù)，求出校正任意的距離的所述被攝體的模糊的多個模糊校正核心。

技術(shù)方案4

在技術(shù)方案1所記載的圖像處理裝置中，

所述距離計算部根據(jù)對所述對象圖像附加了模糊的校正圖像與第2基準圖像的相關(guān)性，計算直至所述被攝體的距離，所述第2基準圖像是通過對傳感器圖像附加模糊而校正了模糊的所述基準圖像。

技術(shù)方案5

在技術(shù)方案1所記載的圖像處理裝置中，

所述距離計算部具備：

生成部，其生成階層數(shù)n(n是2以上的整數(shù))的代價卷，所述代價卷分別包括一個方向的位置、與所述一個方向不同的其他方向的位置以及基于所述對象圖像與所述基準圖像之差的代價的3維的信息，所述階層數(shù)n的代價卷使所述3維中的至少1維方向的分辨率越到上位階層則越變?。灰约?/p>

正則化部，其將k階層(k是滿足1≤k≤n-1的整數(shù))的代價卷修正為包括基于根據(jù)(k+1)階層的代價卷求出的第1距離與根據(jù)所述k階層的代價卷求出的第2距離之差的正則化項的修正代價卷，

根據(jù)所述修正代價卷，計算直至所述被攝體的距離。

技術(shù)方案6

在技術(shù)方案5所記載的圖像處理裝置中，

所述正則化部將k階層(k是滿足1≤k≤n-1的整數(shù))的代價卷修正為還包括基于所述第1距離與根據(jù)比所述k階層上位的1個以上的階層的代價卷求出的1個以上的第3距離之差的正則化項的修正代價卷。

技術(shù)方案7

在技術(shù)方案5所記載的圖像處理裝置中，

所述生成部生成使所述一個方向的位置和所述另一個方向的位置中的至少一方的維度的分辨率階梯狀地變小的階層數(shù)n的代價卷，

所述距離計算部根據(jù)所取得的圖像，生成使與所述代價卷相同的維度的分辨率階梯狀地變小的階層數(shù)n的圖像群，針對所述修正代價卷，應(yīng)用將所述圖像群中的對應(yīng)的階層的圖像作為引導(dǎo)的過濾處理，從而計算k階層中的直至所述被攝體的距離。

技術(shù)方案8

一種攝影裝置，具有：

技術(shù)方案1～7中的任一方案所記載的圖像處理裝置；以及

圖像傳感器，其接收通過了將至少一種以上的傳感器圖像的模糊函數(shù)變更為非點對稱的濾光區(qū)域的光，生成作為傳感器圖像的所述對象圖像以及作為與該對象圖像不同的傳感器圖像的所述基準圖像，所述對象圖像是模糊函數(shù)由于所述濾光區(qū)域而變更為非點對稱的圖像。

技術(shù)方案9

在技術(shù)方案8所記載的攝影裝置中，

所述對象圖像的模糊函數(shù)以開口部的光學(xué)中心作為點對稱的中心變更為非點對稱。

技術(shù)方案10

在技術(shù)方案8所記載的攝影裝置中，

所述圖像傳感器包括接收紅色光的傳感器、接收綠色光的傳感器和接收藍色光的傳感器中的兩個以上的傳感器，兩個以上的傳感器中包括的第1傳感器生成所述對象圖像，兩個以上的傳感器中包括的所述第1傳感器以外的第2傳感器生成所述基準圖像。

技術(shù)方案11

在技術(shù)方案8～10中的任一方案所記載的攝影裝置中，

所述濾光區(qū)域是作為變更任意波長區(qū)域的透射率的濾光器的原色濾光器、補色濾光器、色彩校正濾光器、紅外線截止濾光器、紫外線截止濾光器、ND濾光器或者遮蔽板。

技術(shù)方案12

在技術(shù)方案8～10中的任一方案所記載的攝影裝置中，

所述濾光區(qū)域是使任意方向的偏振的光通過的偏振片、或者變更任意波長區(qū)域的聚光能力的微透鏡。

技術(shù)方案13

在技術(shù)方案8～12中的任一方案所記載的攝影裝置中，

所述距離計算部生成表示在所述傳感器圖像的各像素中計算出的距離的距離圖像，根據(jù)附加了不同的模糊的所述對象圖像和所述基準圖像，生成校正了該對象圖像的模糊形狀的校正圖像，

所述攝影裝置還具有圖像生成部，該圖像生成部根據(jù)所述距離圖像的距離信息，生成去除所述校正圖像的模糊或者附加模糊而得到的輸出圖像。