圖像處理裝置、攝像裝置及圖像處理程序的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及圖像處理裝置、攝像裝置及圖像處理程序。
【背景技術(shù)】
[0002] 公知有如下攝像裝置：使用單一攝影光學(xué)系統(tǒng)，通過一次拍攝生成彼此具有視差 的左右的視差圖像。
[0003] 現(xiàn)有技術(shù)文獻(xiàn)
[0004] 專利文獻(xiàn)
[0005] 專利文獻(xiàn)1 :日本特開2003-7994號公報(bào)

【發(fā)明內(nèi)容】

[0006] 在由這種攝像裝置得到的左右的視差圖像中，產(chǎn)生了彼此不同的明暗度 (shading)〇
[0007] 本發(fā)明的第1方式的圖像處理裝置的特征在于，具有：輸入通過一個光學(xué)系統(tǒng)對 全部光束中的從彼此不同的區(qū)域通過的部分光束的被攝物體像進(jìn)行拍攝而得到的第1視 點(diǎn)方向的圖像和第2視點(diǎn)方向的圖像的至少兩個視差圖像的機(jī)構(gòu)；對第1視點(diǎn)方向的圖像 和第2視點(diǎn)方向的圖像分別至少在將第1視點(diǎn)和第2視點(diǎn)連接的方向上施加平滑化濾波 器，由此分別生成第1平滑化圖像和第2平滑化圖像的機(jī)構(gòu)；生成由基于第1平滑化圖像的 值與第2平滑化圖像的值之積的值構(gòu)成的基準(zhǔn)圖像的機(jī)構(gòu)；通過將基準(zhǔn)圖像的值除以第1 平滑化圖像的值來生成第1增益分布數(shù)據(jù)的機(jī)構(gòu)；基于第1增益分布數(shù)據(jù)對第1視點(diǎn)方向 的圖像進(jìn)行各像素的增益修正的機(jī)構(gòu)；以及將進(jìn)行增益修正后的第1視點(diǎn)方向的圖像作為 用于立體顯示的視差圖像而輸出的機(jī)構(gòu)，平滑化濾波器是具有與在第1視點(diǎn)方向的圖像與 第2視點(diǎn)方向的圖像之間產(chǎn)生的視差量為相同程度的濾波直徑的進(jìn)行平滑化的濾波器。
[0008] 本發(fā)明的第2方式的圖像處理裝置的特征在于，具有：輸入通過一個光學(xué)系統(tǒng)對 全部光束中的從彼此不同的區(qū)域通過的部分光束的被攝物體像進(jìn)行拍攝而得到的第1視 點(diǎn)方向的圖像和第2視點(diǎn)方向的圖像的至少兩個視差圖像的機(jī)構(gòu)；對第1視點(diǎn)方向的圖像 和第2視點(diǎn)方向的圖像分別至少在將第1視點(diǎn)和第2視點(diǎn)連接的方向上施加平滑化濾波 器，由此分別生成第1平滑化圖像和第2平滑化圖像的機(jī)構(gòu)；基于第1平滑化圖像和第2平 滑化圖像來生成基準(zhǔn)圖像的機(jī)構(gòu)；通過將基準(zhǔn)圖像的值除以第1平滑化圖像的值來生成第 1增益分布數(shù)據(jù)的機(jī)構(gòu)；通過將基準(zhǔn)圖像的值除以第2平滑化圖像的值來生成第2增益分 布數(shù)據(jù)的機(jī)構(gòu)；基于第1增益分布數(shù)據(jù)對第1視點(diǎn)方向的圖像進(jìn)行各像素的增益修正的機(jī) 構(gòu)；基于第2增益分布數(shù)據(jù)對第2視點(diǎn)方向的圖像進(jìn)行各像素的增益修正的機(jī)構(gòu)；將進(jìn)行 增益修正后的第1視點(diǎn)方向的圖像和進(jìn)行增益修正后的第2視點(diǎn)方向的圖像合并并作為用 于立體顯示的視差圖像而輸出的機(jī)構(gòu)；以及通過使平滑化濾波器的濾波直徑可變來調(diào)節(jié)用 于立體顯示的視差圖像之間的視差量的機(jī)構(gòu)，使濾波直徑在消除視差時縮向零、在保存視 差時與輸入圖像的兩個視差像素之間能夠產(chǎn)生的最大視差量為相同程度或擴(kuò)大至其以上。
[0009] 本發(fā)明的第3方式的圖像處理裝置的特征在于，具有：圖像數(shù)據(jù)獲取部，其獲取通 過至少一部分共通的光學(xué)系統(tǒng)而獲取的第1視點(diǎn)所對應(yīng)的第1圖像數(shù)據(jù)、和第2視點(diǎn)所對 應(yīng)的第2圖像數(shù)據(jù)；平滑化數(shù)據(jù)生成部，其分別對第1圖像數(shù)據(jù)及第2圖像數(shù)據(jù)，以將由第 1圖像數(shù)據(jù)及第2圖像數(shù)據(jù)表示的像分別相對于視差方向平滑化的方式進(jìn)行濾波，由此生 成第1平滑化數(shù)據(jù)及第2平滑化數(shù)據(jù)；目標(biāo)圖像數(shù)據(jù)生成部，其使用第1平滑化數(shù)據(jù)和第2 平滑化數(shù)據(jù)所對應(yīng)的各個像素值的幾何平均來生成目標(biāo)圖像數(shù)據(jù)；以及增益修正部，其使 用目標(biāo)圖像數(shù)據(jù)相對于第1平滑化數(shù)據(jù)之比來修正第1圖像數(shù)據(jù)。
[0010] 本發(fā)明的第4方式的攝像裝置是具有攝像元件和上述的圖像處理裝置的攝像裝 置，第1圖像數(shù)據(jù)及第2圖像數(shù)據(jù)基于攝像元件的輸出而生成。
[0011] 本發(fā)明的第5方式的圖像處理程序使計(jì)算機(jī)執(zhí)行以下步驟：圖像數(shù)據(jù)獲取步驟， 獲取通過至少一部分共通的光學(xué)系統(tǒng)而獲取的第1視點(diǎn)所對應(yīng)的第1圖像數(shù)據(jù)、和第2視 點(diǎn)所對應(yīng)的第2圖像數(shù)據(jù)；平滑化數(shù)據(jù)生成步驟，分別對第1圖像數(shù)據(jù)及第2圖像數(shù)據(jù)，以 將由第1圖像數(shù)據(jù)及第2圖像數(shù)據(jù)表示的像分別相對于視差方向平滑化的方式進(jìn)行濾波， 由此生成第1平滑化數(shù)據(jù)及第2平滑化數(shù)據(jù)；目標(biāo)圖像數(shù)據(jù)生成步驟，使用第1平滑化數(shù)據(jù) 和第2平滑化數(shù)據(jù)所對應(yīng)的各個像素值的幾何平均來生成目標(biāo)圖像數(shù)據(jù)；以及增益修正步 驟，使用目標(biāo)圖像數(shù)據(jù)相對于第1平滑化數(shù)據(jù)之比來修正第1圖像數(shù)據(jù)。
[0012] 本發(fā)明的第6方式的圖像處理裝置的特征在于，具有：輸入通過一個光學(xué)系統(tǒng)對 全部光束中的從彼此不同的區(qū)域通過的部分光束的被攝物體像進(jìn)行拍攝而得到的第1視 點(diǎn)方向的圖像和第2視點(diǎn)方向的圖像的至少兩個視差圖像的機(jī)構(gòu)；對第1視點(diǎn)方向的圖像 和第2視點(diǎn)方向的圖像分別將在與連接第1視點(diǎn)和第2視點(diǎn)的X方向正交的y方向上排列 的多個像素的像素值相加，而分別生成一維投影后的第1視點(diǎn)方向的一維分布數(shù)據(jù)和第2 視點(diǎn)方向的一維分布數(shù)據(jù)的機(jī)構(gòu)；對一維投影后的第1視點(diǎn)方向的一維分布數(shù)據(jù)和第2視 點(diǎn)方向的一維分布數(shù)據(jù)分別施加一維的平滑化濾波器，由此分別生成第1 一維平滑化分布 數(shù)據(jù)和第2 -維平滑化分布數(shù)據(jù)的機(jī)構(gòu)；基于第1 一維平滑化分布數(shù)據(jù)和第2 -維平滑化 分布數(shù)據(jù)來求出其間的點(diǎn)而生成一維基準(zhǔn)分布數(shù)據(jù)的機(jī)構(gòu)；通過將一維基準(zhǔn)分布數(shù)據(jù)的值 除以第1一維平滑化分布數(shù)據(jù)的值來生成第1一維增益分布數(shù)據(jù)的機(jī)構(gòu)；對第1視點(diǎn)方向 的圖像，將第1 一維增益分布數(shù)據(jù)以各y坐標(biāo)共通地使用，而分別進(jìn)行該一維方向的增益修 正的機(jī)構(gòu)；以及將進(jìn)行增益修正后的第1視點(diǎn)方向的圖像作為用于立體顯示的視差圖像而 輸出的機(jī)構(gòu)，一維的平滑化濾波器是在比第1視點(diǎn)方向的圖像與第2視點(diǎn)方向的圖像之間 能夠產(chǎn)生的最大視差量大的范圍內(nèi)進(jìn)行平滑化的濾波器。
[0013] 本發(fā)明的第7方式的圖像處理裝置的特征在于，具有：圖像數(shù)據(jù)獲取部，其獲取通 過至少一部分共通的光學(xué)系統(tǒng)而獲取的第1視點(diǎn)所對應(yīng)的第1圖像數(shù)據(jù)、和第2視點(diǎn)所對 應(yīng)的第2圖像數(shù)據(jù)；一維投影數(shù)據(jù)生成部，其分別對第1圖像數(shù)據(jù)及第2圖像數(shù)據(jù)，將在與 視差方向正交的方向上排列的多個像素的像素值相加，由此生成第1 一維投影數(shù)據(jù)及第2 一維投影數(shù)據(jù)；一維平滑化數(shù)據(jù)生成部，其分別對第1 一維投影數(shù)據(jù)及第2 -維投影數(shù)據(jù)， 以最大視差量以上的采樣幅度計(jì)算出移動平均，由此生成第1 一維平滑化數(shù)據(jù)及第2 -維 平滑化數(shù)據(jù)；一維基準(zhǔn)數(shù)據(jù)生成部，其基于第1 一維平滑化數(shù)據(jù)和第2 -維平滑化數(shù)據(jù)來生 成一維基準(zhǔn)數(shù)據(jù)；以及明暗度修正部，其使用一維基準(zhǔn)數(shù)據(jù)相對于第1 一維平滑化數(shù)據(jù)之 比對第1圖像數(shù)據(jù)進(jìn)行明暗度修正。
[0014] 本發(fā)明的第8方式的攝像裝置是具有攝像元件和上述的圖像處理裝置的攝像裝 置，第1圖像數(shù)據(jù)及第2圖像數(shù)據(jù)基于攝像元件的輸出而生成。
[0015] 本發(fā)明的第9方式的圖像處理程序的特征在于，使計(jì)算機(jī)執(zhí)行如下步驟：圖像數(shù) 據(jù)獲取步驟，獲取通過至少一部分共通的光學(xué)系統(tǒng)而獲取的第1視點(diǎn)所對應(yīng)的第1圖像數(shù) 據(jù)、和第2視點(diǎn)所對應(yīng)的第2圖像數(shù)據(jù)；一維投影數(shù)據(jù)生成步驟，分別對第1圖像數(shù)據(jù)及第 2圖像數(shù)據(jù)，將在與視差方向正交的方向上排列的多個像素的像素值相加，由此生成第1 一 維投影數(shù)據(jù)及第2 -維投影數(shù)據(jù)；一維平滑化數(shù)據(jù)生成步驟，分別對第1 一維投影數(shù)據(jù)及第 2 -維投影數(shù)據(jù)，以最大視差量以上的采樣幅度計(jì)算出移動平均，由此生成第1 一維平滑化 數(shù)據(jù)及第2 -維平滑化數(shù)據(jù)；一維基準(zhǔn)數(shù)據(jù)生成步驟，基于第1 一維平滑化數(shù)據(jù)和第2 -維 平滑化數(shù)據(jù)來生成一維基準(zhǔn)數(shù)據(jù)；明暗度修正步驟，使用一維基準(zhǔn)數(shù)據(jù)相對于第1 一維平 滑化數(shù)據(jù)之比對第1圖像數(shù)據(jù)進(jìn)行明暗度修正。
[0016] 此外，上述的發(fā)明的概要沒有列舉本發(fā)明的全部必要特征。另外，這些特征組的子 組合也能成為發(fā)明。
【附圖說明】
[0017] 圖1是說明本發(fā)明的實(shí)施方式的數(shù)碼相機(jī)的結(jié)構(gòu)的圖。
[0018] 圖2是說明攝像元件的截面結(jié)構(gòu)的圖。
[0019] 圖3是說明無視差像素中的散焦的概念的圖。
[0020] 圖4是說明視差像素中的散焦的概念的圖。
[0021] 圖5是表示無視差像素和視差像素的光強(qiáng)度分布的圖。
[0022] 圖6是說明視差像素的種類為兩種的情況下的開口部104的開口形狀的圖。
[0023] 圖7是用于說明模糊的非對稱性的圖。
[0024] 圖8是表示視差圖像及無視差圖像與景深之間的關(guān)系的圖。
[0025] 圖9是說明模糊的非對稱性的圖。
[0026] 圖10是表示存在于非對焦區(qū)域的物點(diǎn)的點(diǎn)像分布的圖。
[0027] 圖11是表示作為一例的實(shí)際空間的排列和k空間的圖。
[0028] 圖12是說明多重析像度轉(zhuǎn)換的圖。
[0029] 圖13是說明本發(fā)明的實(shí)施方式的數(shù)碼相機(jī)的結(jié)構(gòu)的圖。
[0030] 圖14是說明明暗度修正的一例的圖。
[0031 ] 圖15是說明函數(shù)擬合的圖。
【具體實(shí)施方式】
[0032] 以下，通過發(fā)明的實(shí)施方式說明本發(fā)明，但以下的實(shí)施方式不限定權(quán)利要求書所 涉及的發(fā)明。另外，實(shí)施方式中說明的特征組合不必全部是發(fā)明的解決方案所必須的。
[0033] [第1實(shí)施方式]
[0034] 作為攝像裝置的一個方式的本實(shí)施方式的數(shù)碼相機(jī)構(gòu)成為能夠針對一個場景通 過一次拍攝而生成多個視點(diǎn)數(shù)的圖像。將視點(diǎn)彼此不同的各個圖像稱為視差圖像。在本實(shí) 施方式中，尤其對生成基于與右眼和左眼對應(yīng)的兩個視點(diǎn)的右視差圖像和左視差圖像的情 況進(jìn)行說明。具體情況將在后敘述，本實(shí)施方式的數(shù)碼相機(jī)也能夠與視差圖像一起，生成基 于作為基準(zhǔn)方向的視點(diǎn)的中央視點(diǎn)的、沒有視差的無視差圖像。
[0035] 圖1是說明本發(fā)明的實(shí)施方式的數(shù)碼相機(jī)10的結(jié)構(gòu)的圖。數(shù)碼相機(jī)10具有作 為攝影光學(xué)系統(tǒng)的攝影透鏡20,將沿著光軸21入射的被攝物體光束向攝像元件100引導(dǎo)。 攝影透鏡20可以是能夠相對于數(shù)碼相機(jī)10裝拆的可更換式透鏡。數(shù)碼相機(jī)10具有攝像 元件100、控制部201、A/D轉(zhuǎn)換電路202、存儲器203、驅(qū)動部204、圖像處理部205、存儲卡 IF207、操作部208、顯示部209及LCD驅(qū)動電路210。
[0036] 此外，如圖所示，將與朝向攝像元件100的光軸21平行的方向定為+Z軸方向，將 在與Z軸正交的平面中朝向紙面內(nèi)的方向定為+X軸方向，將朝向紙面上方的方向定為+Y 軸方向。與攝影取景的關(guān)系為，X軸為水平方向，Y軸為垂直方向。在以后的若干圖中，將圖 1的坐標(biāo)軸作為基準(zhǔn)顯示坐標(biāo)軸，以便明確各圖的朝向。
[0037] 攝影透鏡20由多個光學(xué)透鏡組構(gòu)成，使來自場景的被攝物體光束在其焦點(diǎn)面附 近成像。此外，在圖1中，為了便于說明，以配置在光瞳附近的假想的1枚透鏡為代表來表 示攝影透鏡20。
[0038] 攝像元件100配置在攝影透鏡20的焦點(diǎn)面附近。攝像元件100是以二維方式配 置有多個光電轉(zhuǎn)換元件的例如(XD、CM0S傳感器等圖像傳感器。攝像元件100由驅(qū)動部204 定時控制，將在受光面上成像的被攝物體像轉(zhuǎn)換成圖像信號并向A/D轉(zhuǎn)換電路202輸出。向 A/D轉(zhuǎn)換電路202輸出的圖像信號包含左視點(diǎn)及右視點(diǎn)的圖像信號。
[0039] A/D轉(zhuǎn)換電路202將攝像元件100輸出的圖像信號轉(zhuǎn)換成數(shù)字圖像信號并向存儲 器203輸出。圖像處理部205將存儲器203作為工作空間而實(shí)施各種圖像處理，從而生成 圖像數(shù)據(jù)。尤其是，圖像處理部205具有圖像數(shù)據(jù)生成部230、平滑化數(shù)據(jù)生成部231、目標(biāo) 圖像數(shù)據(jù)生成部232及增益修正部233。
[0040] 圖像數(shù)據(jù)生成部230使用左視點(diǎn)及右視點(diǎn)的數(shù)字圖像信號，生成與左視點(diǎn)對應(yīng)的 左視差圖像數(shù)據(jù)和與右視點(diǎn)對應(yīng)的右視差圖像數(shù)據(jù)。關(guān)于左視差圖像數(shù)據(jù)及右視差圖像數(shù) 據(jù)的生成的詳細(xì)情況將在后敘述。
[0041] 平滑化數(shù)據(jù)生成部231針對左視差圖像數(shù)據(jù)及右視差圖像數(shù)據(jù)，分別將由左視差 圖像數(shù)據(jù)及右視差圖像數(shù)據(jù)表示的像以相對于左右方向、即視差方向平滑化的方式進(jìn)行過 濾。由此，生成將左視差圖像數(shù)據(jù)平滑化后的左平滑化數(shù)據(jù)、及將右視差圖像數(shù)據(jù)平滑化后 的右平滑化數(shù)據(jù)。關(guān)于左平滑化數(shù)據(jù)及右平滑化數(shù)據(jù)的生成的詳細(xì)情況將在后敘述。
[0042] 目標(biāo)圖像數(shù)據(jù)生成部232使用左平滑化數(shù)據(jù)和右平滑化數(shù)據(jù)所對應(yīng)的各個像素 值的幾何平均來生成目標(biāo)圖像數(shù)據(jù)。目標(biāo)圖像數(shù)據(jù)的生成的詳細(xì)情況將在后敘述。
[0043] 增益修正部233使用目標(biāo)圖像數(shù)據(jù)相對于左平滑化數(shù)據(jù)之比來修正左視差圖像 數(shù)據(jù)。并使用目標(biāo)圖像數(shù)據(jù)相對于右平滑化數(shù)據(jù)之比來修正右視差圖像數(shù)據(jù)。
[0044] 圖像處理部205除此以外還承擔(dān)根據(jù)所選擇的圖像格式來調(diào)整圖像數(shù)據(jù)等的圖 像處理的普通功能。所生成的圖像數(shù)據(jù)通過IXD驅(qū)動電路210而轉(zhuǎn)換成顯示信號，并顯示 在顯示部209上。另外，記錄在安裝于存儲卡IF207的存儲卡220中。
[0045] 一連串的攝影過程通過操作部208受理使用者的操作并向控制部201輸出操作信 號而開始。伴隨攝影過程的AF、AE等各種動作由控制部201控制而執(zhí)行。
[0046] 接下來，說明攝像元件100的結(jié)構(gòu)的一例。圖2是表示攝像元件100的截面的概 略圖。
[0047] 攝像元件100從被攝物體側(cè)按順序排列有微透鏡101、彩色濾光片102、開口掩膜 103、布線層105及光電轉(zhuǎn)換元件108而構(gòu)成。光電轉(zhuǎn)換元件108由將入射的光轉(zhuǎn)換成電信 號的光電二極管構(gòu)成。光電轉(zhuǎn)換元件108在基板109的表面上以二維方式排列有多個。
[0048] 由光電轉(zhuǎn)換元件108轉(zhuǎn)換得到的圖像信號、控制光電轉(zhuǎn)換元件108的控制信號等 經(jīng)由設(shè)于布線層105的布線106而被收發(fā)。另外，具有與各光電轉(zhuǎn)換元件108 -一對應(yīng)地 設(shè)置且以二維方式重復(fù)排列的開口部104的開口掩膜103,與布線層105相接地設(shè)置。如后 所述開口部104按對應(yīng)的光電轉(zhuǎn)換元件108而位移，但相對位置是嚴(yán)格確定的。詳細(xì)情況 將在后敘述，通過具有該開口部104的開口掩膜103的作用，在光電轉(zhuǎn)換元件108所接受的 被攝物體光束中產(chǎn)生視差。
[0049] 另一方面，在不產(chǎn)生視差的光電轉(zhuǎn)換元件108上，不存在開口掩膜103。換言之， 也可以說是設(shè)有具備不限制相對于對應(yīng)的光電轉(zhuǎn)換元件108入射的被攝物體光束、即、使 入射光束整體通過的開口部104的開口掩膜103。雖然不會產(chǎn)生視差，但實(shí)質(zhì)上由布線106 形成的開口 107規(guī)定入射的被攝物體光束，因此，也能夠?qū)⒉季€106看作是不會產(chǎn)生視差的 使入射光束整體的開口掩膜。開口掩膜103可以與各光電轉(zhuǎn)換元件108對應(yīng)地各自獨(dú)立地 排列，也可以與彩色濾光片102的制造工藝同樣地相對于多個光電轉(zhuǎn)換元件108-并形成。
[0050] 彩色濾光片102設(shè)在開口掩膜103上。彩色濾光片102是對各光電轉(zhuǎn)換元件108 以使特定的波段透過的方式著色得到的、與光電轉(zhuǎn)換元件108分別一一對應(yīng)地設(shè)置的濾光 片。對于輸出彩色圖像，只要排列彼此不同的至少兩種彩色濾光片即可，但對于獲取更高畫 質(zhì)的彩色圖像，排列三種以上的彩色濾光片為好。例如可以以格子狀排列使紅色波段透過 的紅色濾光片（R濾光片），使綠色波段透過的綠色濾光片（G濾光片）、以及使藍(lán)色波段透 過的藍(lán)色濾光片（B濾光片）。彩色濾光片不僅可以是原色RGB的組合，也可以是YCM的互 補(bǔ)色濾光片的組合。
[0051] 微透鏡101設(shè)在彩色濾光片102上。微透鏡101是用于將入射的被攝物體光束更 多地向光電轉(zhuǎn)換元件108引導(dǎo)的聚光透鏡。微透鏡101與各個光電轉(zhuǎn)換元件108--對應(yīng) 地設(shè)置。關(guān)于微透鏡101，優(yōu)選考慮攝影透鏡20的光瞳中心與光電轉(zhuǎn)換元件108的相對位 置關(guān)系，以使更多的被攝物體光束被引導(dǎo)到光電轉(zhuǎn)換元件108的方式使其光軸位移。而且， 也可以與開口掩膜103的開口部104的位置一起調(diào)整其配置位置，以使得后述的特定的被 攝物體光束更多地入射。
[0052] 將這樣與各個光電轉(zhuǎn)換元件108--對應(yīng)地設(shè)置的開口掩膜103、彩色濾光片102 及微透鏡101的一個單位稱為像素。尤其將設(shè)有產(chǎn)生視差的開口掩膜103的像素稱為視差 像素，將沒有設(shè)置產(chǎn)生視差的開口掩膜103的像素稱為無視差像素。也存在將左視點(diǎn)的視 差像素記為視差Lt像素、將右視點(diǎn)的視差像素記為視差Rt像素、將無視差像素記為N像 素的情況。另外，也存在將左視點(diǎn)的視差圖像記為視差Lt圖像、將右視點(diǎn)的視差圖像記為 視差Rt圖像、將無視差圖像記為N圖像的情況。例如，在攝像元件100的有效像素區(qū)域?yàn)?24mmX 16mm左右的情況下，像素?cái)?shù)達(dá)到1200萬左右。
[0053] 此外，在聚光效率、光電轉(zhuǎn)換效率高的圖像傳感器的情況下，也可以不設(shè)置微透鏡 101。另外，在背面照射型圖像傳感器的情況下，布線層105設(shè)置在與光電轉(zhuǎn)換元件108相 反的一側(cè)。另外，若開口掩膜103的開口部104具有顏色成分，則也能夠?qū)⒉噬珵V光片102 與開口掩膜103-體地形成。此外，在輸出黑白圖像信號即可的情況下，不設(shè)置彩色濾光片 102〇
[0054] 另外，在本實(shí)施方式中，雖然將開口掩膜103和布線106分體地設(shè)置，但也可以由 布線106承擔(dān)視差像素中的開口掩膜103的功能。即，通過布線106形成規(guī)定的開口形狀， 并根據(jù)該開口形狀限制入射光束而僅將特定的部分光束向光電轉(zhuǎn)換元件108引導(dǎo)。該情況 下，優(yōu)選形成開口形狀的布線106在布線層105中最靠光電轉(zhuǎn)換元件108偵k
[0055] 另外，開口掩膜103也可以由與光電轉(zhuǎn)換元件108重疊地設(shè)置的透過阻止膜形成。 該情況下，開口掩膜103例如將SiN膜和SiOJ莫依次層疊來作為透過阻止膜，并將相當(dāng)于 開口部104的區(qū)域通過蝕刻除去而形成。
[0056] <視差像素和模糊特性>
[0057] 接下來，說明視差Lt像素及視差Rt像素受光的情況下的散焦的概念。首先，簡單 地說明無視差像素中的散焦的概念。圖3是說明無視差像素中的散焦的概念的圖。如圖3 的（a)所示，在作為被攝物體的物點(diǎn)存在于焦點(diǎn)位置的情況下，從透鏡光瞳通過并到達(dá)攝 像元件受光面的被攝物體光束表現(xiàn)出以對應(yīng)的像點(diǎn)的像素為中心陡峭的光強(qiáng)度分布。即， 若接受從透鏡光瞳通過的有效光束整體的無視差像素排列于像點(diǎn)附近，則與像點(diǎn)對應(yīng)的像 素的輸出值最大，排列于周邊的像素的輸出值急劇降低。
[0058] 另一方面，如圖3的（b)所示，若物點(diǎn)在遠(yuǎn)離攝像元件受光面的方向上從焦點(diǎn)位置 偏移，則與物點(diǎn)存在于焦點(diǎn)位置的情況相比，被攝物體光束在攝像元件受光面上表現(xiàn)出平 緩的光強(qiáng)度分布。即，表現(xiàn)出在對應(yīng)的像點(diǎn)的像素中的輸出值降低的基礎(chǔ)上、直至更周邊的 像素仍具有輸出值的分布。
[0059] 如圖3的（C)所示，若物點(diǎn)進(jìn)一步從焦點(diǎn)位置偏移，則被攝物體光束在攝像元件受 光面上表現(xiàn)出更平緩的光強(qiáng)度分布。即，表現(xiàn)出在對應(yīng)的像點(diǎn)的像素中的輸出值進(jìn)一步降 低的基礎(chǔ)上、直至更周邊的像素仍具有輸出值的分布。
[0060] 如圖3的（d)所示，在物點(diǎn)在接近攝像元件受光面的方向上從焦點(diǎn)位置偏移的情 況下，也表現(xiàn)出與物點(diǎn)在遠(yuǎn)離攝像元件受光面的方向上偏移的情況相同的光強(qiáng)度分布。
[0061] 圖4是說明視差像素中的散焦的概念的圖。視差Lt像素及視差Rt像素接受從作 為透鏡光瞳的部分區(qū)域而分別對光軸對象設(shè)定的兩個視差假想光瞳中的某一個到達(dá)的被 攝物體光束。在本說明書中，將通過接受從單一透鏡光瞳中的彼此不同的假想光瞳到達(dá)的 被攝物體光束而對視差圖像進(jìn)行拍攝的方式稱為單眼光瞳分割攝像方式。
[0062] 如圖4的（a)所示，在作為被攝物體的物點(diǎn)存在于焦點(diǎn)位置的情況下，無論從哪一 視差假想光瞳通過的被攝物體光束，均表現(xiàn)出以對應(yīng)的像點(diǎn)的像素為中心陡峭的光強(qiáng)度分 布。若視差Lt像素排列于像點(diǎn)附近，則與像點(diǎn)對應(yīng)的像素的輸出值最大，排列于周邊的像 素的輸出值急劇降低。另外，即使視差Rt像素排列于像點(diǎn)附近，與像點(diǎn)對應(yīng)的像素的輸出 值也最大，排列于周邊的像素的輸出值也急劇降低。即，無論被攝物體光束從哪一視差假想 光瞳通過，均表現(xiàn)出與像點(diǎn)對應(yīng)的像素的輸出值最大、且排列于周邊的像素的輸出值急劇 降低的分布，各個分布彼此一致。
[0063] 另一方面，如圖4的（b)所示，若物點(diǎn)在遠(yuǎn)離攝像元件受光面的方向上從焦點(diǎn)位置 偏移，則與物點(diǎn)存在于焦點(diǎn)位置的情況相比，視差Lt像素所表現(xiàn)出的光強(qiáng)度分布的峰值顯 現(xiàn)于從與像點(diǎn)對應(yīng)的像素向一個方向離開的位置，且其輸出值降低。另外，具有輸出值的像 素的幅度也擴(kuò)大。即，由于相對于攝像元件受光面的水平方向具有點(diǎn)像的擴(kuò)大，所以模糊量 增加。視差Rt像素所表現(xiàn)出的光強(qiáng)度分布的峰值顯現(xiàn)于從與像點(diǎn)對應(yīng)的像素向視差Lt像 素中的與一個方向相反的方向且等距離地離開的位置，同樣地其輸出值降低。另外，同樣地 具有輸出值的像素的幅度也擴(kuò)大。即，與物點(diǎn)存在于焦點(diǎn)位置的情況相比變得平緩的同一 光強(qiáng)度分布彼此以等距離分離而顯現(xiàn)。視差Lt像素及視差Rt像素所表現(xiàn)出的光強(qiáng)度分布 的峰值間的偏移量相當(dāng)于視差量。
[0064] 另外，如圖4的（c)所示，若物點(diǎn)進(jìn)一步從焦點(diǎn)位置偏移，則與圖4的（b)的狀態(tài) 相比，進(jìn)一步變得平緩的同一光強(qiáng)度分布更分離地顯現(xiàn)。由于點(diǎn)像的擴(kuò)大變得更大，所以模 糊量增加。另外，由于視差Lt像素及視差Rt像素所表現(xiàn)出的光強(qiáng)度分布的峰值間的偏移 也變大，所以視差量也增加。也就是說，可以說物點(diǎn)從焦點(diǎn)位置偏移得越大，模糊量和視差 量越增加。
[0065] 如圖4的（d)所示，在物點(diǎn)在接近攝像元件受光面的方向上從焦點(diǎn)位置偏移的情 況下，與圖4的（c)的狀態(tài)相反，視差Rt像素所表現(xiàn)出的光強(qiáng)度分布的峰值顯現(xiàn)于從與像 點(diǎn)對應(yīng)的像素向上述一個方向離開的位置。視差Lt像素所表現(xiàn)出的光強(qiáng)度分布的峰值顯 現(xiàn)于向視差Rt像素中的與一個方向相反的方向離開的位置。即，與物點(diǎn)的偏移方向相應(yīng) 地，確定視差Lt像素及視差Rt像素所表現(xiàn)出的光強(qiáng)度分布的峰值顯現(xiàn)于從與像點(diǎn)對應(yīng)的 像素向哪一方向離開的位置。
[0066] 當(dāng)將圖3中說明的光強(qiáng)度分布的變化和圖4中說明光強(qiáng)度分布的變化分別制成曲 線圖時，如圖5所示。圖5是表示無視差像素和視差像素的光強(qiáng)度分布的圖。圖中，橫軸表 示像素位置，中心位置是與像點(diǎn)對應(yīng)的像素位置?？v軸表示各像素的輸出值，由于該輸出值 實(shí)質(zhì)上與光強(qiáng)度成正比，所以在圖中作為光強(qiáng)度而示出。
[0067] 此外，如上所述，無論物點(diǎn)在接近攝像元件受光面的方向上從焦點(diǎn)位置偏移的情 況還是物點(diǎn)在遠(yuǎn)離攝像元件受光面的方向上偏移的情況，均表現(xiàn)出相同的光強(qiáng)度分布，因 此