] 5) -維增益分布數(shù)據(jù)的生成
[0526] 第1實施例中求出的一維增益分布數(shù)據(jù)gu(x)和gRt(x)考慮到了排除普通圖像 結(jié)構(gòu)，但在輸入的普通被攝物體的視差圖像以極高靈敏度拍攝的情況下，可能依然殘存噪 聲的起伏成分。另外，在由于普通被攝物體像中包含極亮區(qū)域而導致僅在一方的視差圖像 中亮度等級飽和的情況下，有時無法恰當排除圖像結(jié)構(gòu)信息。在這樣的情況下，為了使明暗 度修正恰當?shù)刈饔?，也進行從一維增益分布數(shù)據(jù)強制排除圖像結(jié)構(gòu)信息的處理。具體地說， 利用明暗度具有能夠以始終平緩的函數(shù)擬合這樣的特性。圖15是說明函數(shù)擬合的圖。圖 15的上側(cè)示出Fll的情況，下側(cè)示出FL 4的情況。在各圖中，橫軸表示水平方向的像素位 置，縱軸表示信號電平。另外，在各圖中，示出僅取出均勻圖像的一行得到的明暗度的舉動 狀況、和將其以4次函數(shù)擬合得到的數(shù)據(jù)的狀況。若對第1實施例中得到的一維增益分布 數(shù)據(jù)進行函數(shù)擬合，則得到圖像結(jié)構(gòu)信息被完全強制排除的增益分布數(shù)據(jù)?？梢哉J為由于 原來的明暗度能夠以4次函數(shù)表示，所以增益分布也能夠以4次函數(shù)近似。
[0527] gLt (x) = aL+bLx+cLx2+dLx 3+eLx4
[0528] gRt(x) = aR+bRx+cRx2+dRx 3+eRx4
[0529] 在此，常數(shù)a、b、c、d、e分別為擬合系數(shù)。通過最小自乘法求出系數(shù)。當進行擬合 時，能夠可靠地將圖像結(jié)構(gòu)信息排除并且也排除噪聲的起伏。
[0530] 這樣，使用通過擬合函數(shù)近似得到的一維增益分布數(shù)據(jù)，在步驟6中進行明暗度 修正。
[0531] <第3實施例>
[0532] 在第1實施例和第2實施例中，將輸入圖像的析像度以原始狀態(tài)處理，但如第2實 施例所述，明暗度信號是在圖像整體中平緩地變化的成分。因此，即使將輸入圖像落于例如 360X240像素這樣的縮略（thumbnail)圖像的析像度也能夠充分地得到其信息。若將輸入 圖像的坐標軸設(shè)為（x，y)，將縮略圖像的坐標軸以（x'，y'）表示，則在縮略圖像的縮小率為 l/α倍（a > 1)且將采樣的開始位置以（X(]，y。）表示時，以下關(guān)系成立。
[0533] X = α X' +X。，
[0534] y = a y' +y0〇
[0535] 因而，在縮略圖像的像素位置（X'，y'）上，只要進行與第1實施例或第2實施例相 同的運算，并在此基礎(chǔ)上，僅在最后的步驟6中的明暗度修正的執(zhí)行時，使用關(guān)于上述X的 變量轉(zhuǎn)換進行運算即可。
[0536] 能夠通過上述那樣的縮略圖像進行的第1實施例和第2實施例的方法，可以說是 非常適合硬件處理的簡單的處理。其原因在于，實際的視差圖像在直至由流水線生成之間 的等待時間期間，以縮略圖像完成至步驟5的處理，能夠在視差圖像以流水線流來的同時 執(zhí)行步驟6的處理。另外，步驟1的一維投影的考慮方法能夠產(chǎn)生更進一步適于硬件的處 理。在硬件中實際析像度中的垂直方向的濾波器抽頭數(shù)長的大規(guī)模平滑化需要線存儲器， 因此通常大多困難，與之相對，本實施例中，縮略尺寸下的處理容易進行，且平滑化限于水 平方向。
[0537] <第4實施例>
[0538] 列舉拜耳型RGB稀疏的視差像素陣列為例具體進行說明。在此，說明使用將圖11 的上欄的排列圖作為基本格子周期地配置而成的攝像元件的例子。圖11的排列的特征如 既已敘述那樣。處理的順序大體如下。
[0539] 1)顏色?視差多重化馬賽克圖像數(shù)據(jù)輸入
[0540] 2)顏色?視差馬賽克圖像的全局·增益平衡修正
[0541] 3)臨時的視差圖像的生成
[0542] 4)基于左右的局部照度分布修正的、無視差顏色馬賽克圖像的生成
[0543] (局部?增益平衡修正）
[0544] 5)無視差基準圖像的生成
[0545] 6)實際的視差圖像的生成
[0546] 7)視差圖像的明暗度修正
[0547] 8)向輸出顏色空間的變換
[0548] 以下，按順序進行說明。
[0549] 1)顏色?視差多重化馬賽克圖像數(shù)據(jù)輸入
[0550] 將圖11的顏色和視差多重化后的單板式馬賽克圖像以M(x，y)表示?；译A是通過 A/D轉(zhuǎn)換而輸出的線性灰階。
[0551] 2)顏色?視差黑白圖像的全局·增益平衡修正
[0552] 直接使用拍攝得到的被攝物體像，計算出無視差像素的像素值的圖像整體的平均 值I左視差像素的像素值的圖像整體的平均值￡?右視差像素的像素值的圖像整體的平 均值系.與第1實施方式不同，存在三種信號電平。首先，作為左右間的基準點，以使信號電 〇 平調(diào)合為平均值的方式進行增益修正。此時基準點的獲取方法可以考慮算術(shù)平均和幾何平 均這兩種。然后，在左右平均后的信號電平與無視差像素的信號電平之間取幾何平均，以使 信號電平調(diào)合為該平均值的方式進行增益修正。對RGB各個顏色成分進行該過程。將各自 所對應的平均值通過下式而改寫。
[0553]
[0554]
[0555]
[0556] 為便于說明，在馬賽克圖像M(x，y)中，
[0557] 將R成分的無視差像素的信號面表示為RN__al。(X，y)，
[0558] 將R成分的左視差像素的信號面表示為Ru__al。(X，y)，
[0559] 將R成分的右視差像素的信號面表示為RRt__al。(X，y)，
[0560] 將G成分的左視差像素的信號面表示為GN__al。(X，y)，
[0561] 將G成分的無視差像素的信號面表示為Gu __(x，y)，
[0562] 將G成分的右視差像素的信號面表示為GRt__al。(X，y)，
[0563] 將B成分的無視差像素的信號面表示為BN__al。(X，y)，
[0564] 將B成分的左視差像素的信號面表示為(X，y)，
[0565] 將B成分的右視差像素的信號面表示為BRt__al。(X，y)。
[0566] a)左右間取算術(shù)平均的情況下
[0567] 平均值
[0568]
[0569]
[0570]
[0571] 對無視差像素的增益值
[0572]
[0573]
[0574]
[0575] 對左視差像素的增益值
[0576]
[0577]
[0578]
[0579] 對右視差像素的增益值
[0580]
[0581]
[0582]
[0583] 對無視差像素的全局?增益修正
[0584]
[0585]
[0586]
[0587] 對左視差像素的全局?增益修正[0588]
[0589]
[0590]
[0591] 對右視差像素的全局?增益修正
[0592] CN 105122793 A m ~P 47/65 頁
[0595] b)左右間取幾何平均的情況下
[0596] 平均值
[0597]
[0598]
[0599]
[0600] 對無視差像素的增益值
[0601]
[0602]
[0603]
[0604] 對左視差像素的增益值
[0605]
[0606] UiN 丄 丄乙乙 ifO Λ J I· ^o/ υυ ^
[0607]
[0608] 對右視差像素的增益值
[0609]
[0610]
[0611]
[0612] 對無視差像素的全局?增益修正
[0613]
[0614]
[0615]
[0616] 對左視差像素的全局?增益修正[0617]
[0618]
[0619]
[0620] 對右視差像素的全局?增益修正[0621]
[0622]
[0623]
[0624] 在全部無視差像素具有全開口的掩膜時采用算術(shù)平均型的方式。在全部無視差像 素具有半開口的掩膜時采用幾何平均型的方式。因此，在本實施例中采用算術(shù)平均型。這 樣，將無視差像素以一個增益系數(shù)修正、將左視差像素以一個增益系數(shù)修正、將右視差像素 以一個增益系數(shù)修正得到的馬賽克圖像作為M'（x，y)而輸出。
[0625] 3)臨時的視差圖像的生成
[0626] 生成空間頻率析像度低的分辨率的臨時的左視差圖像和臨時的右視差圖像。進行 僅聚集了左視差像素的G色面內(nèi)的單純平均插補。使用接近存在的像素值，與距離之比相 應地進行線性插補。同樣地，進行僅聚集了右視差像素的G色面內(nèi)的單純平均插補。同樣 地，進行僅聚集了無視差像素的G色面內(nèi)的單純平均插補。對R、G、B分別進行相同的處理。 即，根據(jù) Rujimsalc (X，y)生成 Ru (X，y)，根據(jù) RRtjimsalc (X，y)生成 1 (X，y)，根據(jù) RNjirosal(： (X，y) 生成 Rn (X，y)，根據(jù) Gujirosaitl (X，y)生成 Gu (X，y)，根據(jù) GRt__ai。(X，y)生成 GRt (X，y)，根據(jù) Gn_ mosaic (x, y) Gn (x, y), flig BLt_mosaic (x, y) BLt (x, y), BRtJllosaic (x, y) GRt (x, y), 根據(jù) BNjirosai。(x, y)生成 Gn (x, y)。
[0627] 臨時的R成分的無視差圖像：RN(x，y)
[0628] 臨時的G成分的無視差圖像：GN(X，y)
[0629] 臨時的B成分的無視差圖像：Bn(x，y)
[0630] 臨時的R成分的左視差圖像：Ru (X，y)
[0631] 臨時的G成分的左視差圖像：Gu(x，y)
[0632] 臨時的B成分的左視差圖像：BU (X，y)
[0633] 臨時的R成分的右視差圖像：RRt (X，y)
[0634] 臨時的G成分的右視差圖像：GRt (X，y)
[0635] 臨時的B成分的右視差圖像：BRt (X，y)
[0636] 此外，也可以在生成臨時的無視差圖像Rn (X，y)、Gn (X，y)、Bn (X，y)時，導入信號面 內(nèi)的方向判定而高精度地進行。
[0637] 4)基于左右的照度分布修正的、無視差顏色馬賽克圖像的生成
[0638] (局部?增益平衡修正）
[0639] 接下來在與步驟1中進行的全局?增益修正相同的思考方式下，通過進行像素單 位的局部?增益修正，首先使畫面內(nèi)的左視差像素與畫面內(nèi)的右視差像素的照度調(diào)合。通 過該操作消除左右間的視差。在此基礎(chǔ)上在取左右平均的信號面與無視差像素的攝像信號 面之間進一步使照度調(diào)合。這樣，生成全部像素中取增益整合后的新拜耳面。其等同于與 平均值替換，能夠生成視差消除了的拜耳面。將其記作M n (X，y)。
[0640] 該情況下，在作為各像素的基準點而整齊的目標值的設(shè)定方法中，對于消除左右 間的視差的方法，也存在選擇算術(shù)平均的方法和選擇幾何平均的方法這兩種方法。在全部 無視差像素具有全開口的掩膜面積時，為了使左右間消除了視差的被攝物體像的模糊幅度 與全開口的模糊幅度一致而需要選擇算術(shù)平均型。另一方面，在全部無視差像素具有半開 口的掩膜面積時，為了使左右間消除了視差的被攝物體像的模糊幅度與半開口的模糊幅度 一致而需要選擇幾何平均型。
[0641] 而且，關(guān)于在左右間消除了視差的信號面與無視差像素的攝像信號面之間取平均 的操作，由于兩者既已被調(diào)合為具有相同模糊幅度的被攝物體像，所以需要保存其模糊幅 度。因此，此時必須共通地取幾何平均。以下列舉其具體式。
[0642] a)左右間取算數(shù)平均的情況下
[0643] 各像素的平均值
[0644]
[0645] CN 105122793 A 1冗 P月卞> 51/65 頁
[0646]
[0647] 對無視差像素的各像素的增益值[0648]
[0649]
[0650]
[0651] 對左視差像素的各像素的增益值[0652]
[0653]
[0654]
[0655] 對右視差像素的各像素的增益值[0656]
[0657] υ?Ν 丄 丄乙乙 λ J o^/ υυ
[0658]
[0659] 對無視差像素的各像素的局部?增益修正
[0660]
[0661]
[0662]
[0663] 對左視差像素的各像素的局部?增益修正
[0664]
[0665]
[0666]
[0667] 對右視差像素的各像素的局部?增益修正
[0668]
[0669]
[0670]
[0671] b)左右間取幾何平均的情況下
[0672] 各像素的平均值
[0673]
[0674]
[0675]
[0676] 對無視差像素的各像素的增益值[0677]
[0678]
[0679]
[0680] 對左視差像素的各像素的增益值[0681]
[0682]
[0683]
[0684] 對右視差像素的各像素的增益值[0685]
[0686]
[0687]
[0688] 對無視差像素的各像素的局部?增益修正
[0692] 對左視差像素的各像素的局部?增益修正[0693]
[0689]
[0690]
[0691]
[0694]
[0695]
[0696] 對右視差像素的各像素的局部?增益修正
[0697]
[0698]
[0699]
[0700] 像這樣將對左視點的圖像和右視點的圖像的平均值進一步與無視差的基準視點 的圖像取平均值而得到的像素值作為新的無視差像素值，將拜耳面的數(shù)據(jù)改寫，輸出無視 差的拜耳面的圖像M n (x，y)。
[0701] 5)無視差基準圖像的生成
[0702] 使用公知的拜耳插補技術(shù)（逆馬賽克處理）。例如，請參考本申請的同一發(fā)明人的 USP8, 259, 213。這樣生成的無視差基準圖像通過步驟4的局部?增益修正而進行了明暗度 修正，因此生成將視差圖像的左右區(qū)域產(chǎn)生的明暗度的影響排除了的2D圖像。該圖像能夠 作為通常的高析像的2D圖像直接打印輸出而使用。
[0703] 6)實際的視差圖像的生成
[0704] 使用步驟3中生成的析像力低的臨時的左視差的彩色圖像Ru(x，y)、G u(x，y)、 Bu(x，y)和步驟5中作為中間處理而生成的析像力高的無視差的彩色圖像RN(x，y)、 GN(x, y)、BN(x, y)，生成實際輸出的析像力高的左視差的彩色圖像R' u(x, y)、G' u(x, y)、 B\t(x，y)。同樣地，使用步驟3中生成的析像力低的臨時的右視差的彩色圖像RKt(x，y)、 GRt(X，y)、BRt(x，y)和步驟5中作為中間處理而生成的析像力高的無視差的彩色圖像 RN(x, y)、GN(x, y)、BN(x, y)，生成實際輸出的析像力高的右視差的彩色圖像R' Rt(x, y)、 G' Rt(x, y)、B' Rt(x, y) 〇
[0705] 作為視差調(diào)制的方式，考慮取算術(shù)平均為基準點的方法和取幾何平均為基準點的 方法這兩種方法。無論哪一方法均能夠得到視差調(diào)制效果，但在攝像元件的無視差像素的 開口掩膜為全開口時選擇以算術(shù)平均為基準點的方式，在無視差像素的開口掩膜與有視差 像素為相同的半開口時采用以幾何平均為基準點的方式。因此，在本實施例中采用以算術(shù) 平均為基準點的方式。
[0706] a)以算術(shù)平均為基準點的視差調(diào)制
[0707] 左視差調(diào)制
[0708]
[0711] 右視差調(diào)制
[0712]
[0714] CN 105122793 A 1冗 P月卞> 56/65 頁
[0715] b)以幾何平均為基準點的視差調(diào)制
[0716] 左視差調(diào)制
[0717]
[0720] 右視差調(diào)制
[0721]
[0724] 將上式改寫，則
[0725] 左視差調(diào)制
[0726]
[0727]
[0728]
[0729] 右視差調(diào)制
[0730]
[0731]
[0732]
[0733] 7)視差圖像的明暗度修正
[0734] 由于視差調(diào)制前的低析像的視差圖像沒有進行明暗度修正，所以即使通過局 部?增益平衡修正從高析像的無視差圖像去除了明暗度的影響，在通過視差調(diào)制而生成的 高析像的視差圖像（即步驟6在求出的視差圖像）中，也會再次產(chǎn)生明暗度。因此，對RGB 各面進行第1實施例、第2實施例或第3實施例的明暗度修正。
[0735] 8)向輸出顏色空間的變換
[0736] 對這樣得到的高析像的無視差的中間彩色圖像RN(x, y)、GN(x, y)、BN(x, y)和高析 像的左視差的彩色圖像Ru(x，y)、Gu(x, y)、Bu(x, y)、高析像的右視差的彩色圖像RKt(x, y)、 GRt (X，y)、BRt (X，y)，分別從傳感器的分光特性的相機RGB向標準的sRGB顏色空間進行顏色 矩陣變換和伽馬變換，并作為輸出顏色空間的圖像而輸出。
[0737] 對上述說明的過程僅抽出關(guān)于增益修正與視差量之間的關(guān)系的部分并再次進行 概括。為了便于理解，僅討論作為增益修正的基準點而取幾何平均的情況。
[0738] 在局部?增益平衡修正中，以生成2D圖像為目的，同時進行Lt圖像與Rt圖像之 間的增益平衡整合和視差消除，并導入了 2D圖像明暗度修正。作為其核心的式子是對左視 差圖像和右視差圖像分別進行以下的增益修正的式子。
[0739]
[0740]
[0741] 另一方面從2D圖像通過視差調(diào)制生成3D圖像的過程中，作為其核心的式子是對 無視差圖像進行以下的增益修正的式子。
[0742]
[0743]
[0744] 即，局部?增益平衡修正的式子與視差調(diào)制的式子為倒數(shù)關(guān)系，并伴隨著視差消 除。
[0745] 而且，在對3D圖像進行明暗度修正的過程中，作為其核心的式子是對視差圖像進 行以下的增益修正的式子。
[0746]
[0747]
[0748] 上述的式子起到通過取局部平均而不喪失視差信息、且不喪失明暗度信息地進行 抽取的作用。
[0749] 上述的三個過程，能夠說是利用根據(jù)單眼立體攝像中的模糊與視差一一對應的關(guān) 系導出的固有性質(zhì)的運算。
[0750] 在以上的關(guān)于第4實施例的說明中，對在左右間消除了視差的信號面與無視差像 素的攝像信號面之間取平均的操作，在將模糊幅度設(shè)為共通的目的下使用了幾何平均。在 計算無視差像素的像素值與左右的視差像素的平均值之間的幾何平均的情況下，對該像素 值的加權(quán)和對該平均值的加權(quán)的分配是均等的。另一方面，視差像素的數(shù)量少于無視差 像素的數(shù)量。而且，視差圖像的析像力低于無視差圖像的析像力。如上所述，例如作為無 視差圖像的R N、Bn的奈奎斯特界限性能是將kx = [± π A2a)，± π A2a) ]、ky = [± π / (2a)，± π A2a)]結(jié)合而成的區(qū)域，與之相對，作為視差圖像的Gu、GRt的奈奎斯特界限性能 是將kx = [± JT /(4a), ± JT /(4a)]、ky = [± JT /(4a), ± JT /(4a)]結(jié)合而成的區(qū)域。因此， 若使針對無視差像素的像素值和針對左右的視差像素的平均值的加權(quán)的分配均等，則得到 的圖像的析像力由于視差圖像的析像力的影響而整體降低。由此，需要設(shè)法盡可能接近無 視差圖像的析像力。因此，考慮攝像元件上的像素排列中的無視差像素與視差像素的密度 比并取幾何平均為好。具體地說，第4實施例中使用的無視差像素（N)、左視差像素（Lt) 與右視差像素（Rt)之比為N :Lt :Rt = 6 :1 :1，即，N :(Lt+Rt) = 3 :1，因此，對無視差圖像 賦予3/4次冪的加權(quán)，對視差圖像賦予1/4次冪的加權(quán)，成為重視密度高的無視差圖像的分 配。
[0751] 如上所述，在消除左右間的視差的方法中，存在選擇算術(shù)平均的方法和選擇幾何 平均的方法這兩種。在全部無視差像素具有全開口的掩膜面積的情況下，為了使在左右間 消除了視差的被攝物體像的模糊幅度與全開口的模糊幅度一致而選擇算術(shù)平均型為好。以 下的a)示出選擇了算術(shù)平均型的情況。
[0752] a)左右間取算術(shù)平均的情況下
[0753] 各像素的平均值
[0754]
[0755]
[0756]
[0757] 對無視差像素的各像素的增益值[0758]
[0761] 對左視差像素的各像素的增益值[0762]
[0759]
[0760]
[0763]
[0764]
[0765] 對右視差像素的各像素的增益值[0766]
[0767]
[0768]
[0769] 另一方面，在全部無視差像素具有半開口的掩膜面積時，為了使左右間消除了視 差的被攝物體像的模糊幅度與半開口的模糊幅度一致而選擇幾何平均型為好。以下的b) 示出選擇了幾何平均型的情況。
[0770] b)左右間取幾何平均的情況下
[0771] 各像素的平均值
[0772]
[0773]
[0774]
[0775] 對無視差像素的各像素的增益值[0776]
[0777