圖像處理裝置、攝像裝置以及圖像處理方法
【專利摘要】本發(fā)明提供圖像處理裝置、攝像裝置以及圖像處理方法。圖像處理裝置(204)包括生成關(guān)于多個視差圖像的差分信息的生成器(204a)，基于所述差分信息來確定增益分布的增益分布確定器(204b)，基于所述增益分布來確定不必要成分強度的強度確定器(204c)，以及基于所述視差圖像和所述不必要成分強度來生成削減了不必要成分的不必要成分削減圖像的削減器(204d)。
【專利說明】
圖像處理裝置、攝像裝置從及圖像處理方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明設(shè)及用于提高拍攝圖像的質(zhì)量的圖像處理方法。
【背景技術(shù)】
[0002] 在通過諸如照相機等的攝像裝置拍攝圖像時，入射到光學(xué)系統(tǒng)的光的部分，可能 被透鏡的表面W及保持透鏡的構(gòu)件反射，并作為不必要的光而到達成像面。運種不必要的 光作為諸如重影和光斑等的不必要成分，出現(xiàn)在拍攝圖像中。當(dāng)在望遠鏡頭中使用衍射光 學(xué)元件W校正縱向巧由向）色差和倍率色差時，來自用于圖像拍攝的視角外部的、諸如太陽 等的高強度的物體的光，可能入射到衍射光學(xué)元件，在整個圖像上生成不必要的光，作為不 必要成分。目前，已知通過使用數(shù)字圖像處理來去除不必要成分的方法。
[0003] 日本特開2008-54206號公報公開了基于指示當(dāng)光學(xué)系統(tǒng)聚焦在被攝體時的圖像 (聚焦圖像)與當(dāng)攝像光學(xué)系統(tǒng)失焦時的圖像(散焦圖像)之間的差分的差分圖像，來檢測任 意重影的方法。然而，日本特開2008-54206號公報中公開的方法，需要多次進行圖像拍攝， 因而不適合用于運動被攝體的靜止圖像攝取W及運動圖像攝取。
[0004] 日本特開2011-205531號公報公開了基于通過單鏡頭立體攝像而拍攝的多個視差 圖像的比較，來檢測重影的方法。日本特開2011-205531號公報中公開的方法，其通過單次 圖像拍攝獲得多個視差圖像，適用于對運動被攝體的靜止圖像攝取W及運動圖像拍攝。
[0005] 然而，在日本特開2011-205531號公報中公開的方法中，重影的光學(xué)路徑從理想的 光瞳分割光學(xué)路徑移位，因此，在盡管輝度分布不同但在主像素和子像素兩者中都出現(xiàn)相 同的重影的情況下，無法有效地削減重影。

【發(fā)明內(nèi)容】

[0006] 本發(fā)明提供不用多次成像，而能夠有效地確定拍攝圖像中包含的不必要成分的強 度，W從拍攝圖像削減不必要成分的圖像處理裝置、攝像裝置W及圖像處理方法。
[0007] 作為本發(fā)明的一個方面的圖像處理裝置包括:生成器，其被構(gòu)造為生成關(guān)于多個 視差圖像的差分信息；增益分布確定器，其被構(gòu)造為基于所述差分信息，確定增益分布;強 度確定器，其被構(gòu)造為基于所述增益分布，確定不必要成分強度；W及削減器，其被構(gòu)造為 基于所述視差圖像和所述不必要成分強度，生成削減了不必要成分的不必要成分削減圖 像。
[000引作為本發(fā)明的另一方面的攝像裝置包括:攝像設(shè)備，其被構(gòu)造為光電轉(zhuǎn)換經(jīng)由光 學(xué)系統(tǒng)形成的光學(xué)像，W輸出多個視差圖像;確定器，其被構(gòu)造為確定關(guān)于所述多個視差圖 像的差分信息;計算器，其被構(gòu)造為基于所述差分信息，計算增益分布;強度確定器，其被構(gòu) 造為基于所述增益分布，確定不必要成分強度；W及削減器，其被構(gòu)造為基于所述視差圖像 和所述不必要成分強度，生成削減了不必要成分的不必要成分削減圖像。
[0009]作為本發(fā)明的另一方面的圖像處理方法包括如下的步驟:確定關(guān)于多個視差圖像 的差分信息;基于所述差分信息，計算增益分布;基于所述增益分布，確定不必要成分強度； W及基于所述視差圖像和所述不必要成分強度，生成削減了不必要成分的不必要成分削減 圖像。
[0010] 作為本發(fā)明的另一方面的圖像處理裝置包括:不必要成分確定器，其被構(gòu)造為生 成關(guān)于多個視差圖像的差分信息，W基于所述差分信息確定不必要成分;增益分布確定器， 其被構(gòu)造為基于所述不必要成分，確定增益分布；W及削減器，其被構(gòu)造為基于所述視差圖 像、所述不必要成分W及所述增益分布，生成削減了不必要成分的不必要成分削減圖像。
[0011] 作為本發(fā)明的另一方面的攝像裝置包括:攝像設(shè)備，其被構(gòu)造為光電轉(zhuǎn)換經(jīng)由光 學(xué)系統(tǒng)形成的光學(xué)像，W輸出多個視差圖像;不必要成分確定器，其被構(gòu)造為生成關(guān)于所述 多個視差圖像的差分信息，W基于所述差分信息確定不必要成分;增益分布確定器，其被構(gòu) 造為基于所述不必要成分，確定增益分布；W及削減器，其被構(gòu)造為基于所述視差圖像、所 述不必要成分W及所述增益分布，生成削減了不必要成分的不必要成分削減圖像。
[0012] 作為本發(fā)明的另一方面的圖像處理方法包括如下的步驟:生成關(guān)于多個視差圖像 的差分信息，W基于所述差分信息確定不必要成分;基于所述不必要成分，確定增益分布； W及基于所述視差圖像、所述不必要成分W及所述增益分布，生成削減了不必要成分的不 必要成分削減圖像。
[0013] 通過W下參照附圖對示例性實施例的描述，本發(fā)明的其他特征和方面將變得清 楚。
【附圖說明】
[0014] 圖1是例示實施例1和實施例2的各個中的圖像處理方法的過程的圖。
[0015] 圖視通過實施例1和實施例2的各個中的圖像處理方法獲得的示例性輸出圖像。
[0016] 圖3是實施例1和實施例2的各個中的攝像系統(tǒng)中的攝像元件的光接收部與光學(xué)系 統(tǒng)的光瞳的關(guān)系圖。
[0017] 圖4是實施例1和實施例2的各個中的攝像系統(tǒng)的示意圖。
[0018] 圖5是各個實施例中的攝像裝置的框圖。
[0019] 圖6A至圖6C是光學(xué)系統(tǒng)各個實施例的構(gòu)造 W及在光學(xué)系統(tǒng)中發(fā)生不必要的光的 說明圖的圖。
[0020] 圖7是不必要的光經(jīng)過實施例1和實施例2的各個中的光學(xué)系統(tǒng)的孔徑光闊的說明 圖。
[0021] 圖8是通過實施例1和實施例2的各個中的圖像處理方法獲得的示例性輸出圖像。
[0022] 圖9是通過實施例1和實施例2的各個中的圖像處理方法獲得的示例性輸出圖像。
[0023] 圖10是例示實施例1中的圖像處理方法的流程圖。
[0024] 圖11是例示實施例2和實施例3的各個中的圖像處理方法的流程圖。
[0025] 圖12是例示實施例2中的削減率分布的圖。
[0026] 圖13是例示實施例3中的攝像元件的圖。
[0027] 圖14是不必要的光經(jīng)過實施例3中的光學(xué)系統(tǒng)的孔徑光闊的說明圖。
[0028] 圖15是例示實施例3中的圖像處理方法的過程的圖。
[0029] 圖16是例示實施例3中的圖像處理方法的過程的圖。
[0030] 圖17是例示實施例3中的削減率分布的圖。
[0031] 圖18是通過實施例3中的圖像處理方法獲得的示例性輸出圖像。
[0032] 圖19是例示實施例4中的攝像系統(tǒng)的圖。
[0033] 圖20是例示實施例4中的攝像系統(tǒng)的圖。
[0034] 圖21是例示實施例4中的攝像系統(tǒng)的圖。
[0035] 圖22是例示傳統(tǒng)的攝像元件的圖。
[0036] 圖23A和圖23B是例示通過圖19中的攝像系統(tǒng)獲得的圖像的圖。
[0037] 圖24是例示通過圖20和圖21的各個中的攝像系統(tǒng)獲得的圖像的圖。
[0038] 圖25是例示實施例4中的攝像裝置的示例的圖。
[0039] 圖26是例示實施例4中的攝像裝置的示例的圖。
【具體實施方式】
[0040] 下面將參照附圖描述本發(fā)明的示例性實施例。
[0041] 在各個實施例中，能夠生成多個視差圖像的攝像裝置包括攝像系統(tǒng)，該攝像系統(tǒng) 將經(jīng)過光學(xué)系統(tǒng)(攝像光學(xué)系統(tǒng)）的光瞳的互不相同的區(qū)域的多個光束，引導(dǎo)到攝像元件的 互不相同的并進行光電轉(zhuǎn)換的光接收部(像素）。
[0042] [實施例。
[0043] 首先，將描述本發(fā)明的實施例1。圖3例示了該實施例中的攝像系統(tǒng)中的攝像元件 的光接收部與光學(xué)系統(tǒng)的光瞳之間的關(guān)系。在圖3中，符號ML表示微透鏡，符號CF表示濾色 器。符號EXP表示光學(xué)系統(tǒng)的出射光瞳(光瞳），符號Pl和P2表示出射光瞳EXP的區(qū)域。符號Gl 和G2表示像素(光接收部），一個像素 Gl和一個像素 G2成為一對(像素 Gl和G2被設(shè)置為共享 單個微透鏡ML)。攝像元件包括多對(像素對)像素 Gl和G2的陣列。成對的像素 G巧日G2經(jīng)由共 享的（即為各個像素對提供的）微透鏡ML，與出射光瞳EXP具有共輛關(guān)系。在各個實施例中， 排列在攝像元件中的像素 Gl和G2還被分別稱為像素組Gl和G2。
[0044] 圖4是該實施例中的攝像系統(tǒng)的示意圖，該攝像系統(tǒng)被假設(shè)為具有如下的構(gòu)造:代 替圖3中例示的微透鏡ML，在出射光瞳E)(P的位置處配設(shè)有薄透鏡。像素 Gl接收經(jīng)過出射光 瞳EXP的區(qū)域Pl的光束。像素 G2接收經(jīng)過出射光瞳EXP的區(qū)域P2的光束。符號OSP表示進行攝 像(成像或圖像拍攝)的物點。物點OSP上不必須具有物體。經(jīng)過物點OSP的光束，依據(jù)光束所 經(jīng)過的光瞳（出射光瞳EXP)中的位置(在本實施例中的區(qū)域Pl或區(qū)域P2)，入射在像素 Gl和 像素 G2中的一者上。經(jīng)光瞳的互不相同的區(qū)域的光束的行進，與入射光W其角度(視差)從 物點OSP的分離相對應(yīng)。換言之，針對與像素 Gl和G2相對應(yīng)的各個微透鏡ML，基于來自像素 Gl的輸出信號的圖像和基于來自像素 G2的輸出信號的圖像，被生成為彼此具有視差的多個 (在該示例中，一對)視差圖像。之后，由互不相同的光接收部(像素)對經(jīng)過光瞳的互不相同 的區(qū)域的光束的接收，可W被稱為光瞳分割。
[0045] 當(dāng)共輛關(guān)系不完全由于例如圖3和圖4中例示的出射光瞳E)(P的位置移位而保持 時，或當(dāng)區(qū)域Pl和區(qū)域P2部分地彼此交疊時，所獲得的多個圖像仍被視為該實施例中的視 差圖像。構(gòu)成圖像的最小元素被稱為像素(像素信號），其有別于攝像元件上的像素，并且各 個像素表示根據(jù)它的數(shù)字值的光強度和顏色。各個像素的值被稱為像素值。像素值等于當(dāng) 圖像為單色圖像時的輝度值，并且為簡單起見，本發(fā)明中的各實施例將描述單色圖像。因 此，在各實施例中，像素值與輝度值具有相同的含義。當(dāng)圖像為RGB彩色圖像時，能夠針對像 素值的各個顏色進行相同的計算。在W下實施例的各個中也是如此。
[0046] 接下來，參照圖5,將描述執(zhí)行該實施例中的圖像處理方法的攝像裝置。圖5是例示 本實施例中的攝像裝置200的構(gòu)造的框圖。光學(xué)系統(tǒng)201(攝像光學(xué)系統(tǒng))包括孔徑光闊201a 和對焦透鏡201b，并且使來自被攝體(未示出）的光成像(會聚)在攝像元件202上。攝像元件 202包括諸如CCD傳感器和CMOS傳感器等的光電轉(zhuǎn)換元件，并且如參照圖3和圖4所述，接收 經(jīng)過光瞳的互不相同的區(qū)域、經(jīng)過與各區(qū)域相對應(yīng)的像素(光接收部）的光束(進行光瞳分 割）。W運種方式，攝像元件202對經(jīng)由光學(xué)系統(tǒng)201形成的被攝體像(光學(xué)像)進行光電轉(zhuǎn) 換，并輸出圖像信號(模擬電信號），作為多個視差圖像。A/D轉(zhuǎn)換器203將從攝像元件202輸 出的模擬電信號轉(zhuǎn)換成數(shù)字信號，然后將運些數(shù)字信號輸出到圖像處理器204。
[0047] 圖像處理器204對數(shù)字信號進行一般的圖像處理，并且還進行不必要的光(不必要 成分)的確定處理，W及削減或去除不必要的光的校正處理。在本實施例中，圖像處理器204 對應(yīng)于并入攝像裝置200的圖像處理裝置。圖像處理器204包括不必要成分檢測器204a(生 成器）、增益分布獲取器204b(增益分布確定器）、不必要成分強度確定器204c(強度確定器） W及不必要成分削減器204d(削減器）。
[004引不必要成分檢測器204a生成（獲取)視差圖像，并且基于視差圖像，檢測（確定）不 必要成分。增益分布獲取器204b計算圖像中的增益分布，W在隨后的階段確定不必要成分 強度。不必要成分強度確定器204c基于檢測到的不必要成分W及增益分布，確定要削減的 不必要成分強度。不必要成分削減器204d依據(jù)不必要成分強度，從各個視差圖像削減不必 要成分。在該實施例中，W預(yù)先被分開成兩個圖像的形式，視差圖像能夠被輸出并生成為 "僅由像素組Gl形成的圖像"和"僅由像素組G2形成的圖像"。作為選擇，可W首先輸出"僅由 像素組Gl形成的圖像"和"像素組Gl和G2的合成圖像"，然后可W從合成圖像中減去僅由像 素組Gl形成的圖像，W計算并獲得與僅由像素組G2形成的圖像相對應(yīng)的圖像。
[0049] 由圖像處理器204處理的輸出圖像(圖像數(shù)據(jù))被存儲在諸如半導(dǎo)體存儲器和光盤 等的圖像記錄介質(zhì)209中。從圖像處理器204的輸出圖像能夠被顯示在顯示器單元205上。存 儲單元208(存儲器)存儲由圖像處理器204進行的圖像處理所需的圖像處理程序和各種信 息。
[0050] 系統(tǒng)控制器210(控制器、處理器或CPU)控制攝像元件202的操作、由圖像處理單元 204進行的處理W及光學(xué)系統(tǒng)201(孔徑光闊201a和對焦透鏡20化）。光學(xué)系統(tǒng)控制器206響 應(yīng)于來自系統(tǒng)控制器210的控制指令，進行光學(xué)系統(tǒng)201的孔徑光闊201a和對焦透鏡20化的 機械驅(qū)動?？讖焦忾?01a根據(jù)設(shè)置的孔徑值(F值)控制其開口直徑。對焦透鏡20化使其位置 由自動對焦(AF)系統(tǒng)和手動對焦機構(gòu)（未示出）控制，W根據(jù)被攝體距離進行對焦(對焦控 制）。狀態(tài)檢測器207響應(yīng)于來自系統(tǒng)控制器210的控制指令，獲取當(dāng)前的圖像拍攝條件信 息。在該實施例中，光學(xué)系統(tǒng)201(與攝像裝置200-體地)被包括為攝像裝置200的部分，攝 像裝置200包括攝像元件202,但并不限于此。如同單鏡頭反光照相機，攝像系統(tǒng)可W包括可 拆卸地附裝到攝像裝置主體的可交換光學(xué)系統(tǒng)(可交換鏡頭）。
[0051] 圖6A至圖6C是光學(xué)系統(tǒng)201的構(gòu)造圖W及光學(xué)系統(tǒng)201中發(fā)生不必要的光的說明 圖。圖6A具體例示了光學(xué)系統(tǒng)201的示例性構(gòu)造。在圖6A中，符號STP表示孔徑光闊（對應(yīng)于 孔徑光闊201a)，符號IMG表示成像面。圖5中例示的攝像元件202布置在成像面IMG的位置 處。圖6B例示了如下的情況，其中，來自用"太陽"表示的、作為示例性的高輝度物體的太陽 的強光入射到光學(xué)系統(tǒng)201上，并且在光學(xué)系統(tǒng)201中包括的透鏡的表面處反射的光，作為 不必要成分A(諸如重影或光斑等的不必要的光巧Ij達成像面IMG。圖6C例示了如下的情況， 其中，強光與圖6B類似地入射，在與反射不必要成分A的透鏡的表面不同的表面處反射的 光，作為不必要成分B(諸如重影或光斑等的不必要的光)到達成像面IMG。
[0052] 圖7例示了孔徑光闊STP的區(qū)域Pl和區(qū)域P2(光瞳區(qū)域或光瞳分割區(qū)域），入射到圖 4中例示的像素 Gl和像素 G2上的光束經(jīng)過該區(qū)域Pl和區(qū)域P2。可W假設(shè)孔徑光闊STP對應(yīng)于 光學(xué)系統(tǒng)201的出射光瞳EXP(即，從光學(xué)系統(tǒng)201的像面位置看時的虛像），但在實踐中，通 常情況是，孔徑光闊STP與出射光瞳E)(P彼此不同。雖然來自高輝度物體(太陽）的光束經(jīng)過 孔徑光闊STP的幾乎整個區(qū)域，但是要入射在像素 Gl和G2上的光束經(jīng)過的區(qū)域被分割成區(qū) 域P1和P2 (光瞳區(qū)域）。在圖6B和圖6C中例示的示例中，來自高輝度物體的光束經(jīng)過孔徑光 闊STP的大約在下半部分的區(qū)域，運是光束的部分經(jīng)過區(qū)域P1，并且剩余的整個光束經(jīng)過參 照圖4的區(qū)域P2的情形。經(jīng)過區(qū)域Pl的光束入射在像素 Gl上，而經(jīng)過區(qū)域P2的光束入射在像 素 G2上。
[0053] 接下來，參照圖1和圖2,將描述確定不必要成分，作為通過不必要的光的光電轉(zhuǎn)換 而出現(xiàn)在由攝像裝置200生成的拍攝圖像中的圖像成分的方法。圖1是例示本實施例中的圖 像處理方法的過程的圖。圖2是由本實施例中的圖像處理方法獲得的輸出圖像的示例。當(dāng)通 過使用圖6A中例示的光學(xué)系統(tǒng)201拍攝圖像時，發(fā)生在圖6B的光學(xué)路徑中的不必要成分A與 發(fā)生在圖6C的光學(xué)路徑中的不必要成分B彼此交疊。然而，在圖1和圖2中，為了簡化描述，不 必要成分A和B被分開地例示。無論多個不必要成分是交疊的還是分開的，該實施例的思想 和基本概念中的各個是相同的，并且計算增益分布的方法和削減不必要成分的方法中的各 個也是相同的。
[0054] 圖2例示了通過"無光瞳分割的成像"生成的拍攝圖像。在該拍攝圖像中，為簡單起 見，省略了微細對象，并且作為背景(包括對象)的灰色部分和水平設(shè)置的兩個方形(不必要 成分A和B)出現(xiàn)，兩個方形表示重影(具有比被攝體和背景中的各個的輝度高的輝度的不必 要成分）。在現(xiàn)實中，被攝體在運些不必要成分的背景處是有些透明的。不必要成分對應(yīng)于 所拍攝被攝體上的不必要的光，因而具有比所拍攝被攝體的輝度高的輝度。因此，用比對應(yīng) 于背景的灰色部分高的輝度來例示。在下面描述的其它實施例中也是如此。
[0055] 圖I(A-I)和圖I(B-I)例示了作為由像素組Gl和G2進行的經(jīng)過區(qū)域Pl和P2(光瞳區(qū) 域)的光束的光電轉(zhuǎn)換的結(jié)果而獲得的一對視差圖像。在該對視差圖像之間存在與圖像成 分的視差相對應(yīng)的差(被攝體的視差成分）。然而，為了簡化描述，省略該視差成分。該對視 差圖像包含示意性地例示為具有均勻輝度的白色方形的不必要成分A和B，并且輝度在視差 圖像之間彼此不同。在此實施例中，如上所述，例示了不必要成分A和B是分開的而彼此不交 疊的示例，但是，它們可W彼此交疊而具有輝度差。換言之，不必要成分的位置或輝度在視 差圖像之間可W彼此不同。
[0056] 圖UA-2)和圖UB-2)例示了該對視差圖像在豎直方向上的中央附近、沿水平方向 的輝度剖面。圖UA-2)和圖UB-2)的曲線圖中的數(shù)值是不必要成分的輝度值。例如，在圖1 (A-2)中，背景處的輝度值為70,而不必要成分A和B的輝度值都為130。圖I(C-I)例示了通過 將圖I(A-I)和圖I(B-I)的圖像相加并合成而獲得的圖像(合成視差圖像）。圖UC-2)例示了 合成視差圖像在豎直方向上的中央附近、沿水平方向的輝度剖面。該合成視差圖像相當(dāng)于 通過"無光瞳分割的成像"生成的圖2的拍攝圖像。在該實施例中，通過相加并合成該對視差 圖像，獲得相當(dāng)于通過"無光瞳分割的成像"生成的拍攝圖像的亮度(輝度）。代替地，可W使 用能夠通過平均(相加并平均)該對視差圖像，來獲得相當(dāng)于通過"無光瞳分割的成像"生成 的拍攝圖像的亮度(輝度)的攝像裝置。將在下面的實施例3中描述運種情況。
[0057] 圖I(D-I)例示了針對該對視差圖像，通過從圖I(A-I)的圖像減去圖I(B-I)的圖像 而獲得的圖像。圖UD-2)例示了在豎直方向上的中央附近、沿水平方向的輝度剖面。類似 地，圖UE-1)例示了針對該對視差圖像，通過從圖I(B-I)的圖像減去圖I(A-I)的圖像而獲 得的圖像。圖1化-2)例示了在豎直方向上的中央附近、沿水平方向的輝度剖面。在運種情況 下，為了簡化處理，當(dāng)差分值表示負值時，進行截斷該負值W用零替換的處理。結(jié)果，圖UE- 1)中例示的差分圖像中的所有值表示零。
[0058] 圖I(F-I)是通過將圖I(D-I)和圖UE-1)的圖像相加并合成而獲得的圖像。因此， 圖I(F-I)中例示的合成差分圖像對應(yīng)于通過從圖I(C-I)的圖像去除被攝體和背景而獲得 的圖像，它僅表示包含在圖I(C-I)的圖像中的不必要成分。如上所述，通過針對各個視差圖 像進行差分計算，僅剩余(即分離或提取)不必要成分，并且能夠確定不必要成分。
[0059] 在該實施例中，為了計算圖I(F-I)的圖像，如上所述，在相加合成處理之前進行兩 次差分計算，并且作為選擇，可W進行獲得差分的絕對值的計算，W獲得如由下面的表達式 (1)表示的相同的結(jié)果。
[0060] FiglFl(x,y) = |FiglAl(x,y)-FiglBl(x,y) | - --(I)
[0061 ]在表達式（1)中，符號FiglFl(x，y)、FiglAl(x，y)及FiglBl(x，y)分別表示圖1(F- 1)、圖I(A-I)及圖I(B-I)的圖像中的各個坐標(biāo)處的輝度值。結(jié)果，能夠通過單次計算獲得圖 I(F-I)的結(jié)果（圖像）。
[0062] 圖I(F-I)是關(guān)于確定的不必要成分的圖像（第一不必要成分圖像）。為了簡化說 明，盡管通過將差分圖像相加并合成為如圖I(F-I)中例示的一個圖像，來創(chuàng)建"第一不必要 成分"，但是差分圖像分別被分開為"不必要成分圖像（1-1)"和"不必要成分圖像（1-2)"，使 得分開地進行后面的計算處理?；诖_定的不必要成分，進行下面描述的處理。在該實施例 中，第一不必要成分不必須存儲為稍后要顯示的使得用戶能夠查看的所謂的"圖像"。第一 不必要成分圖像僅需要在處理流程期間作為數(shù)值數(shù)據(jù)可用即可。
[0063] 接下來，對要輸出的圖像進行去除或削減如上所述確定的不必要成分的校正處 理。如果不考慮下述的"增益分布"，來進行去除或削減不必要成分的校正處理，則可W簡單 地從圖I(C-I)的圖像減去作為第一不必要成分圖像的圖I(F-I)。圖I(G-I)例示了通過從圖 I(C-I)減去圖I(F-I)的成分而不考慮"增益分布"，由此獲得的不必要成分削減圖像。結(jié)果， 如圖I(C-I)所示，獲得與通過"無光瞳分割的成像"生成的拍攝圖像相比，削減了不必要成 分的圖像。然而，在該示例中可W看出，在重影的光學(xué)路徑?jīng)]有被完全分開成區(qū)域Pl和P2并 且光束W-定比例經(jīng)過區(qū)域Pl和P2二者的情況下，不必要成分被不完全地去除，因此，如圖 I(G-I)中所示，在不必要成分削減圖像中仍剩余不必要成分。
[0064] 在僅剩余一個不必要成分的情況下，可W在將增益均勻地施加到第一不必要成分 圖像（圖l(F-l))、直到能夠充分去除不必要成分之后，進行削減處理。例如，將考慮僅充分 去除圖I(C-I)中包含的不必要成分A的情況。不必要成分A的輝度值為240,并且它比作為背 景的輝度值的140大100。由于在當(dāng)前的第一不必要成分圖像（圖I(F-I))中包含的不必要成 分A的輝度值為20,因此可W進行增益上調(diào)（具體而言，總體上第一不必要成分圖像的輝度 值的5倍），然后可W從圖I(C-I)的圖像減去圖I(F-I)的第一不必要成分圖像。
[0065] 然而，如圖1所示，在包含多個不必要成分，并且如圖UG-2)的曲線圖所示，削減率 針對各個不必要成分不同的情況下，不能通過簡單的增益上調(diào)處理來去除不必要成分。削 減率RU,y)是指針對各個像素由下面的表達式(2)計算出的值。在表達式(2)中，符號Gl(x, y)和Cl(x，y)分別表示在各個坐標(biāo)處的圖I(G-I)和圖I(C-I)的輝度值。當(dāng)分母為零時，該坐 標(biāo)處的削減率為零。
[0066] R(x,y) = l-{Gl(x,y)/Cl(x,y) 1---(2)
[0067] 雖然在該實施例中為簡單起見，不必要成分被例示為具有均勻的輝度值的方形， 但是實際上，針對各個像素，削減率是不同的。通過使用與將表達式(2)的結(jié)果乘WlOO獲得 的值相對應(yīng)的百分比（％)，來表示圖UG-2)中例示的削減率。圖UG-2)意味著與通過"無光 瞳分割的成像"生成的拍攝圖像相比，不必要成分A削減了8.3%，并且與該拍攝圖像相比， 不必要成分B削減了 18.2%。
[0068] 雖然到目前僅描述了不必要成分A，但是在下文中，通過使用相同的計算，還針對 不必要組分B。圖8是通過該實施例中的圖像處理方法獲得的輸出圖像的示例，并且它例示 了關(guān)于不必要成分B的圖像。圖S(A-I)是整體上使第一不必要成分圖像的輝度值增大5倍的 結(jié)果，W如上所述地充分去除不必要成分A。圖8(A-2)是在豎直方向上的中央附近、沿水平 方向的輝度剖面。圖S(B-I)是從圖I(C-I)的圖像減去圖S(A-I)的圖像的結(jié)果，圖8(B-2)是 在豎直方向上的中央附近、沿水平方向的輝度剖面。
[0069] 當(dāng)觀察圖S(B-I)的圖像時，在不必要成分A原本存在并且已被去除的區(qū)域，被背景 輝度隱藏的同時，不必要成分B被過度校正并且發(fā)生黑電平降低（dark level depression)。因而，當(dāng)存在多個不必要成分并且削減率針對各個不必要成分不同時，不能 通過簡單的增益上調(diào)處理來去除不必要成分。在圖像中存在具有彼此不同的削減率的多個 不必要成分的情況下，根據(jù)任意一個不必要成分的輝度值而施加均勻的增益，導(dǎo)致對其他 的不必要成分的過度校正或校正不足。因此，通過均勻的增益調(diào)整，不能獲得針對所有的不 必要成分的良好的削減結(jié)果。
[0070] 為了解決該問題，該實施例在圖像中創(chuàng)建增益分布，并且基于創(chuàng)建的增益分布改 變圖像中的增益，而不是在圖像中均勻地調(diào)整增益。因此，能夠有效地削減具有不同削減率 的多個不必要成分。
[0071] 在該實施例中，盡管通過使用比(ratio)來計算削減率，但是作為更簡單地計算削 減率的方法，可W僅進行獲得圖I(G-I)和圖I(C-I)的輝度值之間的差分的處理。準確的說， 運與當(dāng)施加增益時發(fā)生的特性(behavior)中的比計算，但類似地，具有能夠抑制在削減處 理之后的不必要成分(不必要的光成分）的黑電平降低的傾向。
[0072] 接下來，作為創(chuàng)建增益分布的方法的示例，將描述基于第一不必要成分圖像來創(chuàng) 建增益分布的方法。該方法中的步驟，直到由視差圖像計算第一不必要成分圖像（圖UF- 1))為止，與上述方法中的步驟相同。隨后，如由下面的表達式(3)所表示的，針對在各個坐 標(biāo)處的第一不必要成分圖像的輝度值L(x，y)，計算在二維坐標(biāo)(x，y)處的增益分布gain(x, y)。在表達式(3)中，符號a和0為參數(shù)。
[0073]
[0074] 創(chuàng)建增益分布的概念，是為了防止因所施加的增益導(dǎo)致不必要成分由高削減率削 減的過多而引起的黑電平降低的發(fā)生，從而有效地削減具有低削減率的不必要成分。因此， 優(yōu)選的是，施加到具有高削減率的不必要成分的增益，被抑制為低于其他不必要成分中的 各個的增益。由于在第一不必要成分圖像中輝度值相對高的部分，被從視差圖像減去比其 他部分的值更大的值，因此它能夠被估計為具有更高的削減率的部分。因此，如由表達式 (3)所表示的，在第一不必要成分圖像中具有高輝度值的部分中，增益被設(shè)置為相對低，另 一方面，在第一不必要成分圖像中具有低輝度值的部分中，增益被設(shè)置為相對高。
[0075] 圖9(A-1)例示了該實施例中的增益分布。在運種情況下，參數(shù)a和0如下。
[0076] 0 = 262.324
[0077] 0=1.322
[0078] 在該實施例中，不具體限制參數(shù)a和0的計算方法。即使在相同的不必要成分中，不 必要成分的亮度(輝度)也依據(jù)光源或圖像拍攝條件而變化。不必要成分的削減率還依據(jù)各 個透鏡而改變，因此準確的說，參數(shù)a和e的值依據(jù)拍攝圖像時的條件而改變。因此，可W通 過使用常規(guī)方法通過適應(yīng)性處理來自動地獲得參數(shù)a和e，或者作為選擇，可W將值1作為初 始值分配給參數(shù)a和e中的各個，使得用戶能夠在觀察不必要成分(不必要的光)的削減的程 度的同時，通過在削減處理期間輸入數(shù)值或者使用滑塊來調(diào)整圖像。
[0079] 隨后，如由下面的表達式(4)所表示的，將增益分布gain(x，y)乘W第一不必要成 分圖像的輝度值LU,y)，W確定不必要成分強度Kx,y)。通過使不必要成分強度成像，來獲 得第二不必要成分圖像。
[0080] I(x,y)=gain(x,y)XL(x,y)…（4)
[0081] 圖9(B-1)例示了通過表達式(4)計算出的第二不必要成分圖像。圖9(B-2)例示了 在豎直方向上的中央附近、沿水平方向的輝度剖面。由于創(chuàng)建增益分布的概念如上所述，所 W如果與概念匹配，則創(chuàng)建增益分布的方法并不限于表達式(2)。圖9(C-1)例示了通過從圖 I(C-I)的圖像減去第二不必要成分圖像（圖9(B-1))而獲得的圖像。圖9(C-2)例示了在豎直 方向上的中央附近、沿水平方向的輝度剖面。如圖9(C-1)和圖9(C-2)中所示，不必要成分A 和B二者都被有效地削減。
[0082] 在該實施例中，為了便于說明，雖然創(chuàng)建了作為第二不必要成分圖像的圖像，但在 實際處理中，第二不必要成分圖像不必須被創(chuàng)建并存儲為能夠稍后為用戶顯示的所謂的 "圖像"。第二不必要成分圖像可W是能夠在處理期間使用的數(shù)值數(shù)據(jù)，因此，可W基于第一 不必要成分圖像和增益分布來確定不必要成分強度，并且通過進行削減處理來創(chuàng)建削減圖 像。
[0083] 接下來，參照圖10,將描述該實施例中的圖像處理方法(不必要成分的確定處理和 不必要成分的削減處理）。圖10是例示圖像處理方法的流程圖。由系統(tǒng)控制器210或圖像處 理器204根據(jù)作為計算機程序的圖像處理程序，來進行圖10中的各個步驟。
[0084] 首先，在步驟SlOl中，系統(tǒng)控制器210控制由光學(xué)系統(tǒng)201和攝像元件202構(gòu)成的攝 像設(shè)備，W對被攝體拍照(拍攝被攝體像）。圖像處理器204獲取拍攝圖像作為輸入圖像。
[0085] 隨后，在步驟S102中，圖像處理器204通過使用從攝像元件202(像素組Gl和G2)輸 出并通過A/D轉(zhuǎn)換器203的A/D轉(zhuǎn)換獲得的數(shù)字信號，生成一對視差圖像。在該實施例中，圖 像處理器204可W進行通常的顯影處理W及各種圖像校正處理，W生成視差圖像。
[0086] 隨后，在步驟S103中，圖像處理器204(不必要成分檢測器204a)獲得該對視差圖像 的差分信息。換言之，圖像處理器204生成通過從圖I(A-I)的圖像減去圖I(B-I)的圖像而獲 得的圖I(D-I)的差分圖像，W及通過從圖I(B-I)的圖像減去圖I(A-I)的圖像而獲得的圖1 化-1)的差分圖像。在運樣的簡單的差分計算中，不必要成分的差分值表示正值或負值。例 如，在該實施例中，當(dāng)從圖I(A-I)的圖像減去圖I(B-I)的圖像W生成圖I(D-I)的差分圖像 時，圖I(A-I)中包含的不必要成分的輝度值大于圖I(B-I)中包含的不必要成分的輝度值。 因此，差分值表示正值。類似地，當(dāng)從圖I(B-I)的圖像減去圖I(A-I)的圖像時，差分值表示 負值。在該實施例中，為了簡化下述的不必要成分削減處理，進行將負值截斷為零的處理。 因此，圖UE-I)的圖像的所有輝度值表示零。
[0087] 當(dāng)針對包括近距離被攝體的圖像獲得差分信息時，當(dāng)在該實施例中省略視差成分 的顯示的同時，為了去除被攝體視差成分，可W進行對準該對視差圖像的位置的處理。能夠 通過在使視差圖像中的一個的位置相對視差圖像中的另一個的位置移位的同時，通過確定 該對視差圖像之間的相關(guān)性為最大的移位位置，來進行對準。作為選擇，可W通過確定視差 圖像之間的差分的平方和為最小的移位位置，來進行對準。視差圖像中的聚焦區(qū)域可W被 用來確定用于對準的移位位置。
[0088] 可W使用包含檢測的邊緣的圖像，在視差圖像的各個中預(yù)先進行邊緣檢測，W確 定用于對準的移位位置。根據(jù)該方法，在聚焦區(qū)域中檢測具有高對比度的邊緣，并且另一方 面，諸如背景等的失焦區(qū)域具有低對比度并且不容易被檢測為邊緣，因而，必然地利用正被 強調(diào)的聚焦區(qū)域來確定移位位置。此外，可W添加為了去除噪聲等的影響而進行闊值處理 等的步驟。
[0089] 隨后，在步驟S104中，圖像處理器204(不必要成分檢測器204a)將在步驟S103中獲 得的差分圖像中剩余的成分，確定為不必要成分。與不必要成分相對應(yīng)的圖像被稱為第一 不必要成分圖像。具體而言，通過將圖I(D-I)的圖像和圖UE-1)的圖像相加并合成，僅圖1 (A-I)和圖I(B-I)的圖像中包含的不必要成分的差分值被檢測為正值。不必要成分檢測器 204a將其確定為不必要成分，并且生成第一不必要成分圖像（圖1 (F-1))。然而，如上所述， 不必須生成或存儲第一不必要成分圖像，因此在步驟S103中獲得的差分圖像可W被視作不 必要成分，W提高處理速度。在運種情況下，步驟S104被跳過，并且隨步驟S103之后流程前 進到步驟S105。
[0090] 隨后，在步驟S105中，圖像處理器204(增益分布獲取器204b)基于在步驟S104中獲 得的不必要成分，生成(確定)增益分布(例如圖9(A-1))。
[0091] 隨后，在步驟S106中，圖像處理器204(不必要成分強度確定器204c)基于在步驟 S103或步驟S104中確定的不必要成分，W及在步驟S105中確定的增益分布，來確定不必要 成分強度。具體而言，不必要成分強度確定器204c將第一不必要成分圖像的各個輝度值，乘 W如由表達式(4)表示的各個坐標(biāo)處的增益分布，W確定不必要成分強度。
[0092] 隨后，在步驟S107中，圖像處理器204基于在步驟S106中的結(jié)果，生成第二不必要 成分圖像(例如圖9(B-1)的圖像）。由于通過將差分圖像乘W增益分布來確定不必要成分強 度，因此在該實施例中，可W沒有步驟S107而進行不必要成分削減處理。在運種情況下，步 驟S107被跳過，并且在步驟S106之后立即進行步驟S108。
[0093] 隨后，在步驟S108中，圖像處理器204根據(jù)視差圖像的相加合成處理，生成相當(dāng)于 通過"無光瞳分割的成像"生成的拍攝圖像的圖像(合成視差圖像）。例如，通過進行將在步 驟S102中生成的圖I(A-I)的視差圖像相加到圖I(B-I)的視差圖像的處理，生成已進行了相 加合成處理的、在圖I(C-I)中例示的合成視差圖像。作為選擇，在步驟S108中，可W通過將 從攝像元件202(像素組Gl和G2)輸出且通過A/D轉(zhuǎn)換器203的A/D轉(zhuǎn)換獲得的數(shù)字信號相加， 來生成合成視差圖像，而不用生成視差圖像的步驟（步驟S102)。在此處不必須進行步驟 S108,并且不具體地的限制進行該步驟的位置，只要在步驟S109之前進行該步驟，使得能夠 在下一步驟S109中使用該合成視差圖像即可。
[0094] 隨后，在步驟S109中，圖像處理器204(不必要成分削減器204d)進行校正處理，W 從在步驟S108中生成的合成視差圖像削減或去除不必要成分。具體而言，不必要成分削減 器204d從圖I(C-I)的圖像減去圖9(B-1)的圖像，因而能夠削減或去除不必要成分。當(dāng)未生 成圖9(B-1)的圖像時，可W直接進行圖I(C-I)-{:圖I(F-I) X圖9(A-1)}的計算。結(jié)果，生成 不必要成分削減圖像。
[00M]最后，在步驟SllO中，系統(tǒng)控制器210將去除或消減了不必要成分的輸出圖像，即 不必要成分削減圖像（圖9(C-1))，存儲在圖像記錄介質(zhì)209中，或?qū)⑵滹@示在顯示單元205 上。
[0096] 根據(jù)該實施例，能夠確定從基于通過單次圖像拍攝(成像)獲得的多個視差圖像的 差分圖像的、由不必要的光(諸如重影和光斑)形成的不必要成分。換言之，能夠確定拍攝圖 像中包含的不必要成分，而無需多次圖像拍攝。此外，即使當(dāng)存在經(jīng)過互不相同的光瞳區(qū)域 的多個不必要成分(諸如重影或光斑）時，也能夠通過基于增益分布確定不必要成分強度， 來有效地削減多個不必要成分。在該實施例中，為了簡化描述，描述了灰度圖像的示例，類 似地，其也能夠應(yīng)用到彩色圖像。在運種情況下，可W針對各個顏色通道獨立地進行上述的 處理，最后各個顏色可W被合成為一個圖像。
[0097] [實施例2]
[0098] 接下來，將描述本發(fā)明的實施例2。針對增益分布的計算方法，該實施例與實施例1 不同。在該實施例中，攝像裝置的基本構(gòu)造與參照圖5描述的實施例1的攝像裝置200的相 同，因此將省略其說明。該實施例的圖像處理方法僅在處理流程和計算方法方面，與實施例 1的圖像處理方法不同，而圖像處理方法的結(jié)果與實施例1的相同，因此將參照圖1或圖9描 述該實施例。
[0099] 接下來，參照圖11，將描述該實施例中的圖像處理方法(不必要成分的確定處理和 不必要成分的削減處理）。圖11是例示圖像處理方法的流程圖。由系統(tǒng)控制器210或圖像處 理器204根據(jù)作為計算機程序的圖像處理程序，進行圖11中的各個步驟。
[0100] 在圖11中，步驟S201至S204分別與實施例1中的圖10的步驟Sioi至S104相同。隨 后，在步驟S205中，圖像處理器204對視差圖像進行相加合成處理，W生成相當(dāng)于通過"無光 瞳分割的成像"生成的拍攝圖像的圖像(合成視差圖像）。在該實施例中，進行將在步驟S202 中生成的圖I(A-I)和圖I(B-I)的視差圖像相加的處理，因此，如圖I(C-I)中所示，生成已進 行了相加合成處理的合成圖像(合成視差圖像）。作為選擇，圖像處理器204可W將從攝像元 件202(像素組Gl和G2)輸出且通過A/D轉(zhuǎn)換器203的A/D轉(zhuǎn)換獲得的數(shù)字信號相加，而不用步 驟S205，來生成合成視差圖像。
[0101] 隨后，在步驟S206中，圖像處理器204基于在步驟S205中生成的合成視差圖像W及 在步驟S204中確定的不必要成分(不必要成分的成像對應(yīng)于第一不必要成分圖像），生成第 一不必要成分削減圖像。具體而言，圖像處理器204從圖I(C-I)的圖像減去圖I(F-I)的圖 像，W獲取第一不必要成分削減圖像(圖l(G-l))。
[0102] 隨后，在步驟S207中，圖像處理器204基于在步驟S205中生成的合成視差圖像W及 在步驟S206中生成的第一不必要成分削減圖像，創(chuàng)建(計算）削減率分布。具體而言，圖像處 理器204針對所有像素，計算由在實施例1中描述的表達式（2)表示的削減率。當(dāng)分母為零 時，該坐標(biāo)處的削減率為零。當(dāng)已知不必要成分存在的區(qū)域時，可W僅在不必要成分存在的 區(qū)域中進行計算，而不針對所有像素進行計算。在運種情況下，可W僅在不必要成分存在的 區(qū)域中進行后續(xù)的處理，或者可W在除不必要成分存在的區(qū)域之外的區(qū)域中，將所有削減 率設(shè)置為零。如上所述，作為更簡單地計算削減率的方法，可W僅進行獲得圖I(G-I)和圖1 (C-I)的輝度值之間的差分的處理。準確的說，運與當(dāng)施加增益時發(fā)生的特性中的比計算不 同，但類似地，具有能夠抑制在削減處理之后的不必要成分(不必要的光成分）的黑電平降 低的傾向。圖12是根據(jù)表達式(2)，通過使用圖I(C-I)和圖I(G-I)獲得的削減率分布。
[0103] 隨后，在步驟S208中，圖像處理器204(增益分布獲取器204b)基于在步驟S207中獲 得的削減率分布，計算增益分布。具體而言，增益分布獲取器204b針對如由下面的表達式 (5)表示的各個坐標(biāo)(x，y)，基于削減率分布R(x，y)，計算增益分布gain(x，y)。在表達式(5) 中，符號a和0為參數(shù)。
[0104]
(5)
[0105] 圖9(A-1)例示了該實施例中的增益分布。運種情況下的參數(shù)a和0如下。
[0106] Q = O.270
[0107] 6=1.174
[0108] 在該實施例中，不具體地限制參數(shù)a和如勺計算方法。即使在相同的不必要成分中， 不必要成分的亮度(輝度)也依據(jù)諸如光源等的圖像拍攝條件而變化。不必要成分的削減率 還依據(jù)各個透鏡而改變，因此準確的說，參數(shù)Cl和e的值依據(jù)拍攝圖像時的條件而改變。因 此，可W通過使用常規(guī)方法通過適應(yīng)性處理來自動地獲得參數(shù)Cl和e，或者作為選擇，可W將 值1作為初始值分配給參數(shù)a和e中的各個，使得用戶能夠在觀察不必要成分的削減的程度 的同時，通過在削減處理期間輸入數(shù)值或者使用滑塊來調(diào)整圖像。由于創(chuàng)建增益分布的概 念如實施例1中所述，因此，如果與概念匹配，則創(chuàng)建增益分布的方法并不限于表達式(5)。
[0109] 隨后，在步驟S209中，圖像處理器204(不必要成分強度確定器204c)基于在步驟 S203或步驟S204中確定的不必要成分，W及在步驟S208中確定的增益分布，來確定不必要 成分強度。具體而言，不必要成分強度確定器204c將第一不必要成分圖像的各個輝度值，乘 W如由表達式(4)表示的各個坐標(biāo)處的增益分布，W確定不必要成分強度。
[0110] 隨后，在步驟210中，圖像處理器204基于在步驟S209中的結(jié)果，生成第二不必要成 分圖像(例如圖9(B-1))。由于通過將差分圖像乘W增益分布來確定不必要成分強度，因此 在該實施例中，可W沒有步驟S210而進行不必要成分削減處理。在運種情況下，步驟S210被 跳過，并且在步驟S209之后立即進行步驟S211。
[0111] 隨后，在步驟S211中，圖像處理器204(不必要成分削減器204d)進行校正處理(第 二不必要成分削減圖像的生成處理），W從在步驟S205中生成的合成視差圖像削減或去除 不必要成分。具體而言，不必要成分削減器204d從圖I(C-I)的圖像減去圖9(B-1)的圖像，因 而能夠削減或去除不必要成分。當(dāng)未生成圖9(B-1)的圖像時，可W直接進行圖I(C-I)-{:圖1 (F-I) X圖9(A-1)}的計算。結(jié)果，生成第二不必要成分削減圖像。
[0112] 最后，在步驟S212中，系統(tǒng)控制器210將去除或削減了不必要成分的輸出圖像，即 第二不必要成分削減圖像（圖9(C-1))，存儲在圖像記錄介質(zhì)209中，或?qū)⑵滹@示在顯示單元 205 上。
[0113] 根據(jù)該實施例，能夠確定從基于通過單次圖像拍攝獲得的多個視差圖像的差分圖 像的、由不必要的光(諸如重影和光斑)形成的不必要成分。換言之，能夠確定拍攝圖像中包 含的不必要成分，而無需多次圖像拍攝。此外，即使當(dāng)存在經(jīng)過互不相同的光瞳區(qū)域的多個 不必要成分(諸如重影或光斑）時，也能夠通過基于增益分布確定不必要成分強度，來有效 地削減多個不必要成分。在該實施例中，為了簡化描述，描述了灰度圖像的示例，類似地，其 也能夠應(yīng)用到彩色圖像。在運種情況下，可W針對各個顏色通道獨立地進行上述的處理，最 后各個顏色可W被合成為一個圖像。
[0114] [實施例3]
[0115] 接下來，將描述本發(fā)明的實施例3(多個光瞳分割）。該實施例在視差的數(shù)量、視差 圖像的概念W及計算增益分布的表達式方面，與實施例1和2中的各個不同。在該實施例中， 攝像裝置的基本構(gòu)造和圖像處理方法的基本流程與實施例2中的相同，因此將省略其描述。
[0116] 圖13是例示該實施例中的攝像元件(光接收部）的圖。在圖13中，符號ML表示微透 鏡，符號Gl、G2、G3及G4表示光接收部(像素），并且一個像素 Gl、一個像素 G2、一個像素 G3及 一個像素 G4作為一組。攝像元件包括多個組的像素 G1、G2、G3及G4的陣列。像素 G1、G2、G3及 G4的組經(jīng)由共享的（即為各個像素組提供的)微透鏡ML，與出射光瞳EXP具有共輛關(guān)系。在該 實施例中，當(dāng)輸出相當(dāng)于通過"無光瞳分割的成像"生成的拍攝圖像的圖像時，進行對通過4 個像素 Gl、G2、G3及G4的組獲得的信號的平均處理(加法平均處理），W生成一個信號值。
[0117] 在該實施例中，光學(xué)系統(tǒng)的具體結(jié)構(gòu)的示例也與參照圖6A至圖6C描述的實施例1 中的光學(xué)系統(tǒng)201的相同。因此將省略其說明。然而，雖然包含兩個不必要成分A和B作為不 必要成分，但是在該實施例中，還包含在圖6A至圖6C中未示出的不必要成分C。
[0118] 圖14例示了孔徑光闊STP的區(qū)域P1、P2、P3及P4(光瞳區(qū)域或光瞳分割區(qū)域），光束 經(jīng)過該區(qū)域P1、P2、P3及P4入射到圖13中例示的像素 G1、G2、G3及G4?？蒞假設(shè)孔徑光闊STP 為對應(yīng)于光學(xué)系統(tǒng)201的出射光瞳EXP(即，從光學(xué)系統(tǒng)201的像面位置看時的虛像），但在實 踐中，通常情況是，孔徑光闊STP與出射光瞳EXP彼此不同。當(dāng)來自高輝度物體(太陽）的光束 經(jīng)過孔徑光闊STP入射到各個像素時，其被劃分成區(qū)域P1、P2、P3及P4(光瞳區(qū)域）。
[0119] 接下來，參照圖15和圖16,將描述確定不必要成分，作為通過不必要的光的光電轉(zhuǎn) 換而出現(xiàn)在由攝像裝置200生成的拍攝圖像中的圖像成分的方法。圖15和圖16是例示本實 施例中的圖像處理方法的過程的圖。
[0120] 圖15(A-1)、圖15(B-1)、圖15(C-1)及圖15(D-1)例示了作為由像素組 G1、G2、G3 及 G4進行的經(jīng)過區(qū)域P1、P2、P3及P4(光瞳區(qū)域)的光束的光電轉(zhuǎn)換的結(jié)果而分別獲得的一組 視差圖像。該組視差圖像包含示意性地例示為方形的、部分地彼此交疊的不必要成分A、B及 C。視差圖像的不必要成分中的各個位于圖15(A-1)、圖15(B-1)、圖15(C-1)及圖15(D-1)的 視差圖像中的相同位置處，并且具有互不相同的輝度。圖15(A-2)、圖15(B-2)、圖15(C-2)及 圖15(D-2)例示了在豎直方向上的中央附近、沿水平方向的各個視差圖像的輝度剖面。各個 附圖的曲線圖中的數(shù)值表示不必要成分的輝度值。例如，在圖15(A-2)中，背景處的輝度值 為50,并且不必要成分A、B及C的輝度值分別為180、130及110。不必要成分交疊的部分表示 通過將交疊的不必要成分中的各個的輝度值與背景的輝度值相加并合成而獲得的值。
[0121] 圖15化-1)是通過對圖15(A-1)、圖15(B-1)、圖15(C-1)及圖15(D-1)的圖像，進行 平均處理(加法平均處理)而獲得的圖像。具體而言，通過將各個坐標(biāo)處的圖15(A-1)、圖15 (B-1)、圖15(C-1)及圖15(D-1)的圖像的輝度值相加，然后將相加后的輝度值除W4,來計算 各個坐標(biāo)處的圖15化-1)的輝度值。運相當(dāng)于通過該實施例的攝像裝置中的"無光瞳分割的 成像"生成的拍攝圖像。圖15化-2)例示了在豎直方向上的中央附近、沿水平方向的圖15巧- 1)的圖像的輝度剖面。
[0122] 圖16(A-1)、圖16(B-1)及圖16(C-1)是針對該組視差圖像，從作為基準圖像的圖15 (A-I)的圖像分別減去圖15(B-1)、圖15(C-1)及圖15(D-1)的圖像，而獲得的差分圖像。類似 于實施例1，運些視差圖像包含作為差分信息的不必要成分。此外，類似于實施例1，雖然存 在通過差分計算，使包含在圖16(A-1)、圖16(B-1)及圖16(C-1)中的不必要成分計算為負值 的部分，但是為了簡化后續(xù)階段中的不必要成分削減處理，將負值截斷為零。對于所有的其 他差分圖像也是如此。圖16(D-1)是通過提取在圖16(A-1)、圖16(B-1)及圖16(C-1)的差分 圖像中的各個像素位置處的差分信息之間的最大值而獲得的信息(最大差分信息或最大差 分圖像），作為獲取為二維數(shù)據(jù)的差分信息。
[0123] 圖16(A-2)、圖16(B-2)及圖16(C-2)是通過針對該組視差圖像，從作為基準圖像的 圖15(B-1)的圖像分別減去圖15(A-1)、圖15(C-1)及圖15化-1)的圖像，而獲得的差分圖像。 圖16(D-2)是在圖16(A-2)、圖16(B-2)及圖16(C-2)的差分圖像中的各個像素位置處的差分 信息之間的最大差分信息，作為獲取為二維數(shù)據(jù)的差分信息。
[0124] 圖16(A-3)、圖16(B-3)及圖16(C-3)是通過針對該組視差圖像，從作為基準圖像的 圖15(C-1)的圖像分別減去圖15(A-1)、圖15(B-1)及圖15化-1)的圖像，而獲得的差分圖像。 圖16(D-3)是在圖16(A-3)、圖16(B-3)及圖16(C-3)的差分圖像中的各個像素位置處的差分 信息之間的最大差分信息，作為獲取為二維數(shù)據(jù)的差分信息。
[0125] 圖16(A-4)、圖16(B-4)及圖16(C-4)是通過針對該組視差圖像，從作為基準圖像的 圖15(D-1)的圖像分別減去圖15(A-1)、圖15(B-1)及圖15(C-1)的圖像，而獲得的差分圖像。 圖16(D-4)是在圖16(A-4)、圖16(B-4)及圖16(C-4)的差分圖像中的各個像素位置處的差分 信息之間的最大差分信息，作為獲取為二維數(shù)據(jù)的差分信息。最大差分信息是通過從各個 視差圖像提取不必要成分而獲得的結(jié)果。
[0126] 在下文中，如在實施例1和2中所述，考慮要確定不必要成分(不必要成分的成像對 應(yīng)于第一不必要成分圖像）的情況。在運種情況下，如上所述，不必要成分被提取為針對各 個視差圖像的最大差分信息，因此，作為方法，可W認為多個最大差分信息中的各個對應(yīng)于 第一不必要成分圖像。然而，作為圖像，有必要進行與視差圖像的數(shù)量相對應(yīng)的次數(shù)的后續(xù) 處理，因而處理步驟是復(fù)雜的。為了解決運個問題，在該實施例中，通過將多個最大差分信 息中的各個合成為一個來簡化后續(xù)處理。具體而言，對圖16(0-1)、圖16(0-2)、圖16(D-3)及 圖16(D-4)的圖像進行加法平均處理，然后合成(組合）圖像。圖16化-1)是合成圖像的結(jié)果， 圖16化-2)在豎直方向上的中央附近、沿水平方向的輝度剖面。圖16(F-1)是通過從作為合 成視差圖像的圖15巧-1)減去作為第一不必要成分圖像的圖16巧-1)而獲得的圖像，并且其 對應(yīng)于在實施例2中描述的圖11的第一不必要成分削減圖像。圖16(F-2)在豎直方向上的中 央附近、沿水平方向的輝度剖面。
[0127] 如上所述，即使當(dāng)視差的數(shù)量增大時，也能夠計算"合成視差圖像"和"第一不必要 成分圖像"。后續(xù)處理的流程和基本概念與實施例2中的相同，因此在下文中，根據(jù)圖11的處 理流程，將主要描述與實施例2不同的部分。
[0128] 該實施例在步驟S208中計算增益分布的方法與實施例2不同。圖17是例示在步驟 S207中創(chuàng)建的(計算的）削減率分布的圖。
[0129] 在該實施例中，通過使用下面的表達式(6)，計算增益分布gain(x，y)。在表達式 (6)中，符號R(x，y)是削減率分布，符號A、B、C、D及E是參數(shù)。
[0130]
[0131] 削減率RU, y)是由下面的表達式(7)針對各個像素計算的值，類似于表達式(2)的 思路。當(dāng)分母為零時，該坐標(biāo)處的削減率為零。
[0132] R(x,y) = l-{Fl(x,y)/El(x,y)}---(7)
[0133] 在表達式(7)中，符號Fl(x，y)和El(x，y)分別表示在圖16(F-1)和圖15化-1)中的 各個坐標(biāo)處的輝度值。
[0134] 圖IS(A-I)例示了該實施例中的增益分布。在運種情況下，參數(shù)A、B、C、D及E如下。
[0135] A = 75.69478
[0136] 6 = -88.7086
[0137] C = 37.02509
[0138] 0 = -6.48479
[0139] E = O.408826
[0140] 在該實施例中，不具體限制參數(shù)A、B、C、D及E的計算方法。即使在相同的不必要成 分中，不必要成分的亮度(輝度)也依據(jù)諸如光源等的圖像拍攝條件而變化。不必要成分的 削減率還依據(jù)各個透鏡而改變。因此準確的說，參數(shù)的值依據(jù)拍攝圖像時的條件而改變。因 此，可W通過使用常規(guī)方法通過適應(yīng)性處理來自動地獲得運些參數(shù)，或者作為選擇，可W將 任意值作為初始值分配給各個參數(shù)。創(chuàng)建增益分布的概念如實施例1和2中所述，并且如果 與概念匹配，則創(chuàng)建增益分布的方法并不限于表達式(6)。
[0141] 隨后，在步驟S209中，圖像處理器204(不必要成分強度確定器204c)基于確定的不 必要成分(第一不必要成分圖像）W及增益分布，來確定不必要成分強度。具體而言，不必要 成分強度確定器204c將在第一不必要成分圖像中的各個坐標(biāo)(x，y)處的輝度值LU, y)，乘 W如由表達式(4)表示的gain(x，y)，W計算不必要成分強度I(x，y)。
[0142] 隨后，在步驟S210中，圖像處理器204基于在步驟S209中的結(jié)果，生成第二不必要 成分圖像（圖IS(B-I))。圖18(B-2)例示了在圖IS(B-I)的豎直方向上的中央附近、沿水平方 向的輝度剖面。如在實施例1和2中所述，可W跳過步驟S209和S210,并且可W在步驟S208之 后立即進行步驟S211。
[0143] 隨后，在步驟S211中，圖像處理器204(不必要成分削減器204d)進行校正處理(第 二不必要成分削減圖像的生成處理），W從在步驟S205中生成的合成視差圖像削減或去除 不必要成分。具體而言，不必要成分削減器204d從圖15化-1)的圖像減去圖IS(B-I)的圖像， 因而能夠削減或去除不必要成分。當(dāng)未生成圖IS(B-I)的圖像時，可W直接進行圖15化-1)- {圖16化-1)X圖18(A-1)}的計算。
[0144] 最后，在步驟S212中，系統(tǒng)控制器210將去除或削減了不必要成分的輸出圖像，即 第二不必要成分削減圖像（圖IS(C-I))，存儲在圖像記錄介質(zhì)209中，或?qū)⑵滹@示在顯示單 元205上。圖18(C-2)例示了在圖IS(C-I)的豎直方向上的中央附近、沿水平方向的輝度剖 面。
[0145] 根據(jù)該實施例，能夠確定來自基于通過單次圖像拍攝獲得的多個視差圖像的差分 圖像的、由不必要的光(諸如重影和光斑)形成的不必要成分。換言之，能夠確定拍攝圖像中 包含的不必要成分，而無需多次圖像拍攝。此外，即使當(dāng)存在經(jīng)過互不相同的光瞳區(qū)域的多 個不必要成分(諸如重影或光斑）時，也能夠通過基于增益分布確定不必要成分強度，來有 效地削減多個不必要成分。在該實施例中，為了簡化描述，描述了灰度圖像的示例，類似地， 其也能夠應(yīng)用到彩色圖像。在運種情況下，可W針對各個顏色通道獨立地進行上述的處理， 最后各個顏色可W被合成為一個圖像。
[0146] [實施例4]
[0147] 接下來，將描述本發(fā)明的實施例4。Ren.Ngetal.,"Li曲tField曲otography with a 化nd-held Plenoptic Camera"(Sl:anford Tech Report CTSR 2005-2)公開了一 種"全光照相機"。該"全光照相機"通過使用稱為"光場攝影"的技術(shù)，能夠從被攝體獲取光 束的位置和角度的信息。
[0148] 圖19例示了該實施例中的攝像裝置的攝像系統(tǒng)，并且例示了 "全光照相機"的攝像 系統(tǒng)的構(gòu)造。光學(xué)系統(tǒng)301(攝像光學(xué)系統(tǒng))包括主透鏡(攝像透鏡)301b和孔徑光闊301a。微 透鏡陣列301c布置在光學(xué)系統(tǒng)301的成像位置處，并且攝像元件302布置在微透鏡陣列301c 后方（比微透鏡陣列301c更靠近圖像）。微透鏡陣列301c具有作為分隔件（分隔元件）的功 能，防止經(jīng)過例如被攝體空間中的點A的光束，與經(jīng)過攝像元件302上的點A附近的點的光束 混合。圖19例示了來自點A的頂部光束、主光束和底部光束被互不相同的像素接收。因此，依 據(jù)經(jīng)過A點的光束的角度，能夠分開地獲取經(jīng)過點A的光束。
[0149] Todor Georgive et al.,"Full Resolution Light Field Rendering''(Adobe Technical Report Janua巧2008)公開了圖20和圖21中例示的、獲取光束的位置和角度的 信息(光場)的攝像系統(tǒng)的構(gòu)造。
[0150] 利用圖20中例示的攝像系統(tǒng)的構(gòu)造，微透鏡陣列301c布置在主透鏡30化的成像位 置后方(比主透鏡30化的成像位置更靠近圖像），W將經(jīng)過點A的光束再成像在攝像元件302 上，從而依據(jù)光束的角度，分開地獲取光束。利用圖21中例示的攝像系統(tǒng)的構(gòu)造，微透鏡陣 列301c布置在主透鏡30化的成像位置前方（比主透鏡30化的成像位置更靠近被攝體），W將 經(jīng)過點A的光束成像在攝像元件302上，從而依據(jù)光束的角度，分開地獲取光束。在運兩種構(gòu) 造中，經(jīng)過光學(xué)系統(tǒng)301的光瞳的光束，依據(jù)在光瞳中經(jīng)過的區(qū)域(經(jīng)過的位置)被分開。在 運些構(gòu)造中，如圖22中所示，攝像元件302可W采用傳統(tǒng)的攝像元件，傳統(tǒng)的攝像元件包括 經(jīng)由濾色片CF配對的一個微透鏡ML和一個光接收部Gl。
[0151] 圖19中例示的光學(xué)系統(tǒng)301生成如圖23A所示的圖像。圖23B是圖23A中的排列的圓 圈中的一個的放大圖。一個圓圈表示孔徑光闊STP，并且其內(nèi)部被多個像素門（j = l，2， 3,...）分割。該構(gòu)造使得能夠獲取一個圓圈內(nèi)的光瞳的強度分布。圖20和圖21中例示的光 學(xué)系統(tǒng)301被用來獲得圖24中例示的視差圖像。可W通過在圖23中例示的圖像中，重新布置 和重新構(gòu)建圓圈（孔徑光闊STP)中的像素門，來獲得如圖24中例示的視差圖像。
[0152] 如在實施例1至實施例3中所述，諸如重影等的不必要的光隨著橫跨光瞳的偏置的 分布而經(jīng)過光瞳。因此，在該實施例中的、通過光瞳的分割區(qū)域進行攝像的攝像裝置，可W 采用在實施例1至實施例3中所述的圖像處理方法，W確定不必要成分并進一步削減它們。
[0153] 在另一示例中，通過如圖25中例示的多個照相機拍攝同一被攝體的圖像，來獲得 視差圖像。因此，運些照相機可W采用在實施例1至實施例3中描述的圖像處理方法。C1、C2 及C3表示分開的攝像裝置，但是它們可W被看作為通過大光瞳的=個分割區(qū)域進行攝像的 單個攝像裝置。作為選擇，如圖26中所示，可W通過利用多個光學(xué)系統(tǒng)0Sj(j = l，2,3，...） 提供一個攝像裝置，來實現(xiàn)光瞳分割。
[0154] 實施例中的各個描述了進行各個實施例的圖像處理方法的攝像裝置(配設(shè)有圖像 處理裝置），但是也可W通過安裝在個人計算機中的圖像處理程序來進行各個實施例的圖 像處理方法。在運種情況下，個人計算機對應(yīng)于各個實施例的圖像處理裝置。個人計算機取 得(獲?。┯蓴z像裝置生成并且有待被提供圖像處理的圖像(輸入圖像），并且輸出通過由圖 像處理程序進行圖像處理而獲得的圖像。
[01巧]在各個實施例中，圖像處理裝置（圖像處理器204)包括生成器(不必要成分檢測器 204a或確定器）、增益分布確定器(增益分布獲取器204b或計算器）、強度確定器(不必要成 分強度確定器204c) W及削減器(不必要成分削減器204d)。生成器生成關(guān)于多個視差圖像 的差分信息。增益分布確定器基于差分信息，確定增益分布。強度確定器基于增益分布，確 定不必要成分強度。削減器基于視差圖像和不必要成分強度，生成不必要成分被削減的不 必要成分削減圖像。
[0156] 優(yōu)選地，削減器基于不必要成分強度，從通過使視差圖像合成而獲得的合成視差 圖像削減不必要成分，W生成不必要成分削減圖像(S109，S211)。優(yōu)選地，生成器基于差分 信息，確定不必要成分（S104，S204)。然后，增益分布確定器基于不必要成分，確定增益分 布。更優(yōu)選地，生成器生成關(guān)于不必要成分的圖像(第一不必要成分圖像）。然后，增益分布 確定器依據(jù)圖像(第一不必要成分圖像)的輝度值LU, y)，確定增益分布(如由表達式(3)表 示）。更優(yōu)選地，強度確定器基于增益分布和圖像的輝度值，確定不必要成分強度Kx, y)(如 由表達式(4)表示）。
[0157] 優(yōu)選地，生成器基于視差圖像和不必要成分，確定削減率分布RU,y)。然后，增益 分布確定器依據(jù)削減率分布，確定增益分布。更優(yōu)選地，生成器基于視差圖像和差分信息， 確定削減率分布(S206，S207)。
[0158] 優(yōu)選地，通過將多個視差圖像中的各個設(shè)置為基準圖像，并且計算基準圖像與除 基準圖像之外的視差圖像之間的差分，來獲得差分信息。優(yōu)選地，通過計算兩個視差圖像之 間的差分的絕對值，來獲得差分信息。優(yōu)選地，多個視差圖像是基于經(jīng)過光學(xué)系統(tǒng)的光瞳中 的互不相同的區(qū)域的光束而生成的圖像。
[0159] 作為各實施例的變型例，圖像處理裝置（圖像處理器204)可W包括不必要成分確 定器(不要成分檢測器204a)、增益分布確定器(增益分布獲取器204b) W及削減器(不必要 成分削減器204d)。不必要成分確定器生成關(guān)于多個視差圖像的差分信息，W基于差分信息 確定不必要成分。增益分布確定器基于不必要成分，確定增益分布。削減器基于視差圖像、 不必要成分W及增益分布，生成不必要成分被削減的不必要成分削減圖像。
[0160] 其他實施例
[0161] 還可W通過讀出并執(zhí)行記錄在存儲介質(zhì)（也可更完整地稱為"非暫時性計算機可 讀存儲介質(zhì)"）上的計算機可執(zhí)行指令(例如，一個或更多個程序）W執(zhí)行上述實施例中的一 個或更多個的功能、并且/或者包括用于執(zhí)行上述實施例中的一個或更多個的功能的一個 或更多個電路(例如，專用集成電路(ASIC))的系統(tǒng)或裝置的計算機，來實現(xiàn)本發(fā)明的實施 例，并且，可W利用通過由系統(tǒng)或裝置的計算機例如讀出并執(zhí)行來自存儲介質(zhì)的計算機可 執(zhí)行指令W執(zhí)行上述實施例中的一個或更多個的功能、并且/或者控制一個或更多個電路 W執(zhí)行上述實施例中的一個或更多個的功能的方法，來實現(xiàn)本發(fā)明的實施例。計算機可W 包括一個或更多個處理器(例如，中央處理單元(CPU),微處理單元(MPU))，并且可W包括分 開的計算機或分開的處理器的網(wǎng)絡(luò)，W讀出并執(zhí)行計算機可執(zhí)行指令。計算機可執(zhí)行指令 可W例如從網(wǎng)絡(luò)或存儲介質(zhì)被提供給計算機。存儲介質(zhì)可W包括例如硬盤、隨機存取存儲 器(RAM)、只讀存儲器(ROM)、分布式計算系統(tǒng)的存儲器、光盤(諸如壓縮光盤(CD)、數(shù)字通用 光盤(DVD)或藍光光盤(BD)?)、閃存裝置W及存儲卡等中的一個或更多個。
[0162] 根據(jù)各實施例，能夠提供不用多次成像，而能夠有效地確定拍攝圖像中包含的不 必要成分的強度，W從拍攝圖像削減不必要成分的圖像處理裝置、攝像裝置W及圖像處理 方法。
[0163] 雖然參照示例性實施例對本發(fā)明進行了描述，但是應(yīng)當(dāng)理解，本發(fā)明不限于所公 開的示例性實施例。應(yīng)當(dāng)對所附權(quán)利要求的范圍給予最寬的解釋，W使其涵蓋所有運些變 型例W及等同的結(jié)構(gòu)和功能。
【主權(quán)項】
1. 一種圖像處理裝置，所述圖像處理裝置包括： 生成器，其被構(gòu)造為生成關(guān)于多個視差圖像的差分信息； 增益分布確定器，其被構(gòu)造為基于所述差分信息，確定增益分布； 強度確定器，其被構(gòu)造為基于所述增益分布，確定不必要成分強度；以及 削減器，其被構(gòu)造為基于所述視差圖像和所述不必要成分強度，生成削減了不必要成 分的不必要成分削減圖像。2. 根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于，所述削減器被構(gòu)造為基于所述不 必要成分強度，從通過合成所述視差圖像而獲得的合成視差圖像削減不必要成分，以生成 所述不必要成分削減圖像。3. 根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于， 所述生成器被構(gòu)造為基于所述差分信息，確定不必要成分，并且 所述增益分布確定器被構(gòu)造為基于所述不必要成分，確定所述增益分布。4. 根據(jù)權(quán)利要求3所述的圖像處理裝置，其特征在于， 所述生成器被構(gòu)造為生成關(guān)于所述不必要成分的圖像，并且 所述增益分布確定器被構(gòu)造為依據(jù)所述圖像的輝度值，確定所述增益分布。5. 根據(jù)權(quán)利要求4所述的圖像處理裝置，其特征在于，所述強度確定器被構(gòu)造為基于所 述增益分布和所述圖像的所述輝度值，確定所述不必要成分強度。6. 根據(jù)權(quán)利要求3所述的圖像處理裝置，其特征在于， 所述生成器被構(gòu)造為基于所述視差圖像和所述不必要成分，確定削減率分布，并且 所述增益分布確定器被構(gòu)造為依據(jù)所述削減率分布，確定所述增益分布。7. 根據(jù)權(quán)利要求6所述的圖像處理裝置，其特征在于，所述生成器被構(gòu)造為基于所述視 差圖像和所述差分信息，確定所述削減率分布。8. 根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于，通過將所述多個視差圖像中的各 個設(shè)置為基準圖像，并計算該基準圖像與除該基準圖像之外的視差圖像之間的差分，來獲 得所述差分信息。9. 根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于，通過計算兩個視差圖像之間的差 分的絕對值，來獲得所述差分信息。10. 根據(jù)權(quán)利要求1至9中任一項所述的圖像處理裝置，其特征在于，所述多個視差圖像 是基于經(jīng)過光學(xué)系統(tǒng)的光瞳中的互不相同的區(qū)域的光束而生成的圖像。11. 一種攝像裝置，所述攝像裝置包括： 攝像設(shè)備，其被構(gòu)造為光電轉(zhuǎn)換經(jīng)由光學(xué)系統(tǒng)形成的光學(xué)像，以輸出多個視差圖像； 確定器，其被構(gòu)造為確定關(guān)于所述多個視差圖像的差分信息； 計算器，其被構(gòu)造為基于所述差分信息，計算增益分布； 強度確定器，其被構(gòu)造為基于所述增益分布，確定不必要成分強度；以及 削減器，其被構(gòu)造為基于所述視差圖像和所述不必要成分強度，生成削減了不必要成 分的不必要成分削減圖像。12. 根據(jù)權(quán)利要求11所述的攝像裝置，其特征在于， 所述多個視差圖像是基于經(jīng)過所述光學(xué)系統(tǒng)的光瞳中的互不相同的區(qū)域的光束而生 成的圖像， 所述攝像設(shè)備包括共享單個微透鏡的多個像素，并且 所述多個像素被構(gòu)造為接收經(jīng)過所述光學(xué)系統(tǒng)的光瞳中的互不相同的區(qū)域的光束。13. 根據(jù)權(quán)利要求11所述的攝像裝置，其特征在于，所述多個視差圖像是通過將經(jīng)過所 述光學(xué)系統(tǒng)的光瞳中的互不相同的區(qū)域的光束，引導(dǎo)到所述攝像設(shè)備的互不相同的像素而 生成的圖像。14. 一種圖像處理方法，所述圖像處理方法包括如下的步驟： 確定關(guān)于多個視差圖像的差分信息； 基于所述差分信息，計算增益分布； 基于所述增益分布，確定不必要成分強度；以及 基于所述視差圖像和所述不必要成分強度，生成削減了不必要成分的不必要成分削減 圖像。15. -種圖像處理裝置，所述圖像處理裝置包括： 不必要成分確定器，其被構(gòu)造為生成關(guān)于多個視差圖像的差分信息，以基于所述差分 信息確定不必要成分； 增益分布確定器，其被構(gòu)造為基于所述不必要成分，確定增益分布；以及 削減器，其被構(gòu)造為基于所述視差圖像、所述不必要成分以及所述增益分布，生成削減 了不必要成分的不必要成分削減圖像。16. -種攝像裝置，所述攝像裝置包括： 攝像設(shè)備，其被構(gòu)造為光電轉(zhuǎn)換經(jīng)由光學(xué)系統(tǒng)形成的光學(xué)像，以輸出多個視差圖像； 不必要成分確定器，其被構(gòu)造為生成關(guān)于所述多個視差圖像的差分信息，以基于所述 差分信息確定不必要成分； 增益分布確定器，其被構(gòu)造為基于所述不必要成分，確定增益分布；以及 削減器，其被構(gòu)造為基于所述視差圖像、所述不必要成分以及所述增益分布，生成削減 了不必要成分的不必要成分削減圖像。17. -種圖像處理方法，所述圖像處理方法包括如下的步驟： 生成關(guān)于多個視差圖像的差分信息，以基于所述差分信息確定不必要成分； 基于所述不必要成分，確定增益分布；以及 基于所述視差圖像、所述不必要成分以及所述增益分布，生成削減了不必要成分的不 必要成分削減圖像。
【文檔編號】H04N13/02GK105939471SQ201610112223
【公開日】2016年9月14日
【申請日】2016年2月29日
【發(fā)明人】江口薰, 井上智曉
【申請人】佳能株式會社