專利名稱：圖像處理器、圖像處理方法和攝像裝置的制作方法
技術(shù)領(lǐng)域：
本技術(shù)涉及對例如用于立體視覺的左視點圖像和右視點圖像執(zhí)行圖像處理的圖像處理器、圖像處理方法和包括該圖像處理器的攝像裝置。
背景技術(shù)：
已提出和開發(fā)出各種攝像裝置。例如，已提出包括成像透鏡以及可在其左區(qū)域和右區(qū)域的透射(打開)狀態(tài)和遮蔽(關(guān)閉)狀態(tài)之間進行切換的快門的照相機(攝像裝置)(例如，參考日本專利No. 1060618、日本未審查專利申請公開No. 2002-34056以及日本未審查專利申請公開(公開的PCT申請日文譯文)No. H9-505906)。在這些攝像裝置中，當該快門的左區(qū)域和右區(qū)域以時分方式交替地打開和關(guān)閉時，可以獲得諸如左視點和右視點的攝像圖像的兩種圖像(左視點圖像和右視點圖像)。當利用預定技術(shù)將左視點圖像和右視點圖像呈現(xiàn)給人眼時，人可以感到這些圖像的立體效果。然而，上述攝像裝置中的大多數(shù)旨在拍攝靜止圖像。也提出了拍攝運動圖像的攝像裝置(例如，日本未審查專利申請公開No. H10-271534和2000-137203)，這些攝像裝置使用執(zhí)行幀順序光檢測驅(qū)動的所謂的全局快門型CCD(電荷耦合器件)作為圖像傳感器。

發(fā)明內(nèi)容
然而，近年來，CMOS (互補金屬氧化半導體)傳感器已成為主流，與CXD相比，其成本較低、功耗較少且處理速度較高。與上述CCD不同，CMOS傳感器是所謂的卷簾式快門型圖像傳感器，其執(zhí)行行順序光檢測驅(qū)動。上述CCD每次在每個幀中捕捉全屏，而該CMOS傳感器以行順序方式執(zhí)行，例如，從圖像傳感器上部至其下部的曝光或信號讀取，從而導致不同行的曝光時間、讀取時間等存在時間差。因此，當CMOS傳感器用在拍攝圖像同時通過上述快門執(zhí)行光路切換的攝像裝置中時，一個幀中所有行的曝光時間和該快門的每個區(qū)域的打開周期之間存在時間差。結(jié)果，無法從多個視點獲得高精密度的圖像。例如，在為立體視覺獲得兩個視點圖像(即，左視點圖像和右視點圖像)的情況下，來自左側(cè)和右側(cè)的透射光線在每個視點圖像中心周圍混合，因此，在觀察者趨向于注視的畫面中心周圍沒有出現(xiàn)水平視差(沒有獲得立體效果)。因此，考慮例如通過控制快門的切換時序、曝光時間等從而阻止來自不同視點的光線混合在一個畫面上來拍攝圖像。然而，在這種技術(shù)中，雖然在例如畫面中心部分中獲得期望的視差，但在該畫面上邊緣和下邊緣處減小(或消除)視差從而導致畫面上的視差不均勻。當利用具有該不均勻視差分布的視點圖像執(zhí)行立體顯示時，顯示圖像可能變得不自然。期望提供能夠獲得可以實現(xiàn)自然立體圖像顯示的視點圖像的圖像處理器和圖像處理方法以及攝像裝置。根據(jù)本技術(shù)的實施方式，提供了一種圖像處理器，包括視差校正部，根據(jù)圖像平面上的位置對從各個彼此不同視點拍攝的且均在圖像平面中具有不均勻視差分布的多個視點圖像中的每個的視差量進行校正。根據(jù)本技術(shù)的實施方式，提供了一種圖像處理方法，包括根據(jù)圖像平面上的位置對從各個彼此不同視點拍攝的且均在圖像平面中具有不均勻視差分布的多個視點圖像中的每個的視差量進行校正。在根據(jù)本技術(shù)實施方式的圖像處理器和圖像處理方法中，該視差校正部根據(jù)圖像平面上的位置對從各個彼此不同視點拍攝的且均在圖像平面中具有不均勻視差分布的多個視點圖像中的每個的視差量進行校正。因此，在每個視點圖像中，視差分布的不均勻性降低。根據(jù)本技術(shù)的實施方式，提供了一種攝像裝置，包括成像透鏡；快門，使得在多個光路中的每個光路的透射狀態(tài)和遮蔽狀態(tài)之間切換；攝像器件，檢測已通過各個光路的光線，從而輸出均對應于從各個彼此不同視點拍攝的多個視點圖像的攝像數(shù)據(jù)；控制部，對快門中光路的透射狀態(tài)和遮蔽狀態(tài)之間的切換進行控制；以及圖像處理部，對多個視點圖像執(zhí)行圖像處理。該圖像處理部包括根據(jù)圖像平面上的位置對多個視點圖像中的每個的視差量進行校正的視差校正部。在根據(jù)本技術(shù)實施方式的攝像裝置中，當快門在光路的透射狀態(tài)和遮蔽狀態(tài)之間切換時，攝像器件檢測已通過各個光路的光線，從而輸出均對應于多個視點圖像的攝像數(shù)據(jù)。在這種情況下，因為攝像器件以行順序方式操作，所以不同行的光檢測周期之間存在時間差；然而，在每個攝像幀中在攝像器件的操作時間(operation timing)進行各光路的透射狀態(tài)和遮蔽狀態(tài)之間的切換，該操作時間被從各個所述攝像幀中的第一行曝光的開始時間(start timing)延遲預定時間長度(predetermined time length)，從而獲得來自不同視點的光線沒有混合的視點圖像。在以該方式獲得的視點圖像中，圖像平面中的視差分布是不均勻的；然而，根據(jù)圖像平面上的位置校正視差量以降低不均勻性。在根據(jù)本技術(shù)實施方式的圖像處理器、圖像處理方法和攝像裝置中，視差校正部根據(jù)圖像平面上的位置對從各個彼此不同視點拍攝的且均在圖像平面中具有不均勻視差分布的多個視點圖像中的每個的視差量進行校正；因此使得每個視點圖像中視差的不均勻性降低。因此，可以獲得能夠?qū)崿F(xiàn)自然立體圖像顯示的視點圖像。應當理解，前面的一般描述和下面的詳細描述都是示例性的，旨在進一步說明所保護的技術(shù)。


包括附圖以提供對本發(fā)明的進一步理解，附圖并入說明書并構(gòu)成說明書的一部分。這些附圖示出實施方式并與說明書一起用于說明本技術(shù)的原理。圖1示出根據(jù)本技術(shù)實施方式的攝像裝置的總體構(gòu)造。圖2A和2B是圖1所示的快門的示意性平面圖。圖3是圖1所示的快門的示意性截面圖。圖4是示出圖1所示的快門的響應特性的實例的示圖。圖5是示出圖1所示的圖像處理部的構(gòu)造實例的功能框圖。圖6是用于說明在拍攝2D圖像(沒有切換光路)的情況下的檢測的光圖像的示意圖。
圖7是用于說明在圖1所示的攝像裝置中獲得左視點圖像的原理的示意圖。圖8是用于說明在圖1所示的攝像裝置中獲得右視點圖像的原理的示意圖。圖9是用于說明使用圖1所示的攝像裝置獲得的左視點圖像和右視點圖像之間的視差的示意圖。圖10是示出根據(jù)比較例1的圖像傳感器(CCD)的驅(qū)動時間和快門的打開/關(guān)閉時間之間的關(guān)系的示意圖。圖11是示出根據(jù)比較例2的圖像傳感器(CMOS)的驅(qū)動時間和快門的打開/關(guān)閉時間之間的關(guān)系的示意圖。圖12A和12B是分別通過圖11所示的時間控制獲得的左視點圖像和右視點圖像的示意圖。圖13是示出圖1所示的圖像傳感器的驅(qū)動時間和圖1所示的快門的打開/關(guān)閉時間之間的關(guān)系的示意圖。圖14是通過圖13所示的時間控制獲得的視點圖像的示意圖，其中部分(A)、(B)和(C)分別示出左視點圖像、右視點圖像和水平視差分布。圖15是用于說明視差校正處理(視差增大(視差增強))的示意圖。圖16是示出視差校正處理(視差增大(視差增強))的實例的示意圖。圖17是示出在視差校正處理之前的圖像中的視差量和立體效果之間的關(guān)系的示意圖。圖18是示出在視差校正處理后的圖像中的視差量和立體效果之間的關(guān)系的示意圖。圖19是示出根據(jù)變形例1的圖像處理部的構(gòu)造實例的功能框圖。圖20是用于說明根據(jù)變形例1的視差校正處理的優(yōu)點的示意圖。圖21是示出根據(jù)變形例2的圖像傳感器的驅(qū)動時間和快門的打開/關(guān)閉時間之間的關(guān)系的示意圖。圖22A至圖22C是通過圖21所示的時間控制獲得的視點圖像的示意圖，其中圖22A、22B和22C分別示出左視點圖像、右視點圖像和水平視差分布。圖23是示出對圖22A至圖22C所示的視點圖像的視差校正處理的實例的示意圖。圖M是用于說明根據(jù)變形例3的視差校正處理(視差減小(視差抑制))的示意圖。圖25是根據(jù)變形例4的攝像裝置的總體構(gòu)造。
具體實施例方式下面將參考附圖詳細說明本技術(shù)的優(yōu)選實施方式。將按下列順序給出說明。1.實施方式(圖像處理實例，其中利用差異圖對視差量隨著畫面位置變化的視點圖像執(zhí)行視差校正)2.變形例1 (在根據(jù)空間頻率執(zhí)行視差校正的情況下的實例)3.變形例2 (對其他視點圖像進行視差校正的實例)4.變形例3 (在減小視差量的情況下的實例)5.變形例4 (雙目攝像裝置的實例)
(實施方式)[攝像裝置1的構(gòu)造]圖1示出根據(jù)本技術(shù)實施方式的攝像裝置(攝像裝置1)的總體構(gòu)造。攝像裝置1從多個彼此不同的視點拍攝物體的圖像，從而以時分方式交替地獲得多個視點圖像(本文中，兩個視點圖像，即，左視點圖像和右視點圖像)作為運動圖像(或靜止圖像)。攝像裝置1是所謂的單目式攝像機，并可以通過快門控制執(zhí)行左光路和右光路的切換。攝像裝置1包括成像透鏡IOa和10b、快門11、圖像傳感器12、圖像處理部13、透鏡驅(qū)動部14、快門驅(qū)動部15、圖像傳感器驅(qū)動部16和控制部17。應注意，圖像處理部13相當于本技術(shù)的圖像處理器。然而，本技術(shù)的圖像處理方法是通過圖像處理部13的構(gòu)造和操作來實現(xiàn)，將不加以描述。成像透鏡IOa和IOb均由從物體捕捉光線的透鏡組構(gòu)成，快門11設置在成像透鏡IOa和IOb之間。應注意，快門11的位置沒有特別限制；然而，理想地，快門11優(yōu)選設置在成像透鏡IOa和IOb的瞳面上或光圈位置(未示出)。成像透鏡IOa和IOb用作例如所謂的變焦透鏡，并可以通過由透鏡驅(qū)動部14調(diào)節(jié)透鏡間隔等來改變焦距。應注意，成像透鏡IOa和IOb均不限于該可變焦點透鏡，也可以是固定焦點透鏡。(快門11的構(gòu)造)快門11被分割成兩個區(qū)域，S卩，左區(qū)域和右區(qū)域，并可以單獨地改變該區(qū)域的透射(打開)/遮蔽(關(guān)閉)狀態(tài)?？扉T11可以是能夠以這種方式改變該區(qū)域狀態(tài)的任何快門，例如，機械快門或諸如液晶快門的電快門。下面將更詳細地描述快門11的構(gòu)造。圖2A和圖2B示出快門11的平面構(gòu)造的實例?？扉T11具有兩個區(qū)域(沿著水平方向)，即，左區(qū)域和右區(qū)域(SL和SR)，快門11被控制以執(zhí)行在區(qū)域SL打開(區(qū)域SR關(guān)閉)(參考圖2A)的狀態(tài)和區(qū)域SR打開(區(qū)域SL關(guān)閉)(參考圖2B)的狀態(tài)之間交替切換。下面將以液晶快門作為實例描述該快門11的具體構(gòu)造。圖3示出作為液晶快門的快門11的區(qū)域SL和SR的邊界周圍的截面構(gòu)造。通過密封由玻璃等制成的基板101和106之間的液晶層104，并將偏振器107A貼合在基板101的光入射側(cè)，將分析器107B貼合在基板106的光發(fā)射側(cè)來構(gòu)造快門11。電極形成在基板101和液晶層104之間，并且該電極被分割成多個(本文中，對應于區(qū)域SL和SR的兩個)子電極102A。這兩個子電極102A可以單獨供給電壓。區(qū)域SL和SR的共用電極105設置在面向該基板101的基板106上。應注意，基板106上的電極通常但不限定為區(qū)域SL和SR的共用電極，并可以被分割成對應于該區(qū)域的子電極。定向膜(alignmentfilm) 103A和定向膜10 分別形成在子電極102A和液晶層104之間以及電極105和液晶層104之間。子電極102A和電極105是由例如ITO(銦錫氧化物)制成的透明電極。偏振器107A和分析器107B均使預定的偏振光選擇性地從其中透過，并以例如交叉尼科爾(cross-nicol)或平行尼科爾(parallel-nicol)狀態(tài)配置。液晶層104包括多種顯示模式(諸如STN(超扭曲向列型)、TN(扭曲向列型)和OCB(光學補償彎曲型))之一的液晶。本文優(yōu)選使用的液晶是當使快門11從關(guān)閉狀態(tài)變換成打開狀態(tài)(施加的電壓由低變高)時的響應特性基本上等同于當使快門11從打開狀態(tài)變換成關(guān)閉狀態(tài)(施加的電壓由高變低)時的響應特性(波形是對稱的)的液晶。然而，本文理想地使用的液晶是示出以下特性的液晶，其中從一種狀態(tài)變換成另一種狀態(tài)時的響應極其迅速，例如，如圖4所示，透射率從關(guān)閉狀態(tài)到打開狀態(tài)垂直升高(Fl)并從打開狀態(tài)到關(guān)閉狀態(tài)垂直下降(F2)。示出該響應特性的液晶的實例包括FLC(鐵電液晶)。在具有該構(gòu)造的快門11中，當通過子電極102A和電極105將電壓施加至液晶層104時，偏振器107A到分析器107B的透射率可以根據(jù)施加電壓的大小而變化。換言之，當使用液晶快門作為快門11時，快門11中打開狀態(tài)和關(guān)閉狀態(tài)之間的切換可以通過電壓控制來執(zhí)行。此外，當將用于施加電壓的電極分割成可被單獨驅(qū)動的兩個子電極102A時，可以使區(qū)域SL和SR的透射狀態(tài)和遮蔽狀態(tài)交替變化。圖像傳感器12是光電轉(zhuǎn)換元件，其基于已通過成像透鏡IOa和IOb以及快門11中預定區(qū)域的光線輸出光檢測信號。圖像傳感器12是包括例如以矩陣形式設置的多個光電二極管(光檢測像素)并以行順序方式執(zhí)行曝光和信號讀取的卷簾式快門型(行順序驅(qū)動型)攝像器件(例如，CMOS傳感器)。注意，以預定顏色順序布置的R、G和B濾色器(未示出)可以設置在圖像傳感器12的光檢測表面上。(圖像處理部I3的構(gòu)造)圖像處理部13基于由圖像傳感器12提供的攝像數(shù)據(jù)對攝像圖像(左視點圖像和右視點圖像)執(zhí)行預定的圖像處理，并包括存儲圖像處理之前或之后的攝像數(shù)據(jù)的存儲器(未示出)。圖像處理后的圖像數(shù)據(jù)可以不存儲，可以輸出至外部的顯示器等。圖5示出圖像處理部13的具體構(gòu)造。圖像處理部13包括視差校正部131和差異圖生成部133(深度信息獲得部)，圖像校正部130和132分別設置在視差校正部131的前一級和后一級中。視差校正部131改變和控制基于圖像傳感器12提供的攝像數(shù)據(jù)(左視點圖像DOL和右視點圖像DOR)的圖像(左視點圖像Ll和右視點圖像Rl)之間的視差量。視差校正部131對所提供的左視點圖像和所提供的右視點圖像之間的視差量進行校正。更具體地，根據(jù)圖像平面上的位置對在圖像平面中具有不均勻視差分布的多個視點圖像的視差量進行校正以降低視差量的不均勻性。此外在該實施方式中，視差校正部131基于差異圖生成部133提供的差異圖執(zhí)行上述校正。利用差異圖，執(zhí)行適于使物體的圖像出現(xiàn)在畫面平面前側(cè)或里側(cè)的立體效果的視差校正。換言之，可以校正視差量，從而使位于背面(遠離觀察者的側(cè))的物體的圖像出現(xiàn)在距離觀察者較遠處，并使得位于正面(靠近觀察者的側(cè))的物體的圖像出現(xiàn)在距離觀察者較近處(使視差引起的立體效果進一步增強)。差異圖生成部133通過例如立體匹配法基于攝像數(shù)據(jù)(左視點圖像數(shù)據(jù)DOL和右視點圖像數(shù)據(jù)DOR)生成所謂的差異圖(深度信息)。更具體地，確定左視點圖像和右視點圖像之間各個像素的差異(相位差、相移)以生成其中所確定的差異被分配給各個像素的圖。作為差異圖，可以確定各個像素的差異，并可以存儲分配給各個像素的差異，然而，可以確定均由預定數(shù)目的像素構(gòu)成的各個像素塊的差異，并可以存儲分配給各個像素塊的差異。差異圖生成部133中生成的差異圖作為圖像數(shù)據(jù)DD提供給視差校正部131。應該注意，本說明書中的“視差量”表示左視點圖像和右視點圖像之間在水平畫面方向的位移量(相移量)。圖像校正部130執(zhí)行諸如降噪過程或去馬賽克(demosaic)處理的校正處理，圖像校正部132執(zhí)行諸如Y校正處理的校正處理。
透鏡驅(qū)動部14是使成像透鏡IOa和IOb中預定透鏡沿著光軸移動從以改變焦距的致動器。響應于控制部17的時間控制，快門驅(qū)動部15單獨地驅(qū)動快門11中的左區(qū)域和右區(qū)域(SL和SR)打開或關(guān)閉。更具體地，在SL區(qū)域處在打開狀態(tài)時，快門驅(qū)動部15驅(qū)動快門11從而使區(qū)域SR變成關(guān)閉狀態(tài)，反之亦然。當拍攝運動圖像時，快門驅(qū)動部15驅(qū)動快門11以時分方式交替地改變區(qū)域SL和SR的打開/關(guān)閉狀態(tài)?？扉T11中左區(qū)域SL和右區(qū)域SR中每個的打開周期以1 1對應于幀(幀L或幀R)，并且每個區(qū)域的打開周期和幀周期近似相等。響應于控制部17的時間控制，圖像傳感器驅(qū)動部16對圖像傳感器12執(zhí)行驅(qū)動控制。更具體地，圖像傳感器驅(qū)動部16驅(qū)動上述卷簾式快門型圖像傳感器12以行順序方式執(zhí)行曝光和信號讀取。控制部17以預定時間控制圖像處理部13、透鏡驅(qū)動部14、快門驅(qū)動部15和圖像傳感器驅(qū)動部16的操作，微處理器等用作控制部17。如將在稍后將詳細描述，在該實施方式中，控制部17調(diào)整快門11的打開/關(guān)閉切換時間以使其從幀開始時間(第一行曝光開始時序)偏移預定的時間長度。[攝像裝置1的作用和效果](基本操作)在上述攝像裝置1中，響應于控制部17的控制，透鏡驅(qū)動部14驅(qū)動成像透鏡IOa和10b，快門驅(qū)動部15將快門11中左區(qū)域SL和右區(qū)域SR分別變成打開狀態(tài)和關(guān)閉狀態(tài)。然而，與這些操作同步，圖像驅(qū)動部16驅(qū)動圖像傳感器12。因此，執(zhí)行到左光路的切換，在圖像傳感器12中基于從左視點入射的光線獲得左視點圖像數(shù)據(jù)D0L。接著，快門驅(qū)動部15使快門11中右區(qū)域和左區(qū)域分別變成打開狀態(tài)和關(guān)閉狀態(tài)，并且圖像驅(qū)動部16驅(qū)動圖像傳感器12。因此，執(zhí)行從左光路到右光路的切換，在圖像傳感器12中基于從右視點入射的光線獲得右視點圖像數(shù)據(jù)DOR。然后，在圖像傳感器12中以時間序列獲得多個幀(攝像幀)，并且上述快門11以與獲得攝像幀(稍后描述的幀L和R)的時間序列同步的方式改變左區(qū)域和右區(qū)域的打開/關(guān)閉狀態(tài)，從而沿著時序交替地獲得與左視點圖像和右視點圖像對應的攝像數(shù)據(jù)，并將該攝像數(shù)據(jù)順序地提供給圖像處理部13。在圖像處理部13中，首先，圖像校正部130對基于以上述方式獲得的左視點圖像數(shù)據(jù)DOL和右視點圖像數(shù)據(jù)DOR攝取的圖像執(zhí)行諸如降噪處理或去馬賽克處理的校正處理。圖像校正處理后的圖像數(shù)據(jù)Dl提供給視差校正部131。然后，視差校正部131對基于圖像數(shù)據(jù)Dl的視點圖像(左視點圖像Ll和右視點圖像Rl)執(zhí)行稍后描述的視差校正處理以生成視點圖像(左視點圖像L2和右視點圖像R2)，然后將該視點圖像提供作為圖像數(shù)據(jù)D2提供給圖像校正部132。圖像校正部132對基于圖像數(shù)據(jù)D2的視點圖像執(zhí)行諸如Y校正處理的校正處理以生成與左視點圖像和右視點圖像相關(guān)的圖像數(shù)據(jù)Dout。以該方式生成的圖像數(shù)據(jù)Dout存儲在圖像處理部13中或提供給外部設備。(2.獲得視點圖像的原理)下面將參考圖6至圖8，描述利用單目照相機獲得左視點圖像和右視點圖像的原理。圖6至圖8等價于從上面觀察的攝像裝置1的視圖，然而，為了簡化，除了成像透鏡IOa和10b、快門11和圖像傳感器12之外，沒有示出其它組件，而且簡化了成像透鏡IOa和10b。首先，如圖6所示，下面將描述在沒有執(zhí)行左光路和右光路的切換的情況下(通常的2D攝像的情況下)檢測到的光圖像(出現(xiàn)在圖像傳感器12上的圖像)。在本文中，以在深度方向上位于彼此不同的位置的三個物體作為實例。更具體地，該三個物體為位于成像透鏡IOa和IOb的焦平面Sl上的物體A (人)、位于物體A里側(cè)(在距離成像透鏡IOa和IOb較遠的側(cè))的物體B (山)以及位于物體A前側(cè)(在距離成像透鏡IOa和IOb較近的側(cè))的物體C(花)。在該位置關(guān)系中，物體A的圖像形成在例如傳感器平面S2的中心周圍。另一方面，位于焦平面Sl里側(cè)的物體B的圖像形成在傳感器平面S2的前側(cè)(在距離成像透鏡IOa和IOb較近的側(cè))，物體C的圖像形成在傳感器平面S2的里側(cè)(在距離成像透鏡IOa和IOb較遠的側(cè))。換言之，聚焦在物體A上的圖像(AO)和散焦在物體B和物體C上的圖像(B0和CO)(模糊圖像)出現(xiàn)在傳感器平面S2上。(左視點圖像)在執(zhí)行左光路和右光路的切換情況下，以這種位置關(guān)系出現(xiàn)在傳感器平面S2上的三個物體A至C的圖像如下變化。例如，在快門驅(qū)動部15驅(qū)動快門11以使左區(qū)域SL和右區(qū)域SR分別變成打開狀態(tài)和關(guān)閉狀態(tài)的情況下，如圖7所示，左光路通過快門11，而右光路被快門11遮蔽。在這種情況下，即使右光路被遮蔽，聚焦在位于焦平面Sl上的物體A上的圖像(AO)也形成在傳感器平面S2上，與沒有執(zhí)行光路的切換的上述情況相同。然而，散焦在位于焦平面Sl之外的物體B和C上的圖像呈現(xiàn)為圖像(B0’和CO’)，其中物體B和C分別向彼此相反的水平方向移動(移動方向dl和d2)。(右視點圖像)另一方面，在快門驅(qū)動部15驅(qū)動快門1以使右區(qū)域SR和左區(qū)域SL分別變成打開狀態(tài)和關(guān)閉狀態(tài)的情況下，如圖8所示，右光路通過快門11，而左光路被遮蔽。在這種情況下，聚焦在位于焦平面Sl上的物體A上的圖像形成在傳感器平面S2上，而散焦在位于焦平面Sl之外的物體B和C上的圖像呈現(xiàn)為圖像(B0’和CO’)，其中物體B和C分別向彼此相反的水平方向移動(移動方向d3和d4)。移動方向d3和d4分別與上述左視點圖像中的移動方向dl和d2相反。(左視點圖像和右視點圖像之間的視差)如上所述，改變快門11中區(qū)域SL和SR的打開/關(guān)閉狀態(tài)以執(zhí)行切換對應于左視點和右視點的光路的切換，從而獲得左視點圖像Ll和右視點圖像R1。此外，如左視點圖像和右視點圖像中描述的散焦的物體圖像在相反的水平方向移動，所以沿著水平方向的位移量(相位差)是引起立體效果的視差量。例如，如圖9中的部分(A)和(B)所示，關(guān)于物體B，左視點圖像Ll中圖像B0’的位置(BIl)和右視點圖像Rl中圖像B0"的位置(BIk)之間在水平方向上的位移量是物體B的視差量。同樣地，關(guān)于物體C，左視點圖像Ll中圖像⑶，的位置(ClJ和右視點圖像Rl中圖像C0"的位置(CIk)之間在水平方向上的位移量W。1是物體C的視差量。當利用諸如偏振系統(tǒng)、幀順序系統(tǒng)或投影系統(tǒng)的3D顯示方法顯示左視點圖像Ll和右視點圖像Rl時，觀察者可以感到例如所觀察的圖像的以下立體效果。在上述實例中，所觀察的圖像具有該立體效果，即，當沒有視差的物體A(人)出現(xiàn)在顯示屏(參考平面)上時，物體B(山)出現(xiàn)在該參考平面的里側(cè)，而物體C(花)出現(xiàn)在該參考平面的前側(cè)。
(3.快門11和圖像傳感器12的驅(qū)動時間)接下來，下面將參考比較例(比較例1和2)詳細描述快門11中的打開/關(guān)閉切換操作，以及圖像傳感器12中的曝光和信號讀取。圖10中的部分㈧和⑶示意性示出在比較例1中圖像傳感器(CCD)的曝光/讀取時間和快門的打開/關(guān)閉切換時間。此外，圖11中的部分(A)和(B)示意性示出在比較例2中圖像傳感器(CMOS)的曝光/讀取時間和快門的打開/關(guān)閉切換時間。注意，在本說明書中，幀周期fr對應于相當于運動圖像的幀周期的一半的周期Ofr =運動圖像的幀周期)。此外，圖10和11中的部分(A)中的斜線陰影部分對應于曝光周期。應注意，雖然參考以運動圖像為實例的情況進行描述，然而同樣適用于拍攝靜止圖像的情況。(比較例1)在利用C⑶作為圖像傳感器的比較例1中，畫面是以幀順序方式共同驅(qū)動的，因此，如圖10中的部分(A)所示，不存在畫面(攝像畫面)曝光周期的時間差，并且信號讀取(讀入)與曝光同時執(zhí)行。另一方面，執(zhí)行左區(qū)域100L和右區(qū)域100R的打開狀態(tài)和關(guān)閉狀態(tài)的切換以在左視點圖像的曝光周期內(nèi)使左區(qū)域100L變成打開狀態(tài)(同時使右區(qū)域100R變成關(guān)閉狀態(tài))，并在右視點圖像的曝光周期內(nèi)使右區(qū)域100R變成打開狀態(tài)(同時使左區(qū)域100L變成關(guān)閉狀態(tài))(參考圖10中的部分(B))。更具體地，以與曝光開始(幀周期開始)時間同步的方式執(zhí)行左區(qū)域100L和右區(qū)域100R的打開狀態(tài)和關(guān)閉狀態(tài)的切換。然而，在比較例1中，左區(qū)域100L和右區(qū)域100R的打開周期均與幀周期fr相等，而且與曝光周期相等。(比較例2)在例如卷簾式快門型CMOS傳感器用作圖像傳感器的情況下，與上述CCD不同，例如，從畫面上部到其下部(沿著掃描方向S)以行順序方式執(zhí)行驅(qū)動。換言之，如圖11的部分(A)所示，在畫面中，不同行之間曝光開始時間或信號讀取(讀入)時間不同。因此，畫面中不同位置處的曝光周期存在時間差。在使用這種CMOS傳感器的情況下，當以與第一行曝光開始時間同步的方式執(zhí)行快門中的打開狀態(tài)和關(guān)閉狀態(tài)的切換時(參考圖11的部分(B))，在完成整個畫面(所有行)曝光之前執(zhí)行光路的切換。結(jié)果，在左視點圖像LlOO和右視點圖像RlOO中，檢測到通過彼此不同的光路的光線的混合，其引起所謂的水平串擾(horizontal crosstalk)。例如，在左視點圖像LlOO的拍攝幀中，當左光路的通過光線的受光量從畫面上部到其下部逐漸減少時，右光路的通過光線的受光量從畫面上部到其下部逐漸增大。因此，例如，如圖12A所示，在左視點圖像L100中，上部區(qū)域Dl主要基于來自左視點的光線形成，而下部區(qū)域D3主要基于來自右視點的光線形成，中心區(qū)域D2周圍的視差量由于來自各個視點的光線混合而減小(由于串擾)。同樣地，在右視點圖像R100中，例如，如圖12B所示，上部區(qū)域Dl主要基于來自右視點的光線形成，而下部區(qū)域D3主要基于來自左視點的光線形成，中心區(qū)域D2周圍的視差量由于串擾而減小。注意，圖12中的顏色濃淡表示偏向于多個視點成分之一的偏向，并且顏色較深的區(qū)域中具有來自左視點和右視點之一的光線的受光量。因此，在左視點圖像和右視點圖像以預定方法顯示的情況下，減小(或消除)畫面中心周圍的視差量；因此無法顯示立體圖像(顯示出類似于平面2D圖像的圖像)，而且在圖像(畫面)頂部和底部沒有獲得期望的立體效果。
因此，在該實施方式中，在幀(攝像幀)L和R中，快門11中打開狀態(tài)和關(guān)閉狀態(tài)之間的切換從圖像傳感器12中第一行曝光開始時間延遲了預定時間長度。更具體地，如圖13中的部分㈧和⑶所示，快門11中區(qū)域SL和SR的打開狀態(tài)和關(guān)閉狀態(tài)之間的切換從第一行曝光開始時間t0延遲了 1/2的曝光周期T。換言之，這等同于快門11中區(qū)域SL和SR的打開狀態(tài)和關(guān)閉狀態(tài)之間的切換以中心行曝光開始時間tl在掃描方向S執(zhí)行的情況。因此，在幀L和R中，通過快門11的區(qū)域SL和SR的光線在畫面的上部區(qū)域和下部區(qū)域中檢測到，而從期望視點通過的光線主要在畫面中心周圍檢測到。更具體地，如圖14中的部分㈧所示，在對應于幀L的左視點圖像Ll中，左視點的光線的受光量在畫面中心周圍最大，但向該畫面的上邊緣和下邊緣逐漸減小。另一方面，右視點的光線的受光量在該畫面中心周圍最小，但向該畫面的上邊緣和下邊緣逐漸增大。然而，如圖14中的部分(B)所示，在對應于幀R的右視點圖像Rl中，右視點的光線的受光量在畫面中心周圍最大，但向該畫面上邊緣和下邊緣逐漸減小。另一方面，左視點的光線的受光量在該畫面中心周圍最小，但向該畫面的上邊緣和下邊緣逐漸增大。注意，圖14中的部分(A)和(B)中的顏色濃淡表示視點成分之一的偏向，并且顏色較深的區(qū)域具有較大的左視點(或右視點)的光線的受光量。因此，如圖14中的部分(C)所示，左視點圖像Ll和右視點圖像Rl之間的視差量在畫面中心周圍最大，但向畫面的上邊緣和下邊緣逐漸減小。注意，在這種情況下，當在畫面上邊緣和下邊緣(最高線和最低線)處左視點和右視點的光線的受光量為1/2且彼此相等時，視差基本消除(形成平面圖像)。然而，在該實施方式中，快門11中區(qū)域SL和SR的曝光周期T和打開周期與幀周期fr(例如，8. 3ms)相等，并且快門11中打開狀態(tài)和關(guān)閉狀態(tài)之間的切換從第一行曝光開始時間延遲了 T/2周期(例如，4. 15ms)。(4.視差校正處理)與上述左視點圖像Ll和上述右視點圖像Rl的情況相同，對于在圖像平面中具有不均勻視差分布的視點圖像(在該實施方式中，視差量從中心到上邊緣和下邊緣逐漸減小)，立體效果在畫面的中心部分及其上部和下部之間有所不同，而且有可能形成不自然的顯示圖像(觀察者可能會感到圖像的不舒服感)。因此，在該實施方式中，圖像處理部13對具有不均勻視差分布的每個視點圖像執(zhí)行下面的視差校正處理。更具體地，視差校正部131根據(jù)圖像平面上的位置，對圖像數(shù)據(jù)Dl (左視點圖像DlL和右視點圖像DlR)執(zhí)行視差校正。例如，在基于圖像數(shù)據(jù)Dl的左視點圖像Ll和右視點圖像Rl具有圖15中的部分㈧所示視差分布(通過圖13中的部分㈧和⑶所示時間控制獲得的視差分布)的情況下，通過如圖15中的部分(B)所示的隨著圖像平面中不同位置變化的校正量執(zhí)行視差校正。更具體地，執(zhí)行校正以使校正量從畫面中心到上邊緣和下邊緣逐漸增大。換言之，調(diào)整校正量以使其在視差量較小的位置處較大，而在視差量較大的位置處較小。通過根據(jù)畫面位置執(zhí)行的該視差校正，可以在圖像平面中生成具有如圖15中的部分(C)所示的基本均勻的視差分布(降低了視差分布的不均勻性)的視點圖像。然而，在該實施方式中，如稍后詳細描述，增強(增大)視差量較小的位置處的視差量從而獲得均勻的視差分布。然而，這種校正可以例如通過調(diào)整圖像數(shù)據(jù)Dl中每行數(shù)據(jù)的校正量來執(zhí)行。另一方面，差異圖生成部133基于所提供的左視點圖像數(shù)據(jù)DOL和所提供的右視點圖像數(shù)據(jù)DOR生成差異圖。更具體地，確定左視點圖像和右視點圖像之間各個像素的差異以生成存儲分配給各個像素的所確定的差異的圖。然而，作為差異圖，如上所述，可以確定待存儲的各個像素的差異；然而，可以確定均由預定數(shù)目的像素構(gòu)成的各個像素塊的差異，并可以存儲分配給各個像素塊的所確定的差異。差異圖生成部133中生成的差異圖作為圖像數(shù)據(jù)DD提供給視差校正部131。在該實施方式中，視差校正部131利用差異圖執(zhí)行上述視差校正。在這種情況下，根據(jù)圖像平面上的位置通過水平移動圖像位置(改變相移量)執(zhí)行上述校正，然而，出現(xiàn)在前側(cè)的物體圖像和出現(xiàn)在里側(cè)的物體圖像在彼此相反的方向移動(如稍后詳細描述)。換言之，需要根據(jù)每個物體圖像的立體效果調(diào)整其移動方向。在該差異圖中，存儲了對應于分配給圖像平面上每個位置的立體效果的深度信息，因此，可以利用這種差異圖執(zhí)行適于物體圖像的每個立體效果的視差校正。更具體地，當控制視差量以使位于里側(cè)(遠離觀察者的側(cè))的物體圖像出現(xiàn)在距離觀察者較遠處，并使位于前側(cè)(靠近觀察者的側(cè))的物體圖像出現(xiàn)在距離觀察者較近處，可以執(zhí)行上述校正。換言之，當增大具有不同立體效果的多個物體圖像的視差量以增強各個立體效果時，可以在圖像平面中獲得均勻的視差分布。下面將描述該增大視差量的操作的實例。(視差量的增大操作)更具體地，如圖16中的部分(A)和(B)所示，視差校正部131在水平方向(X方向)在左視點圖像Ll和右視點圖像Rl的每個中移動物體B位置，從而使視差量從Wbl增大到恥2(恥1 < Wb2)。另一方面，在水平方向在左視點圖像Ll和右視點圖像Rl的每個中移動物體C的圖像位置，從而使視差量從Wcl增大到Wc2 (ffc 1 < Wc2)。更具體地，將物體B在負(-)X方向(實線箭頭所述)從左視點圖像Ll中的位置BIl移動到左視點圖像L2中的位置B2L。另一方面，將物體B在正(+)X方向(虛線箭頭所示)從右視點圖像Rl中的位置BIk移動到右視點圖像R2中的B2K。因此，使物體B的視差量從Wbl增大到Wb2。另一方面，當將物體C在正(+)X方向(虛線箭頭所示)從左視點圖像Ll中的位置Cl移動到左視點圖像L2中的位時，將物體C在負(-)X方向(實線箭頭所示)從右視點圖像Rl中的位置CIk移動到右視點圖像R2中的位置C2K。因此，使物體C的視差量從Wcl增大到Wc2。應注意，沒有視差的物體A的位置Ak和AIk沒有變化(視差量保持為0)，并且設置在左視點圖像L2和右視點圖像R2中的相同位置處。在圖16中的上述部分㈧和⑶中示出的物體B和C的位置可以認為是物體B和C的某行數(shù)據(jù)上的點，并且在基于上述校正量分布對例如每行數(shù)據(jù)中的這些點位置執(zhí)行視差增大處理時，當執(zhí)行適于每個物體立體效果的視差控制(增強每個立體效果)時，圖像平面中的視差分布被校正以達到基本均勻。圖17是用于說明分別對應于左視點圖像數(shù)據(jù)DOL和右視點圖像數(shù)據(jù)DOR的左視點圖像Ll和右視點圖像Rl中的視差量和立體效果之間的關(guān)系的示意圖。在左視點圖像Ll和右視點圖像Rl之間物體B和物體C的視差量分別為Wbl和Wcl的情況下，在深度方向上物體A至C的圖像的觀察位置如下。物體A的圖像在顯示屏(參考平面)S3上的位置Al’觀察到，物體B的圖像在位于與物體A的里側(cè)并與其相距距離Dabl的位置ΒΓ觀察到，物體C的圖像在位于物體A的前側(cè)并與其相距距離Dacl的位置Cl’觀察到。在這個實例中，在視差增大處理之前物體B和C的圖像在距離范圍Dl內(nèi)觀察到，距離范圍Dl等于距離Dabl和Dacl的總和。圖18是用于說明視差增大處理后的左視點圖像L2和右視點圖像R2中視差量和立體效果之間的關(guān)系的示意圖。在左視點圖像L2和右視點圖像R2之間物體B和物體C的視差量分別為恥2和Wc2的情況下，在深度方向上物體A至C的圖像的觀察位置如下。物體A的圖像在顯示屏(參考平面)S3上的位置A2，( = Al')觀察到，物體B的圖像在位于位置A2’的里側(cè)并與其相距距離Dab2(>Dabl)的位置B2’觀察到，物體C的圖像在位于位置A2’的前側(cè)并與其相距距離DaC2(>DaCl)的位置C2’觀察到。因此，當利用差異圖增大各個物體的視差量時，物體B和C的圖像在距離范圍D2( >距離范圍Dl)內(nèi)觀察至IJ，距離范圍D2等于距離Dal32和距離Dac2的總和。因而，在該實施方式中，當通過快門11在各個光路的透射狀態(tài)和遮蔽狀態(tài)之間進行時，圖像傳感器12檢測通過各個光路的光線以輸出均對應于左視點圖像和右視點圖像的攝像數(shù)據(jù)。在這種情況下，在行順序驅(qū)動型圖像傳感器12中，不同行之間的光檢測周期存在時間差；然而，在每個攝像幀中，各個光路的透射狀態(tài)和遮蔽狀態(tài)之間的切換從第一行曝光開始時間延遲了預定時間長度，從而獲得來自左視點和右視點的光線沒有混合的視點圖像。在以這種方式獲得的視點圖像中，圖像平面中的視差分布是不均勻的(從中心區(qū)域到上邊緣和下邊緣視差減小)。圖像處理部13根據(jù)圖像平面上的位置對視差量進行校正，從而降低視差分布的不均勻性并獲得基本均勻的視差分布。因此，可以獲得能夠?qū)崿F(xiàn)自然立體圖像顯示的視點圖像。接下來，下面將描述根據(jù)上述實施方式的視差校正處理的變形例(變形例1至3)和根據(jù)上述實施方式的攝像裝置的變形例(變形例4)。注意，與上述實施方式中相同的組件用相同的標號表示，并且不再進一步描述。(變形例1)圖19示出根據(jù)變形例1的圖像處理部(圖像處理部13A)的構(gòu)造實例。圖像處理部13A對上述實施方式中利用成像透鏡IOa和10b、快門11以及圖像傳感器12獲得的視點圖像執(zhí)行預定的圖像處理(包括視差校正處理)。圖像處理部13A包括圖像校正部130、視差校正部131a、圖像校正部132，和視差控制部133a。在該變形例中，與上述實施方式中的圖像處理部13不同，不包括視差圖生成部133，并且視差校正部131a根據(jù)圖像平面上的位置執(zhí)行視差校正，而沒有利用差異圖(深度信息)。更具體地，在圖像處理部13A中，與上述實施方式的情況相同，首先，圖像校正部130對基于由圖像傳感器12提供的左視點圖像數(shù)據(jù)DOL和右視點圖像數(shù)據(jù)DOR攝取的圖像執(zhí)行預定的校正處理，從而向視差校正部131a提供該處理后的圖像數(shù)據(jù)D1。另一方面，視差控制部133a利用預先存儲的過濾系數(shù)對例如視點圖像數(shù)據(jù)DOL和DOR的亮度信號執(zhí)行微分處理，然后視差控制部133a對該亮度信號執(zhí)行非線性變換，從而確定水平方向上的圖像移動量(視差控制數(shù)據(jù)DK)。將所確定的視差控制數(shù)據(jù)DK提供給視差控制部131a。視差校正部131a將對應于視差控制數(shù)據(jù)DK的圖像移動量增加至基于圖像數(shù)據(jù)Dl的左視點圖像Ll和右視點圖像Rl上。此時，與上述實施方式的情況相同，根據(jù)圖像平面上的位置執(zhí)行視差校正。例如，在左視點圖像Ll和右視點圖像Rl具有圖15中的部分㈧所示視差分布的情況下，在改變和控制視差量的同時，基于例如圖15中的部分(B)所示分布增強上述圖像移動量以使圖像平面中的視差分布達到基本均勻。在將該視差校正處理后的左視點圖像L2和右視點圖像R2作為圖像數(shù)據(jù)D2提供給圖像校正部132之后，圖像校正部132對左視點圖像L2和右視點圖像R2執(zhí)行預定的校正處理，然后左視點圖像L2和右視點圖像R2作為圖像數(shù)據(jù)Dout被存儲，或提供給外部設備。在變形例中，可以利用根據(jù)視點圖像中的空間頻率控制視差量的技術(shù)執(zhí)行視差校正。然而，在該變形例中的視差校正處理中，圖像移動方向限于一個水平方向。換言之，物體圖像在顯示平面的前向和后向中的一個方向移動。注意，物體圖像在哪個水平方向移動可以通過上述視差控制部133a中使用的過濾系數(shù)設定。因此，在該變形例中，與利用差異圖的上述實施方式不同，不論物體顯示在前側(cè)還是里側(cè)，物體圖像的顯示位置都僅在后向和前向中的一個方向移動。在參考例如上述實例描述的情況下，位于里側(cè)的物體B和位于前側(cè)的物體C的顯示位置都被控制以前向或后向移動。換言之，當物體B和C中一個的立體效果增強時，另一個的立體效果受到抑制。此外，圖像移動方向可以由用戶選擇或自動選擇。然而，考慮到所謂的邊框效應(frame effect)，優(yōu)選在使圖像向顯示屏里側(cè)移動時執(zhí)行視差校正。換言之，在實際的立體顯示中，左視點圖像和右視點圖像通過預定技術(shù)顯示在顯示器等上，在這種情況下，在待顯示圖像的上邊緣和下邊緣周圍的立體效果容易受到顯示邊框的影響。更具體地，如圖20所示，在圖像顯示在顯示器200上的情況下，觀察者的眼睛看到邊框200a和所顯示的圖像。例如，與在上述實例中，在執(zhí)行立體顯示以使人A2出現(xiàn)在顯示屏上并使山B2和花C2分別出現(xiàn)在顯示屏的里側(cè)和前側(cè)的情況下，例如，在區(qū)域E2周圍，對于花C2的距離感和對于邊框200a的底部邊框的距離感可能彼此不同從而在其間引起沖突。同樣地，在區(qū)域El周圍，對于山B2的距離感和對于邊框200a的頂部邊框的距離感可能彼此相沖突。因此，所顯示圖像可能被拉向?qū)谶吙?00a的邊框表面的平面(立體效果降低)從而引起不舒服的感覺。邊框200a的這種影響容易影響到特別是以在顯示有使圖像出現(xiàn)在邊框200a的前側(cè)(距離觀察者較近的側(cè))的立體效果的圖像(在這種情況下中，花C2在區(qū)域E2中)的立體效果。因此，優(yōu)選執(zhí)行視差控制以抑制使圖像出現(xiàn)在顯示屏前側(cè)的立體效果，即，使物體圖像向后移動。(變形例2)圖21中的部分(A)和部分(B)示意性示出根據(jù)變形例2的圖像傳感器(CMOS)的驅(qū)動時間和快門的打開/關(guān)閉時間。在該變形例中，與上述實例的情況相同，在行順序驅(qū)動圖像傳感器12中，快門11中打開狀態(tài)和關(guān)閉狀態(tài)之間的切換從第一行曝光開始時間延遲了預定時間長度。此外，快門11中每個區(qū)域的打開周期相當于以1 1對應于該區(qū)域的幀(幀L或幀R)，并且每個區(qū)域的打開周期和幀周期近似相等。然而，在該變形例中，在圖像傳感器12中，每行的曝光周期均減少(幀周期fr >曝光周期T’)。此時，第一行曝光與幀周期fr的開始同步，開始在曝光周期T’內(nèi)執(zhí)行信號讀取(信號讀取時間提前了預定時間，而曝光開始時間沒有變化)。圖像傳感器12的曝光周期可以利用電子快門功能等來調(diào)節(jié)。在該情況下，幀周期fr(=快門11的打開周期(關(guān)閉周期))為8. :3ms，而曝光周期減少到曝光可能周期的60%(曝光周期T’ =8. 3X0. 6 = 5ms)。然而，與上述實施方式的情況相同，快門11中打開狀態(tài)和關(guān)閉狀態(tài)之間的切換從第一行曝光開始時間延遲了相當于曝光周期T’的1/2的周期(2. 5ms) ο
因此，在每個幀L和R中均在畫面上部區(qū)域和下部區(qū)域中檢測到通過快門11中的區(qū)域SL和SR的光線混合；然而，來自期望視點的光線主要在其中心周圍檢測到。然而，在該變形例中，獲得期望視點的光線的范圍(沿著掃描方向S的范圍)變寬。更具體地，如圖22中的部分㈧所示，在左視點圖像Ll中，來自左視點的光線的受光量在畫面中心周圍最大，但向該畫面的下邊緣和上邊緣逐漸減小。另一方面，來自右視點的光線在該畫面中心周圍沒有檢測到，僅在該畫面的上邊緣和下邊緣周圍檢測到。然而，如圖22中的部分(B)所示，在右視點圖像Rl中，右視點的光線的受光量在畫面中心周圍最大，但向畫面的上邊緣和下邊緣逐漸減小。另一方面，左視點中的光線在該畫面周圍沒有檢測到，僅在該畫面的上邊緣和下邊緣周圍檢測到。應注意，圖22中的部分(A)和(B)中的顏色濃淡表示各視點成分之一的偏向，并且顏色較深的區(qū)域具有較大的左視點(或右視點)的光線的受光量。因此，如圖22中的部分(C)所示，左視點圖像Ll和右視點圖像Rl之間的視差量具有以下視差分布，其中視差量在從畫面中心至畫面上邊緣和下邊緣附近的較大范圍內(nèi)增大，但從該畫面上邊緣和下邊緣附近至上邊緣和下邊緣逐漸減小。應注意，在畫面上邊緣和下邊緣(最高線和最低線)處左視點和右視點的光線的受光量為1/2且彼此相等，因此，視差量為0(零)。如在該變形例中，視點圖像的視差分布不限于上述實施方式中的視差分布。對于在圖像平面中具有不均勻視差分布的視點圖像，可以基于根據(jù)該視差分布確定的校正量分布執(zhí)行視差校正。例如，當基于圖23中的部分(B)所示校正量分布，對具有圖23中的部分(A)所示的視差分布的視點圖像執(zhí)行視差校正處理時，可獲得具有圖23中的部分(C)所示均勻視差分布的視點圖像。(變形例3)在上述實施方式中，雖然增大(增強)視差量的操作被描述為視差控制操作的實例，然而在視差校正中，可以改變和控制視差量以使減小(抑制)視差量。換言之，例如，在參考如圖15中的部分(A)所示的上述視差分布的實例進行說明的情況下，增強了畫面上邊緣和下邊緣的視差量，但也可以抑制畫面中心處的視差量以使整個畫面的視差分布達到基本均勻。圖對中的部分(A)和(B)示出用于說明視差減小處理的示意圖。因此，在左視點圖像Ll和右視點圖像Rl中，物體B和C的位置沿著水平方向(X方向)移動以減小物體B和C的視差量。更具體地，物體B在正(+)X方向(虛線箭頭所示)從左視點圖像Ll中的位置Bl移動到左視點圖像L2中的位置B\。另一方面，物體B在負(-)X方向(實線箭頭所示)從右視點圖像Rl中的位置BIk移動到右視點圖像R2中的B2K。因此，使物體B的視差量從Wbl減小到ffb3(ffbl >ffb3)。另一方面，以類似方式減小物體C的視差量。然而，物體C在負(-)X方向(實線箭頭所示)從左視點圖像Ll中的位置Cl移動到左視點圖像L2中的C\。另一方面，物體C在正(+)X方向(虛線箭頭所示)從右視點圖像Rl中的位置CIk移動到右視點圖像R2中的位置C2K。因此，在視差校正處理中，視差量是可控制的，不僅可以增大，而且可以減小。(變形例4)[攝像裝置2的總體構(gòu)造]圖25示出根據(jù)變形例4的攝像裝置(攝像裝置2)的總體構(gòu)造。與根據(jù)上述實施方式的攝像裝置1的情況相同，攝像裝置2從左視點和右視點拍攝物體的圖像以獲得作為運動圖像(或靜止圖像)的左視點圖像和右視點圖像。然而，根據(jù)該變形例的攝像裝置2是在光路上具有從左視點和右視點捕捉光線LL和LR的成像透鏡IOal和IOb及成像透鏡10a2和IOb的所謂雙目照相機，并在各個光路上包括快門Ila和lib。成像透鏡IOb是用于各個光路的共用組件。此外，作為用于各個光路的共用組件，與根據(jù)上述實施方式的攝像裝置1的情況相同，攝像裝置2包括圖像傳感器12、圖像處理部13、透鏡驅(qū)動部18、快門驅(qū)動部19、圖像傳感器驅(qū)動部16和控制部17。成像透鏡IOal和IOb君有從左視點捕捉光線LL的透鏡組構(gòu)成，成像透鏡10a2和IOb均由從右視點捕捉光線LR的透鏡組構(gòu)成。快門Ila設置在成像透鏡IOal和IOb之間，快門lib設置在成像透鏡10a2和IOb之間。應注意，快門Ila和lib的位置沒有特別限制，然而，理想地，快門Ila和lib優(yōu)選設置在成像透鏡的瞳面上或光圈位置(未示出)。成像透鏡IOal和IOb (成像透鏡10a2和IOb)整體上用作例如變焦透鏡。成像透鏡IOal和IOb (成像透鏡10a2和IOb)可以通過由透鏡驅(qū)動部14調(diào)節(jié)透鏡間隔等來改變焦距。此外，透鏡組的每個均由一個透鏡或多個透鏡構(gòu)成。反光鏡110、111和112分別設置在成像透鏡IOal和快門Ila之間、成像透鏡10a2和快門lib之間以及快門Ila和快門lib之間。這些反光鏡110至112使光線LL和LR通過快門Ila和11b，然后進入成像透鏡10b?？扉TIla和lib被提供用于在左光路和右光路的透射狀態(tài)和遮蔽狀態(tài)之間切換，并控制快門Ila和lib的打開(光透射)狀態(tài)和關(guān)閉(光遮蔽)狀態(tài)之間的切換?？扉TIla和lib均可以為能夠執(zhí)行上述光路切換的任何快門，例如，機械快門或諸如液晶快門的電快門。透鏡驅(qū)動部18是使成像透鏡IOal和IOb (成像透鏡10a2和IOb)中預定透鏡沿著光軸移動的致動器。快門驅(qū)動部19執(zhí)行快門Ila和lib中每個的打開/關(guān)閉切換驅(qū)動。更具體地，當快門Ila處在打開狀態(tài)時，快門驅(qū)動部19驅(qū)動快門lib以使其變成關(guān)閉狀態(tài)，反之亦然。然而，當獲得作為運動圖像的視點圖像時，快門驅(qū)動部19驅(qū)動快門Ila和lib以使它們以時分方式交替地變成打開狀態(tài)和關(guān)閉狀態(tài)。[攝像裝置2的作用和效果]在上述攝像裝置2中，響應于控制部17的控制，透鏡驅(qū)動部18驅(qū)動成像透鏡IOal和10b，快門驅(qū)動部19使快門Ila和快門lib分別變成打開狀態(tài)和關(guān)閉狀態(tài)。此外，與這些操作同步，圖像傳感器驅(qū)動部16驅(qū)動圖像傳感器12以檢測光。因此，執(zhí)行到對應于左視點的左光路的切換，然后圖像傳感器12檢測來自物體的入射光線的光線LL以獲得左視點圖像數(shù)據(jù)D0L。然后，透鏡驅(qū)動部18驅(qū)動成像透鏡10a2和10b，快門驅(qū)動部19使快門lib和快門Ila分別變成打開狀態(tài)和關(guān)閉狀態(tài)。此外，與這些操作同步，圖像傳感器驅(qū)動部16驅(qū)動圖像傳感器12以檢測光。因此，執(zhí)行到對應于右視點的右光路的切換，圖像傳感器12檢測來自物體的入射光線的光線LR以獲得右視點圖像數(shù)據(jù)DOR。成像透鏡IOal和10a2的上述交替切換以及快門Ila和lib打開狀態(tài)和關(guān)閉狀態(tài)之間的上述交替切換以時分方式執(zhí)行，從而沿著時間序列交替地獲得與左視點圖像和右視點圖像對應的攝像數(shù)據(jù)，并將左視點圖像和右視點圖像的組合順序地提供給圖像處理部13。此時，與上述實施方式的情況相同，在攝像幀中，快門Ila和lib的打開狀態(tài)和關(guān)閉狀態(tài)之間的切換從圖像傳感器12中的第一行曝光開始延遲了預定時間長度。因此，與上述實施方式的情況相同，例如，可以生成具有如圖14中的部分(C)和圖15中的部分㈧所示的視差分布的視點圖像。然后，圖像處理部13對基于如上所述獲得的左視點圖像數(shù)據(jù)DOL和右視點圖像數(shù)據(jù)DOR的攝影圖像執(zhí)行預定的圖像處理，包括上述實施方式中描述的視差校正處理，從而生成例如用于立體視覺的左視點圖像和右視點圖像。所生成的視點圖像存儲在圖像處理部 13中，或提供給外部設備。如上所述，該技術(shù)可應用于通過分別為左光路和右光路設置成像透鏡構(gòu)成的雙目照相機。雖然參考實施方式和變形例描述了本技術(shù)，但本技術(shù)不限于此，并可以做出各種修改。例如，在上述實施方式等中，作為視差校正處理中的視差控制技術(shù)的實例，描述了利用通過立體匹配生成的差異圖的技術(shù)，和根據(jù)空間頻率移動圖像的技術(shù)，但是本技術(shù)中的視差校正處理也可以利用不同于上述視差控制技術(shù)的技術(shù)來實現(xiàn)。此外，在上述實施方式等中，通過切換兩個光路，S卩，左光路和右光路對兩個視點圖像，即，左視點圖像和右視點圖像執(zhí)行預定的圖像處理的情況被描述為實例；然而，視點不局限于左視點和右視點(水平方向)，并可以為頂部視點和底部視點(垂直方向)。此外，可以執(zhí)行三個或更多個光路的切換以獲得三個或更多個視點圖像。在這種情況下，例如，與根據(jù)上述實施方式的攝像裝置1的情況相同，該快門可以被分割成多個區(qū)域，或者與根據(jù)變形例4的攝像裝置2的情況相同，多個快門可以分別設置在光路上。另外，在上述實施方式等中，作為具有不均勻視差分布的視點圖像，使用了利用 CMOS傳感器通過使快門打開/關(guān)閉切換時間延遲曝光周期的1/2的攝像裝置拍攝的圖像； 然而，該快門的打開/關(guān)閉切換時間不具體限制于此。當要校正的視點圖像在圖像平面中具有不均勻視差分布時，本發(fā)明的目的是可實現(xiàn)的。本申請包含2010年11月2日向日本專利局提交的日本在先專利申請JP 2010-246509中所公開的主題，其全部內(nèi)容結(jié)合于此作為參考。本領(lǐng)域的技術(shù)人員應當理解，根據(jù)設計需求和其他因素，可以進行各種修改、組合、子組合和變形，均應包含在所附權(quán)利要求或其等同物的范圍之內(nèi)。
權(quán)利要求
1.一種圖像處理器，包括視差校正部，對從各個彼此不同的視點拍攝的且各自在圖像平面中具有不均勻視差分布的多個視點圖像中的每個視點圖像，根據(jù)在所述圖像平面上的位置校正視差量。
2.根據(jù)權(quán)利要求1所述的圖像處理器，其中，所述視差校正部對所述視差量進行校正以使所述圖像平面中的視差分布達到基本均勻。
3.根據(jù)權(quán)利要求2所述的圖像處理器，其中，所述視點圖像均具有所述視差量從所述圖像平面的中央到邊緣逐漸減小的視差分布，并且所述視差校正部對所述視差量進行校正以使所述視差量從所述圖像平面的中央到邊緣逐漸增強。
4.根據(jù)權(quán)利要求1至3中任一項所述的圖像處理器，其中，當每個所述視點圖像均包括多個物體圖像時，所述視差校正部對每個所述物體圖像的視差量進行校正。
5.根據(jù)權(quán)利要求4所述的圖像處理器，還包括基于所述多個視點圖像獲得深度信息的深度信息獲得部，其中，所述視差校正部使用所述深度信息對所述視差量進行校正。
6.根據(jù)權(quán)利要求1至3中任一項所述的圖像處理器，其中，所述視差校正部對所述視差量進行校正以使由所述多個視點圖像創(chuàng)建的立體圖像向后移動。
7.一種圖像處理方法，包括對從各個彼此不同的視點拍攝的且各自在圖像平面中具有不均勻視差分布的多個視點圖像中的每個視點圖像，根據(jù)所述圖像平面上的位置校正視差量。
8.一種攝像裝置，包括成像透鏡；快門，允許在多個光路中的每個光路的透射狀態(tài)和遮蔽狀態(tài)之間切換；攝像器件，檢測已通過各個光路的光線，從而輸出均對應于從各個彼此不同的視點拍攝的多個視點圖像的攝像數(shù)據(jù)；控制部，對所述快門中所述光路的透射狀態(tài)和遮蔽狀態(tài)之間的切換進行控制；以及圖像處理部，對所述多個視點圖像執(zhí)行圖像處理，其中，所述圖像處理部包括根據(jù)圖像平面上的位置對所述多個視點圖像中的每個的視差量進行校正的視差校正部。
9.根據(jù)權(quán)利要求8所述的攝像裝置，其中所述攝像器件以行順序方式操作，以及所述控制部控制所述快門在所述攝像器件的操作時間在所述光路的透射狀態(tài)和遮蔽狀態(tài)之間進行切換，所述操作時間在每個攝像幀中從第一行曝光的開始時間延遲了預定時間長度。
全文摘要
本發(fā)明公開了圖像處理器、圖像處理方法和攝像裝置。本發(fā)明提供了能夠獲得可以實現(xiàn)自然立體圖像顯示的視點圖像的圖像處理器。該圖像處理器包括視差校正部，根據(jù)圖像平面上的位置對從各個彼此不同的視點拍攝的且均在圖像平面中具有不均勻視差分布的多個視點圖像中的每個的視差量進行校正。
文檔編號G03B17/14GK102572468SQ201110329558
公開日2012年7月11日 申請日期2011年10月26日 優(yōu)先權(quán)日2010年11月2日
發(fā)明者田尻真一郎 申請人:索尼公司