專利名稱：圖像處理設(shè)備、圖像處理方法和程序的制作方法
技術(shù)領(lǐng)域：
本公開(kāi)涉及圖像處理設(shè)備、圖像處理方法和程序，并且更加具體地涉及可以生成可以立體觀看的三維圖像(3D圖像)的圖像處理設(shè)備、圖像處理方法和程序。
背景技術(shù)：
具有深度的作為立體圖像可見(jiàn)的對(duì)應(yīng)于立體視覺(jué)的圖像包括兩個(gè)圖像的組合，所述兩個(gè)圖像亦即左眼圖像和右眼圖像，它們是來(lái)自不同視點(diǎn)的圖像。為了獲得來(lái)自兩個(gè)視點(diǎn)的這些圖像，亦即雙眼視差圖像，例如兩個(gè)成像設(shè)備左右彼此分開(kāi)以執(zhí)行成像。一對(duì)捕捉的立體圖像包括成對(duì)圖像，亦即左眼圖像，其由左成像設(shè)備捕捉并且由左眼觀察；以及右眼圖像，其由右成像設(shè)備捕捉并且由右眼觀察。
包括成對(duì)的左眼圖像和右眼圖像的立體圖像對(duì)顯示在顯示設(shè)備上，所述顯示設(shè)備能夠通過(guò)將左眼圖像與右眼圖像分開(kāi)而向觀察者的左眼和右眼提供左眼圖像和右眼圖像，以便觀察者可以將圖像觀看為立體圖像。同時(shí)，在現(xiàn)有技術(shù)中，已提議了各種配置，以便使用從一個(gè)視點(diǎn)拍攝的常規(guī)二維圖像來(lái)生成對(duì)應(yīng)于立體視覺(jué)的包括左眼圖像和右眼圖像的雙眼視差圖像。例如，日本待審專利申請(qǐng)公布第8-30806號(hào)已公開(kāi)了一種設(shè)備，所述設(shè)備相對(duì)于靜止圖像或具有小運(yùn)動(dòng)的圖像將左眼圖像和右眼圖像在水平方向上轉(zhuǎn)移預(yù)定量，從而允許圖像被識(shí)別為突出。進(jìn)而，日本待審專利申請(qǐng)公布第2005-151534號(hào)已公開(kāi)了以下方法計(jì)算圖像的上部和下部的特征量，并且調(diào)整預(yù)先準(zhǔn)備的指示深度信息的多個(gè)場(chǎng)景結(jié)構(gòu)的結(jié)合率，從而通過(guò)簡(jiǎn)單結(jié)構(gòu)的組合來(lái)表達(dá)圖像。當(dāng)使用雙眼成像系統(tǒng)來(lái)捕捉立體圖像時(shí)，基線長(zhǎng)度和會(huì)聚角是用于確定雙眼視差值的重要因素?；€長(zhǎng)度指示兩個(gè)成像設(shè)備之間的距離，而會(huì)聚角則指示兩個(gè)成像設(shè)備的方向。圖I圖示了基于相同基線長(zhǎng)度的具有不同會(huì)聚角的立體成像系統(tǒng)。在圖I所示的三個(gè)雙眼成像系統(tǒng)(a)、(b)和(C)中，基線長(zhǎng)度全都是L，而會(huì)聚角則是平視、15°和30。。隨著基線長(zhǎng)度增加，左右圖像的雙眼視差值增加。會(huì)聚角對(duì)應(yīng)于這樣的點(diǎn)，在所述點(diǎn)處，左右圖像的雙眼視差值相對(duì)于位于會(huì)聚交叉點(diǎn)處的對(duì)象為0，并且對(duì)象離會(huì)聚交叉點(diǎn)越遠(yuǎn)，兩只眼睛的雙眼視差越增加。因此，當(dāng)如圖I (a)中圖示的那樣對(duì)象遠(yuǎn)離成像系統(tǒng)(攝影機(jī))時(shí)，在其中基線長(zhǎng)度很長(zhǎng)而會(huì)聚角很小(接近于平視)的狀態(tài)下適當(dāng)?shù)貓?zhí)行成像。同時(shí)，當(dāng)如圖I (C)中圖示的那樣對(duì)象在成像系統(tǒng)附近時(shí)，通常認(rèn)為在其中基線長(zhǎng)度很短而會(huì)聚角很大的狀態(tài)下適當(dāng)?shù)貓?zhí)行成像。然而，針對(duì)每個(gè)將要捕捉的對(duì)象調(diào)整基線長(zhǎng)度和會(huì)聚角是成問(wèn)題的，因?yàn)橛斜匾ㄙM(fèi)許多時(shí)間和精力。盡管這對(duì)于其中可以為調(diào)整花費(fèi)時(shí)間的專業(yè)成像是可能的，但是在普通的成像使用中，一般使用固定的基線長(zhǎng)度和會(huì)聚角。另外，為了使雙眼成像設(shè)備適合于在較寬的范圍內(nèi)成像對(duì)象，存在許多配置成具有如下條件的雙眼成像設(shè)備基線長(zhǎng)度具有預(yù)定值或更多，而會(huì)聚角則盡可能地小。這些成像設(shè)備不適于成像近距離處的對(duì)象，并且如上所述在成像時(shí)會(huì)發(fā)生各種問(wèn)題。圖2圖示了由具有離對(duì)象不同距離的雙眼成像系統(tǒng)A(IO)和雙眼成像系統(tǒng)B(20)執(zhí)行的立體成像的例子。雙眼成像系統(tǒng)A (10)離對(duì)象遠(yuǎn)，而雙眼成像系統(tǒng)B (20)離對(duì)象近。在兩個(gè)成像系統(tǒng)中，基線長(zhǎng)度和會(huì)聚角彼此相等。圖3圖示了作為圖2所示的雙眼成像系統(tǒng)A (10)和雙眼成像系統(tǒng)B (20)的成像結(jié)果的圖像。圖3 (a)圖示了由雙眼成像系統(tǒng)A (10)捕捉的圖像，而圖3 (b)則圖示了由雙眼 成像系統(tǒng)B (20)捕捉的圖像。與圖示了離對(duì)象遠(yuǎn)的雙眼成像系統(tǒng)A (10)所捕捉的圖像的圖3 (a)相比，圖示了離對(duì)象近的雙眼成像系統(tǒng)B (20)所捕捉的圖像的圖3 (b)示出了左右圖像之間的大視差值。如果左右相互地比較圖像中的對(duì)象所位于的區(qū)域，這就很明顯。圖3 (b)所示的圖像處于這樣一種狀態(tài)，在所述狀態(tài)下，視網(wǎng)膜圖像差非常大，并且在觀看圖像時(shí)造成不適和疲勞。此外，在圖3 (b)所示的圖像中，未反映在左眼圖像和右眼圖像中的一個(gè)上的區(qū)域反映在另一個(gè)上面，亦即，與圖3 (a)所示的兩個(gè)圖像相比，生成了許多閉塞區(qū)域。例如，在圖3 (b)所示的圖像對(duì)中，左眼圖像中示出的車燈或建筑物窗戶沒(méi)有示出在右邊圖像中。進(jìn)而，右眼圖像中示出的樹(shù)干沒(méi)有示出在左邊圖像中，并且生成了許多這樣的閉塞區(qū)域。如圖3 (b)所示，當(dāng)其中左右視網(wǎng)膜圖像之間的差具有預(yù)定值或更多的圖像或者其中生成了閉塞區(qū)域的圖像由觀察者通過(guò)立體視覺(jué)來(lái)觀察時(shí)，觀察者在許多情況下可能感覺(jué)不適或者眼睛疲勞。另一方面，當(dāng)這樣的現(xiàn)象如圖3 (a)所示的那樣最小化時(shí)，可以獲得舒適的立體視覺(jué)。參考圖I至圖3描述的過(guò)程對(duì)應(yīng)于當(dāng)來(lái)自兩個(gè)不同視點(diǎn)的拍攝圖像用作立體視覺(jué)圖像時(shí)的處理例子。同時(shí)，如上面簡(jiǎn)單地描述的那樣，存在這樣一種配置，在所述配置中，基于一個(gè)圖像通過(guò)圖像處理生成具有偽視差的兩個(gè)圖像，并且這兩個(gè)圖像用作立體視覺(jué)圖像。亦即，它指示了這樣一個(gè)過(guò)程，在所述過(guò)程中，對(duì)通過(guò)普通攝影機(jī)拍攝的一個(gè)2D圖像執(zhí)行2D/3D轉(zhuǎn)換過(guò)程，以生成左眼圖像和右眼圖像。由于2D/3D轉(zhuǎn)換過(guò)程根據(jù)一個(gè)圖像的信息來(lái)生成左右視差圖像，所以存在如下一般問(wèn)題視網(wǎng)膜圖像差小，并且觀察者識(shí)別的立體效果降低。然而，存在低概率的由大的視網(wǎng)膜圖像差或閉塞區(qū)域造成的不適或眼睛疲勞。圖4是圖示用于對(duì)圖2所示的雙眼成像系統(tǒng)B (20)所拍攝的一個(gè)左眼圖像執(zhí)行2D/3D轉(zhuǎn)換過(guò)程以生成左眼圖像和右眼圖像作為立體圖像的過(guò)程和處理結(jié)果的示圖。圖4上部的圖4 (b)與圖3 (b)相同，并且圖示了由圖2所示的雙眼成像系統(tǒng)B
(20)捕捉的兩個(gè)圖像。同時(shí)，圖4下部的圖4 (c)圖示了通過(guò)對(duì)作為圖4 (b)的一個(gè)圖像的左眼圖像執(zhí)行2D/3D轉(zhuǎn)換過(guò)程而生成的左眼圖像和右眼圖像。與雙眼成像系統(tǒng)B (20)所拍攝的圖4 (b)的左眼圖像和右眼圖像相比，通過(guò)2D/3D轉(zhuǎn)換過(guò)程生成的圖4 (c)的左眼圖像和右眼圖像沒(méi)有大的視網(wǎng)膜圖像差或閉塞區(qū)域。觀察圖4 (C)所示的圖像的觀察者可以感受舒適的立體視覺(jué)而不會(huì)感到疲勞或不適。如上所述，當(dāng)成像設(shè)備離對(duì)象近時(shí)，如果成像設(shè)備所拍攝的圖像在沒(méi)有任何圖像轉(zhuǎn)換過(guò)程的情況下用作立體圖像，則觀察者可能感覺(jué)不適或疲勞。同時(shí)，當(dāng)使用通過(guò)用于將二維圖像轉(zhuǎn)換成雙眼視差圖像的2D/3D轉(zhuǎn)換過(guò)程(立體轉(zhuǎn)換)而生成的圖像時(shí)，可以調(diào)整視差并生成不會(huì)造成上述不適或疲勞的圖像。然而，通過(guò)2D/3D轉(zhuǎn)換過(guò)程從一個(gè)圖像生成的圖像是具有偽視差的圖像。例如，當(dāng)成像設(shè)備位于離對(duì)象預(yù)定距離或更遠(yuǎn)距離的位置時(shí)，使用通過(guò)使用雙眼成像系統(tǒng)拍攝的立體圖像來(lái)執(zhí)行顯示，從而獲得正確地反映實(shí)際距離并實(shí)現(xiàn)舒適的立體視覺(jué)的圖像。 如上所述，取決于實(shí)際情形，在沒(méi)有任何圖像轉(zhuǎn)換過(guò)程的情況下使用由雙眼成像系統(tǒng)拍攝的左眼圖像和右眼圖像進(jìn)行的顯示和使用從一個(gè)圖像生成的2D/3D轉(zhuǎn)換圖像進(jìn)行的顯示中的任何一個(gè)都可以是優(yōu)選的。

發(fā)明內(nèi)容
考慮到前述境況，希望提供一種圖像處理設(shè)備、圖像處理方法和程序，通過(guò)它們可以提供對(duì)應(yīng)于舒適立體視覺(jué)的雙眼視差圖像，無(wú)論成像設(shè)備離對(duì)象是近還是遠(yuǎn)。根據(jù)本公開(kāi)的第一實(shí)施例，提供了一種圖像處理設(shè)備，該圖像處理設(shè)備包括圖像輸入單元，配置成接收從不同視點(diǎn)拍攝并且適用于立體視覺(jué)的第一左眼圖像和第一右眼圖像中的至少一個(gè)；以及立體圖像生成處理單元，配置成接收所述第一左眼圖像和所述第一右眼圖像中的一個(gè)，并且通過(guò)圖像轉(zhuǎn)換過(guò)程生成適用于立體視覺(jué)的第二左眼圖像和第二右眼圖像。在輸入到圖像輸入單元的第一左眼圖像和第一右眼圖像以及通過(guò)立體圖像生成處理單元生成的第二左眼圖像和第二右眼圖像當(dāng)中，兩個(gè)圖像可以被輸出作為將要應(yīng)用于立體視覺(jué)的圖像。進(jìn)一步，根據(jù)第一實(shí)施例，圖像處理設(shè)備可以包括輸出圖像選擇處理單元，配置成從輸入到所述圖像輸入單元的所述第一左眼圖像和所述第一右眼圖像以及通過(guò)所述立體圖像生成處理單元生成的所述第二左眼圖像和所述第二右眼圖像中選擇將要應(yīng)用于立體視覺(jué)的兩個(gè)圖像作為輸出圖像。進(jìn)一步，根據(jù)第一實(shí)施例，圖像處理設(shè)備可以包括深度圖生成處理單元，配置成接收所述第一左眼圖像和所述第一右眼圖像，基于對(duì)兩個(gè)輸入圖像的分析來(lái)計(jì)算圖像中拍攝的對(duì)象距離，生成對(duì)應(yīng)于像素區(qū)域的具有距離信息的深度圖，并且將所述深度圖輸出到輸出圖像選擇處理單元。進(jìn)一步，根據(jù)第一實(shí)施例，當(dāng)基于所述深度圖確定所述對(duì)象距離比較長(zhǎng)時(shí)，所述輸出圖像選擇處理單元可以選擇輸入到所述圖像輸入單元的所述第一左眼圖像和所述第一右眼圖像作為所述輸出圖像，而當(dāng)基于所述深度圖確定所述對(duì)象距離比較短時(shí)，所述輸出圖像選擇處理單元可以選擇通過(guò)所述立體圖像生成處理單元生成的所述第二左眼圖像和所述第二右眼圖像作為所述輸出圖像。
進(jìn)一步，根據(jù)第一實(shí)施例，當(dāng)基于所述深度圖確定所述對(duì)象距離比較長(zhǎng)時(shí)，所述輸出圖像選擇處理單元可以選擇輸入到所述圖像輸入單元的所述第一左眼圖像和所述第一右眼圖像作為所述輸出圖像，當(dāng)基于所述深度圖確定所述對(duì)象距離比較短時(shí)，所述輸出圖像選擇處理單元可以選擇通過(guò)所述立體圖像生成處理單元生成的所述第二左眼圖像和所述第二右眼圖像作為所述輸出圖像，而當(dāng)基于所述深度圖確定所述對(duì)象距離接近中間時(shí)，所述輸出圖像選擇處理單元可以選擇輸入到所述圖像輸入單元的所述第一左眼圖像和所述第一右眼圖像中的一個(gè)以及通過(guò)所述立體圖像生成處理單元生成的所述第二左眼圖像和所述第二右眼圖像中的一個(gè)作為所述輸出圖像。進(jìn)一步，根據(jù)第一實(shí)施例，所述輸出圖像選擇處理單元可以配置成基于來(lái)自成像設(shè)備的成像信息和用戶選擇信息中的至少一個(gè)來(lái)選擇所述輸出圖像。進(jìn)一步，根據(jù)第一實(shí)施例，圖像處理設(shè)備可以包括輸入圖像選擇處理單元，配置成根據(jù)來(lái)自所述圖像處理設(shè)備的輸出圖像來(lái)控制將要從外部輸入的圖像。當(dāng)來(lái)自圖像處理設(shè)備的輸出圖像是通過(guò)立體圖像生成處理單元生成的第二左眼圖像和第二右眼圖像時(shí)，輸入圖像選擇處理單元可以執(zhí)行控制，以僅接收從不同視點(diǎn)拍攝并且適用于立體視覺(jué)的第一 左眼圖像和第一右眼圖像中的一個(gè)。進(jìn)一步，根據(jù)第一實(shí)施例，當(dāng)來(lái)自圖像處理設(shè)備的輸出圖像是通過(guò)立體圖像生成處理單元生成的第二左眼圖像和第二右眼圖像時(shí)，輸入圖像選擇處理單元可以輸出控制信號(hào)，以便僅允許從不同視點(diǎn)拍攝并且適用于立體視覺(jué)的第一左眼圖像和第一右眼圖像中的一個(gè)由成像設(shè)備拍攝。進(jìn)一步，根據(jù)第一實(shí)施例，通過(guò)對(duì)基于圖像估計(jì)過(guò)程的結(jié)果選擇的第一左眼圖像和第一右眼圖像中的一個(gè)執(zhí)行圖像轉(zhuǎn)換過(guò)程，立體圖像生成處理單元可以生成適用于立體視覺(jué)的第二左眼圖像和第二右眼圖像。根據(jù)本公開(kāi)的第二實(shí)施例，提供另一種在圖像處理設(shè)備中執(zhí)行的圖像處理方法，該圖像處理方法包括接收從不同視點(diǎn)拍攝并且適用于立體視覺(jué)的第一左眼圖像和第一右眼圖像中的至少一個(gè)；接收所述第一左眼圖像和所述第一右眼圖像中的一個(gè)，并且通過(guò)圖像轉(zhuǎn)換過(guò)程生成適用于立體視覺(jué)的第二左眼圖像和第二右眼圖像；以及從在圖像輸入步驟中輸入的所述第一左眼圖像和所述第一右眼圖像以及通過(guò)立體圖像生成處理單元生成的所述第二左眼圖像和所述第二右眼圖像中，輸出兩個(gè)圖像作為將要應(yīng)用于立體視覺(jué)的圖像。根據(jù)本公開(kāi)的第三實(shí)施例，提供了一種用于使圖像處理設(shè)備執(zhí)行圖像處理的程序，所述圖像處理包括接收從不同視點(diǎn)拍攝并且適用于立體視覺(jué)的第一左眼圖像和第一右眼圖像中的至少一個(gè)；接收所述第一左眼圖像和所述第一右眼圖像中的一個(gè)，并且通過(guò)圖像轉(zhuǎn)換過(guò)程生成適用于立體視覺(jué)的第二左眼圖像和第二右眼圖像；以及從在圖像輸入步驟中輸入的所述第一左眼圖像和所述第一右眼圖像以及通過(guò)立體圖像生成處理單元生成的所述第二左眼圖像和所述第二右眼圖像中，輸出兩個(gè)圖像作為將要應(yīng)用于立體視覺(jué)的圖像。另外，例如，本公開(kāi)的程序是提供給信息處理設(shè)備或計(jì)算機(jī)系統(tǒng)的程序，所述信息處理設(shè)備或計(jì)算機(jī)系統(tǒng)例如可以通過(guò)記錄介質(zhì)來(lái)執(zhí)行各種程序代碼。這種程序由信息處理設(shè)備或計(jì)算機(jī)系統(tǒng)上的程序執(zhí)行單元執(zhí)行，以便執(zhí)行對(duì)應(yīng)于程序的處理。
應(yīng)當(dāng)注意的是，從基于稍后將會(huì)描述的本公開(kāi)的實(shí)施例的更加詳細(xì)的描述或附圖中，本公開(kāi)的其它目的、特征或優(yōu)點(diǎn)是明顯的。另外，本說(shuō)明書中的系統(tǒng)對(duì)應(yīng)于多個(gè)設(shè)備的邏輯集合配置，并且每個(gè)配置的設(shè)備可以不處于同一殼體內(nèi)。根據(jù)本公開(kāi)的實(shí)施例的配置，實(shí)現(xiàn)了用于選擇并輸出適合于立體視覺(jué)的圖像的配置。詳細(xì)地，該配置包括圖像輸入單元，配置成接收從不同視點(diǎn)拍攝并且適用于立體視覺(jué)的第一左眼圖像和第一右眼圖像中的至少一個(gè)；以及立體圖像生成處理單元，配置成接收所述第一左眼圖像和所述第一右眼圖像中的一個(gè)，并且通過(guò)圖像轉(zhuǎn)換過(guò)程生成適用于立體視覺(jué)的第二左眼圖像和第二右眼圖像，其中，當(dāng)基于對(duì)應(yīng)于像素區(qū)域的具有距離信息的深度圖確定對(duì)象距離比較長(zhǎng)時(shí)，輸入到所述圖像輸入單元的所述第一左眼圖像和所述第一右眼圖像被選擇并輸出作為輸出圖像。進(jìn)而，當(dāng)確定對(duì)象距離比較短時(shí)，通過(guò)所述立體圖像生成處理單元生成的所述第二左眼圖像和所述第二右眼圖像被選擇并輸出作為輸出圖像。 使用這樣的配置，可以減少當(dāng)獲得立體視覺(jué)時(shí)由非常大的視差造成的疲勞或者由閉塞造成的不適，并且這樣一來(lái)就可以實(shí)現(xiàn)舒適的立體視覺(jué)。


圖I是用于說(shuō)明基于相同基線長(zhǎng)度的具有不同會(huì)聚角的立體成像系統(tǒng)的示圖；圖2是圖示由具有離對(duì)象不同距離的兩個(gè)雙眼成像系統(tǒng)執(zhí)行的立體成像的例子的示圖；圖3是圖示作為圖2所示的兩個(gè)雙眼成像系統(tǒng)執(zhí)行的成像結(jié)果的圖像的示圖；圖4是圖示用于對(duì)圖2所示的雙眼成像系統(tǒng)B (20)所拍攝的一個(gè)左眼圖像執(zhí)行2D/3D轉(zhuǎn)換過(guò)程以生成左眼圖像和右眼圖像作為立體圖像的過(guò)程和處理結(jié)果的示圖；圖5是圖示作為本公開(kāi)的圖像處理設(shè)備的實(shí)施例的成像設(shè)備的配置例子的示圖；圖6是圖示立體圖像生成處理單元的實(shí)施例的配置的框圖；圖7是圖示增益控制部的實(shí)施例的配置的框圖；圖8是圖示由增益系數(shù)計(jì)算部執(zhí)行的增益系數(shù)確定方法的例子的示圖；圖9是用于說(shuō)明其中增益控制部控制微分信號(hào)的幅值的過(guò)程的例子的示圖；圖10是用于說(shuō)明由非線性轉(zhuǎn)換部執(zhí)行的非線性轉(zhuǎn)換過(guò)程的例子的示圖；圖11是用于說(shuō)明由圖像組合部執(zhí)行的圖形組合過(guò)程的示圖；圖12是用于說(shuō)明由圖像組合部執(zhí)行的圖形組合過(guò)程的示圖；圖13是用于說(shuō)明深度圖及其直方圖的例子的示圖；圖14是用于說(shuō)明輸出圖像選擇處理單元的配置例子的示圖；圖15是用于說(shuō)明用于基于各種圖像的組合來(lái)執(zhí)行圖像輸出控制的輸出圖像選擇處理單元的配置和處理例子的示圖；圖16是用于說(shuō)明用于基于各種圖像的組合來(lái)執(zhí)行圖像輸出控制的輸出圖像選擇處理單元的配置和處理例子的示圖；圖17是用于說(shuō)明用于基于各種圖像的組合來(lái)執(zhí)行圖像輸出控制的輸出圖像選擇處理單元的配置和處理例子的示圖18是用于說(shuō)明在本公開(kāi)的圖像處理設(shè)備中包括最少元件的配置例子的示圖；圖19是用于說(shuō)明沒(méi)有輸出圖像選擇處理單元的配置例子的示圖；圖20是用于說(shuō)明其中在輸出圖像選擇處理單元中沒(méi)有應(yīng)用深度圖的配置例子的示圖；圖21是用于說(shuō)明通過(guò)用于在沒(méi)有使用深度信息的情況下基于輸入圖像信息來(lái)執(zhí)行輸出圖像選擇過(guò)程的輸出圖像選擇處理單元執(zhí)行的處理例子的示圖；圖22是用于說(shuō)明其中基于成像信息來(lái)執(zhí)行輸出圖像選擇的配置例子的示圖；圖23是用于說(shuō)明其中深度圖連同來(lái)自成像設(shè)備的成像信息一起被輸入到輸出圖像選擇處理單元并且輸出圖像被選擇的配置例子的示圖；圖24是用于說(shuō)明其中基于用戶輸入的選擇信息來(lái)選擇輸出圖像的配置例子的示 圖；圖25是用于說(shuō)明沒(méi)有深度圖生成處理單元的配置例子的示圖；圖26是用于說(shuō)明用于在輸入過(guò)程之前執(zhí)行輸入圖像選擇的圖像處理設(shè)備的配置的示圖；圖27是用于說(shuō)明其中基于成像信息來(lái)確定輸出圖像并且基于對(duì)輸出圖像的確定來(lái)選擇輸入圖像的配置例子的示圖；圖28是用于說(shuō)明執(zhí)行這樣一種控制的配置的示圖，在所述控制中，當(dāng)2D/3D轉(zhuǎn)換過(guò)程圖像被確定為輸出圖像時(shí)，由雙眼成像系統(tǒng)拍攝的圖像被設(shè)置為只是左眼圖像，而對(duì)右眼圖像的拍攝則被停止；圖29是用于說(shuō)明這樣一種配置的示圖，在所述配置中，輸入圖像選擇處理單元通過(guò)輸入單元(未示出)接收用戶選擇信息以確定輸出圖像，并且基于確定的輸出圖像來(lái)執(zhí)行成像控制過(guò)程；圖30是用于說(shuō)明這樣一種配置的示圖，在所述配置中，沒(méi)有提供深度圖生成處理單元，并且由外部深度信息獲取設(shè)備生成的深度圖被輸入并使用在立體圖像生成處理單元中；圖31是用于說(shuō)明這樣一種配置例子的示圖，在所述配置例子中，輸入到立體圖像生成處理單元的圖像被設(shè)置為右眼圖像，并且基于右眼圖像來(lái)執(zhí)行2D/3D轉(zhuǎn)換過(guò)程以生成立體圖像；以及圖32是用于說(shuō)明這樣一種配置例子的示圖，在所述配置例子中，設(shè)置了立體轉(zhuǎn)換圖像選擇處理單元，并且可以選擇輸入到立體圖像生成處理單元的圖像被設(shè)置為右眼圖像還是左眼圖像。
具體實(shí)施例方式在下文中，參考附圖來(lái)詳細(xì)地描述本公開(kāi)的優(yōu)選實(shí)施例。注意，在本說(shuō)明書和附圖中，具有基本上相同的功能和結(jié)構(gòu)的結(jié)構(gòu)元件用相同的標(biāo)號(hào)來(lái)指示，并且省略對(duì)這些結(jié)構(gòu)元件的重復(fù)說(shuō)明。在下文中，參考附圖來(lái)描述本公開(kāi)的圖像處理設(shè)備、圖像處理方法和程序的細(xì)節(jié)。另外，將會(huì)按照以下順序來(lái)給予描述。I.本公開(kāi)的圖像處理設(shè)備的配置和處理例子(第一實(shí)施例)
1-1.圖像處理設(shè)備的整體配置和處理1-2.深度圖生成處理單元的處理的細(xì)節(jié)1-3.由立體圖像生成處理單元執(zhí)行的2D/3D轉(zhuǎn)換過(guò)程1-4.由輸出圖像選擇處理單元執(zhí)行的輸出立體圖像對(duì)的選擇過(guò)程的細(xì)節(jié)2.其它實(shí)施例2-1.最少元件的配置例子2-2.其中輸出圖像選擇處理單元被省略的配置例子2-3.其中在輸出圖像選擇處理單元沒(méi)有應(yīng)用深度圖的配置例子
2-4.其中基于成像信息來(lái)執(zhí)行輸出圖像選擇的配置例子2-5.其中基于用戶選擇信息來(lái)執(zhí)行輸出圖像選擇的配置例子2-6.其中深度圖生成處理單元被省略的配置例子3.具有用于控制朝向圖像處理設(shè)備的輸入圖像的配置的實(shí)施例3-1.其中在輸入過(guò)程之前執(zhí)行輸入圖像選擇的配置例子3-2.其中在成像之前執(zhí)行輸入圖像選擇的配置例子4.本公開(kāi)的配置的結(jié)論[I.本公開(kāi)的圖像處理設(shè)備的配置和處理例子(第一實(shí)施例)]參考圖5來(lái)描述本公開(kāi)的圖像處理設(shè)備的配置和處理例子(第一實(shí)施例)。另外，首先將會(huì)描述圖像處理設(shè)備的整體配置和處理，然后將會(huì)描述每個(gè)元件的處理的細(xì)節(jié)。(1-1.圖像處理設(shè)備的整體配置和處理)參考圖5和隨后的附圖來(lái)描述本公開(kāi)的圖像處理設(shè)備的配置和處理例子(第一實(shí)施例)。圖5是圖示作為本公開(kāi)的圖像處理設(shè)備的實(shí)施例的成像設(shè)備的配置例子的示圖。圖像處理設(shè)備100包括右眼圖像輸入單元101、左眼圖像輸入單元102、立體圖像生成處理單元103、深度圖生成處理單元104和輸出圖像選擇處理單元105。圖像處理設(shè)備100接收雙眼立體圖像信號(hào)。輸入的圖像信號(hào)包括由左右成對(duì)的成像系統(tǒng)捕捉的左右立體圖像，亦即輸入右眼圖像和輸入左眼圖像。例如，圖像處理設(shè)備100接收由來(lái)自兩個(gè)不同視點(diǎn)的圖2的雙眼成像系統(tǒng)A (10)和雙眼成像系統(tǒng)B (20)捕捉的一對(duì)兩個(gè)圖像。這些輸入右眼圖像和輸入左眼圖像分別被輸入到右眼圖像輸入單元101和左眼圖像輸入單元102。已被輸入到圖像處理設(shè)備100的右眼圖像輸入單元101和左眼圖像輸入單元102的左右立體圖像被輸入到深度圖生成處理單元104。深度圖生成處理單元104對(duì)兩個(gè)輸入的圖像執(zhí)行立體匹配過(guò)程，并且基于每個(gè)相應(yīng)像素位置的轉(zhuǎn)移量來(lái)計(jì)算從每個(gè)像素位置到對(duì)象的距離(深度)，亦即離攝影機(jī)的對(duì)象距離。深度圖生成處理單元104生成并輸出深度圖，在所述深度圖中，距離信息已與輸入圖像的像素相關(guān)聯(lián)。深度圖包括指示構(gòu)成圖像的像素相對(duì)于對(duì)象的對(duì)象距離(離攝影機(jī)的距離)的數(shù)據(jù)，并且例如包括圖像，所述圖像包括通過(guò)對(duì)關(guān)于從圖像的每個(gè)像素到對(duì)象的距離的信息進(jìn)行轉(zhuǎn)換而設(shè)置的亮度信息等。詳細(xì)地，例如，包括設(shè)置如下的像素的圖像用作深度圖具有擁有短對(duì)象距離(離攝影機(jī)近)的對(duì)象的像素被設(shè)置為高亮度像素(亮像素);以及具有擁有長(zhǎng)對(duì)象距離(離攝影機(jī)遠(yuǎn))的對(duì)象的像素被設(shè)置為低亮度像素(暗像素)。如上所述，深度圖包括這樣的數(shù)據(jù)，在所述數(shù)據(jù)中，圖像中包括的對(duì)象距離被保持作為對(duì)應(yīng)于像素的數(shù)據(jù)，并且詳細(xì)地，例如被生成作為通過(guò)將對(duì)象距離轉(zhuǎn)換成像素值而獲得的圖像數(shù)據(jù)。輸入到圖像處理設(shè)備100的左右立體圖像中的一個(gè)，亦即輸入左眼圖像，被輸入到立體圖像生成處理單元103。進(jìn)而，由深度圖生成處理單元104生成的深度圖也被輸入到 立體圖像生成處理單元103。使用一個(gè)輸入圖像(在當(dāng)前例子中為輸入左眼圖像)，通過(guò)2D/3D轉(zhuǎn)換過(guò)程，立體圖像生成處理單元103生成構(gòu)成立體圖像的右眼圖像和左眼圖像。亦即，立體圖像生成處理單元103執(zhí)行2D/3D轉(zhuǎn)換過(guò)程，以便相對(duì)于2D圖像生成具有對(duì)應(yīng)于距離(深度)信息的視差的右眼圖像和左眼圖像，并且如圖5的立體圖像生成處理單元103的輸出圖示的那樣，生成并輸出生成的右眼圖像和生成的左眼圖像。使用深度圖，通過(guò)2D/3D轉(zhuǎn)換過(guò)程，立體圖像生成處理單元103從一個(gè)輸入圖像中生成構(gòu)成立體圖像的右眼圖像和左眼圖像。立體圖像生成處理單元103生成并輸出右眼圖像和左眼圖像，它們具有與從深度圖獲得的像素區(qū)域單元的對(duì)象距離信息相對(duì)應(yīng)的視差。已由立體圖像生成處理單元103生成的生成右眼圖像和生成左眼圖像被輸入到輸出圖像選擇處理單元105。輸出圖像選擇處理單元105也接收輸入到圖像處理設(shè)備100的左右立體圖像，亦即由雙眼成像系統(tǒng)拍攝的輸入左眼圖像和輸入右眼圖像。進(jìn)而，從深度圖生成處理單元104輸出的深度圖也被輸入到輸出圖像選擇處理單元 105。輸出圖像選擇處理單元105選擇將要成為圖像處理設(shè)備100輸出圖像的立體圖像，亦即輸出的右眼圖像和輸出的左眼圖像。詳細(xì)地，輸出圖像選擇處理單元105選擇將要輸出的立體圖像對(duì)(a)或(b)(a)由雙眼成像系統(tǒng)拍攝并且輸入到圖像處理設(shè)備100的輸入右眼圖像和輸入左眼圖像的立體圖像對(duì)；或者(b)由立體圖像生成處理單元103通過(guò)2D/3D轉(zhuǎn)換過(guò)程生成的生成右眼圖像和生成左眼圖像的立體圖像對(duì)。選擇的立體圖像對(duì)是從圖像處理設(shè)備100輸出的輸出右眼圖像和輸出左眼圖像。深度圖用于輸出圖像選擇處理單元105中的圖像對(duì)選擇過(guò)程。詳細(xì)地，例如，當(dāng)基于深度圖確定整個(gè)圖像中包括的對(duì)象距離比較長(zhǎng)時(shí)，(a)輸出圖像選擇處理單元105選擇并輸出輸入到圖像處理設(shè)備100的輸入右眼圖像和輸入左眼圖像的立體圖像對(duì)。
進(jìn)而，當(dāng)基于深度圖確定整個(gè)圖像中包括的對(duì)象距離比較短時(shí)，(b)輸出圖像選擇處理單元105選擇并輸出由立體圖像生成處理單元103生成的生成右眼圖像和生成左眼圖像的立體圖像對(duì)。至此已描述了圖5所示的圖像處理設(shè)備100的整體過(guò)程。在下文中，將會(huì)描述圖5所示的圖像處理設(shè)備100的每個(gè)元件的處理的細(xì)節(jié)。(1-2.深度圖生成處理單元的處理的細(xì)節(jié))接下來(lái)描述深度圖生成處理單元104的處理的細(xì)節(jié)。如上所述，深度圖生成處理單元104對(duì)從不同視點(diǎn)拍攝的兩個(gè)輸入圖像執(zhí)行立體匹配過(guò)程，基于每個(gè)相應(yīng)像素位置的轉(zhuǎn)移量計(jì)算從每個(gè)像素位置到對(duì)象的距離(深度)，亦即離攝影機(jī)的對(duì)象距離，并且生成并輸出深度圖，在所述深度圖中，距離信息已與輸入圖像的像素相關(guān)聯(lián)。另外，通過(guò)立體匹配進(jìn)行的深度圖生成過(guò)程在相關(guān)技術(shù)中是眾所周知的。從多個(gè) 不同視點(diǎn)獲得的圖像之間的對(duì)應(yīng)性被實(shí)現(xiàn)，以便可以計(jì)算從攝影機(jī)到圖像中的對(duì)象的距離。已提議了用于以高速度高度精確地獲得從多個(gè)不同視點(diǎn)獲得的圖像之間的對(duì)應(yīng)性的許多技術(shù)。例如，作為用于高度精確地獲得圖像之間的對(duì)應(yīng)性的技術(shù)，日本待審專利申請(qǐng)公布第2003-085566號(hào)已公開(kāi)了一種技術(shù)，該技術(shù)基于作為一種動(dòng)態(tài)規(guī)劃的維特比(Viterbi)算法，向水平掃描線上的像素陣列分配最優(yōu)對(duì)應(yīng)性。進(jìn)而，作為用于以高速度獲得圖像之間的對(duì)應(yīng)性的技術(shù)，日本待審專利申請(qǐng)公布第07-103734號(hào)已公開(kāi)了一種技術(shù)，該技術(shù)減少圖像以形成分層結(jié)構(gòu)，將具有低分辨率的層中的對(duì)應(yīng)性檢測(cè)結(jié)果傳輸?shù)骄哂懈叻直媛实膶樱⑶覝p少具有高分辨率的層中的對(duì)應(yīng)性檢測(cè)過(guò)程。例如，通過(guò)運(yùn)用如上所述的現(xiàn)有技術(shù)，基于從不同視點(diǎn)拍攝的兩個(gè)輸入圖像，圖5所示的深度圖生成處理單元104計(jì)算離攝影機(jī)的對(duì)象距離，并且生成并輸出深度圖，在所述深度圖中，距離信息已與輸入圖像的像素相關(guān)聯(lián)。(1-3.由立體圖像生成處理單元執(zhí)行的2D/3D轉(zhuǎn)換過(guò)程)接下來(lái)描述圖5所示的立體圖像生成處理單元103執(zhí)行的過(guò)程的細(xì)節(jié)。如上所述，使用深度圖，通過(guò)2D/3D轉(zhuǎn)換過(guò)程，立體圖像生成處理單元103從一個(gè)輸入圖像中生成構(gòu)成立體圖像的右眼圖像和左眼圖像。立體圖像生成處理單元103生成并輸出右眼圖像和左眼圖像，它們具有與從深度圖獲得的像素區(qū)域單元的對(duì)象距離信息相對(duì)應(yīng)的視差(轉(zhuǎn)移量)。描述由立體圖像生成處理單元103執(zhí)行的2D/3D轉(zhuǎn)換過(guò)程的詳細(xì)例子。圖6是圖示立體圖像生成處理單元103的實(shí)施例的配置的框圖。立體圖像生成處理單元103執(zhí)行如下過(guò)程提取輸入圖像信號(hào)的空間特征量，并且針對(duì)提取的特征量執(zhí)行不同的強(qiáng)調(diào)過(guò)程，從而生成新的視點(diǎn)圖像。立體圖像生成處理單元103包括微分器211、增益控制部212、非線性轉(zhuǎn)換部213和圖像組合部214。微分器211從輸入到立體圖像生成處理單元103的視頻數(shù)據(jù)中提取亮度信號(hào)，并且針對(duì)亮度信號(hào)生成微分信號(hào)H。詳細(xì)地，例如，微分器211接收?qǐng)D像在水平方向上的亮度信號(hào)，并且通過(guò)對(duì)輸入的亮度信號(hào)求取初級(jí)微分來(lái)生成信號(hào)。初級(jí)微分過(guò)程例如使用3抽頭水平線性微分濾波器。
另外，在實(shí)施例中，已描述了其中亮度信號(hào)用作處理數(shù)據(jù)的例子。代替亮度信號(hào)，顏色信號(hào)(RGB等)也可以用作將要處理的數(shù)據(jù)。增益控制部212將預(yù)先符合規(guī)則集合的系數(shù)(增益系數(shù))乘以從微分器211輸出的微分信號(hào)H，從而控制微分信號(hào)的幅值，并且生成校正的微分信號(hào)H’，其為微分信號(hào)的校正信號(hào)。非線性轉(zhuǎn)換部213對(duì)從增益控制部212輸出的校正微分信號(hào)H’進(jìn)行非線性轉(zhuǎn)換，并且將轉(zhuǎn)換的信號(hào)輸出到圖像組合部214作為視差強(qiáng)調(diào)信號(hào)E’。圖像組合部214執(zhí)行以下過(guò)程使用構(gòu)成視頻數(shù)據(jù)的每個(gè)幀圖像和從幀圖像生成的空間特征量，亦即亮度信號(hào)的校正微分信號(hào)H’或通過(guò)對(duì)校正微分信號(hào)進(jìn)行非線性轉(zhuǎn)換而生成的視差強(qiáng)調(diào)信號(hào)E’，生成新的視點(diǎn)圖像。例如，如圖6的虛線所指示的那樣，非線性轉(zhuǎn)換部213的轉(zhuǎn)換過(guò)程可以被跳過(guò)，已 經(jīng)歷了增益控制部212的校正過(guò)程的校正微分信號(hào)H’可以直接輸入到圖像組合部214，并且圖像組合部214也可以使用校正微分信號(hào)來(lái)生成新的視點(diǎn)圖像。接下來(lái)描述由增益控制部212執(zhí)行的過(guò)程。圖7是圖示增益控制部212的實(shí)施例的配置的框圖。基于以同樣的方式輸入的深度信息，增益控制部212控制輸入微分信號(hào)的幅值。另外，在下文將要描述的實(shí)施例中，假定以所謂深度圖的形式輸入深度信息，在所述深度圖中，輸入微分信號(hào)的每個(gè)像素具有一個(gè)深度值。使用針對(duì)每個(gè)輸入像素的深度信息，增益系數(shù)計(jì)算部221輸出針對(duì)相應(yīng)像素的增益系數(shù)。相對(duì)于輸入微分信號(hào)的每個(gè)像素，乘法處理部222執(zhí)行以下乘法過(guò)程將從增益系數(shù)計(jì)算部221輸出的針對(duì)每個(gè)像素的增益系數(shù)乘以微分信號(hào)H的幅值，從而輸出具有增益控制幅值的校正微分信號(hào)H’。圖8圖示了由增益系數(shù)計(jì)算部221執(zhí)行的增益系數(shù)確定方法的例子。水平軸指示充當(dāng)輸入信號(hào)的深度信息。垂直軸指示增益系數(shù)計(jì)算部221中的增益系數(shù)的輸出。增益系數(shù)計(jì)算部221使用預(yù)先設(shè)置的函數(shù)f(x)對(duì)輸入的深度信息In進(jìn)行轉(zhuǎn)換，并且輸出增益系數(shù)Out。此時(shí)，各種類型的設(shè)置在函數(shù)f(x)中都是可用的。作為函數(shù)f(x)的例子,例如,使用諸如f(x)=AXx (A為常數(shù))之類的線性函數(shù)。A為預(yù)先設(shè)置的常數(shù)，并且可以設(shè)置成各種值。進(jìn)而，增益系數(shù)計(jì)算部221中的轉(zhuǎn)換函數(shù)并不限于線性函數(shù)，而是可以執(zhí)行非線性轉(zhuǎn)換。假定與微分信號(hào)的每個(gè)像素相對(duì)應(yīng)的值被輸入作為深度信息，并且輸出對(duì)應(yīng)于每個(gè)像素的增益系數(shù)。圖8是圖示這樣一個(gè)例子的示圖，在所述例子中，增益系數(shù)計(jì)算部的輸入值(深度信息)和輸出值(增益系數(shù))相互對(duì)應(yīng)。圖8圖示了三個(gè)輸入值(深度信息)和對(duì)應(yīng)于三個(gè)輸入值的三個(gè)輸出值(增益系數(shù))的例子。在例子中，輸入值(深度信息)是D1、D2和D3，并且指示對(duì)應(yīng)于三個(gè)像素的深度值。另外，深度指示與從觀察者(用戶)或攝影機(jī)到對(duì)象的距離相對(duì)應(yīng)的值。
假定深度(對(duì)象距離)以D1〈D2〈D3的序列從前向后(遠(yuǎn)離用戶或攝影機(jī))增加。這里，深度信息(In=O)的位置對(duì)應(yīng)于當(dāng)生成的圖像顯示在三維顯示設(shè)備上時(shí)在顯示屏上識(shí)別的點(diǎn)。此時(shí)，在例子中，輸出值(增益系數(shù))是通過(guò)將Dl、D2和D3的值放入到圖8的函數(shù)f(x)中而獲得的G1、G2和G3。如同這個(gè)例子那樣，增益系數(shù)計(jì)算部221輸出對(duì)應(yīng)于微分信號(hào)的每個(gè)像素的增益系數(shù)。圖9圖示了其中增益控制部212控制微分信號(hào)的幅值的過(guò)程的例子。圖9圖不了(a)輸入信號(hào)、(b)微分信號(hào)、(C)深度信息和(d)校正之后的微分信號(hào)的例子。圖9 (a)圖示了輸入圖像信號(hào)的例子。 圖9 (b)圖示了通過(guò)針對(duì)圖9 Ca)的輸入圖像信號(hào)執(zhí)行微分過(guò)程而獲得的圖像。圖9 (C)圖示了與圖9 Ca)的輸入圖像信號(hào)相對(duì)應(yīng)的深度信息，并且圖示了其中深度值被添加到圖像的三個(gè)劃分區(qū)域的簡(jiǎn)單情況。這里，假定圖8中定義的深度信息D3、D2和Dl的值(D1〈D2〈D3)從頂部開(kāi)始相繼被相加到圖9 (c)的指示深度信息的圖像信號(hào)。此時(shí)，根據(jù)圖8中描述的深度和增益值的關(guān)系，乘以圖9 (b)的微分信號(hào)的每個(gè)像素的增益值從圖像的頂部開(kāi)始相繼為G3、G2和Gl (G1〈G2〈G3)。圖9 (d)的校正之后的微分信號(hào)對(duì)應(yīng)于通過(guò)將基于圖9 (C)的深度信息的增益值乘以圖9 (b)的微分信號(hào)的每個(gè)像素而獲得的處理結(jié)果的例子。在圖9 (d)的校正之后的微分信號(hào)中，朝向屏幕的上部(向遠(yuǎn)區(qū)域)乘以高增益值，并且朝向屏幕的下部(向近區(qū)域)乘以低增益值。結(jié)果，微分信號(hào)的幅值朝向屏幕的上部(向遠(yuǎn)區(qū)域)增加，并且朝向屏幕的下部(向近區(qū)域)減小。使用如上所述根據(jù)距離具有彼此不同振幅的微分信號(hào)，2D/3D轉(zhuǎn)換單元生成并輸出新的視點(diǎn)圖像。結(jié)果，2D/3D轉(zhuǎn)換單元生成并輸出根據(jù)距離具有彼此不同視差的圖像。接下來(lái)描述由非線性轉(zhuǎn)換部213執(zhí)行的過(guò)程。非線性轉(zhuǎn)換部213生成通過(guò)對(duì)從增益控制部212輸出并且具有根據(jù)距離控制的增益的校正微分信號(hào)H’進(jìn)行非線性轉(zhuǎn)換而獲得的視差強(qiáng)調(diào)信號(hào)E’，并且將視差強(qiáng)調(diào)信號(hào)E’輸出到圖像組合部214。圖10圖示了由非線性轉(zhuǎn)換部213執(zhí)行的非線性轉(zhuǎn)換過(guò)程的例子。水平軸指示(亮度)校正微分信號(hào)，其為從增益控制部212輸出并且具有根據(jù)距離控制(校正)的增益的微分信號(hào)。垂直軸圖示了非線性轉(zhuǎn)換部213中的非線性轉(zhuǎn)換過(guò)程之后的輸出。非線性轉(zhuǎn)換部213使用預(yù)先定義的函數(shù)f(x)對(duì)輸入的校正微分信號(hào)In進(jìn)行轉(zhuǎn)換，并且輸出視差強(qiáng)調(diào)信號(hào)Out。亦即0ut=f(In)。此時(shí)，各種類型的設(shè)置在函數(shù)f(x)中都是可用的。作為函數(shù)f(x)的例子，例如使用指數(shù)函數(shù)如f (X)=Xy。Y是預(yù)先設(shè)置的系數(shù)，并且可以設(shè)置成各種值。進(jìn)而，非線性轉(zhuǎn)換部213中的轉(zhuǎn)換函數(shù)并不限于指數(shù)函數(shù)，并且也可以執(zhí)行線性轉(zhuǎn)換。圖像組合部214執(zhí)行以下過(guò)程接收從非線性轉(zhuǎn)換部213輸出的視差強(qiáng)調(diào)信號(hào)和輸入到立體圖像生成處理單元103的視頻數(shù)據(jù)，并且將構(gòu)成視頻數(shù)據(jù)的每幀圖像與視差強(qiáng)調(diào)信號(hào)合成，從而生成新的視點(diǎn)圖像。另外，如圖6的虛線那樣，非線性轉(zhuǎn)換部213的轉(zhuǎn)換過(guò)程可以被跳過(guò)，并且在增益控制部212針對(duì)微分器211生成的微分信號(hào)執(zhí)行對(duì)應(yīng)于距離的增益控制之后已獲得的校正微分信號(hào)H’可以直接輸入到圖像組合部214。在這種情況下，圖像組合部214執(zhí)行以下過(guò)程使用經(jīng)歷了根據(jù)深度(對(duì)象距離)的增益控制的校正微分信號(hào)H’，生成新的視點(diǎn)圖像。接下來(lái)描述由圖像組合部214執(zhí)行的過(guò)程。圖像組合部214執(zhí)行以下過(guò)程使用構(gòu)成視頻數(shù)據(jù)的每個(gè)幀圖像和從幀圖像生成的空間特征量，亦即亮度信號(hào)的微分信號(hào)或者通過(guò)對(duì)微分信號(hào)進(jìn)行非線性轉(zhuǎn)換而生成的視差強(qiáng)調(diào)信號(hào)，來(lái)生成新的視點(diǎn)圖像。圖11和圖12圖示了由圖像組合部214執(zhí)行的圖形組合過(guò)程的概念。圖11和圖12相對(duì)于具有長(zhǎng)距離的圖像區(qū)域(具有大深度的圖像區(qū)域)和具有短距 離的圖像區(qū)域(具有小深度的圖像區(qū)域)從頂部開(kāi)始相繼圖示了 (a)輸入信號(hào)S;(b)微分信號(hào)H ; (C)校正(增益控制)之后的校正微分信號(hào)H’ ；(d)右轉(zhuǎn)移圖像信號(hào)；以及(e)左轉(zhuǎn)移圖像信號(hào)。例如當(dāng)與圖9 (C)的深度信息相一致地提供描述時(shí)，圖11圖示了與具有圖9 (C)圖像上部的長(zhǎng)距離D3的圖像區(qū)域(具有大深度的圖像區(qū)域)相對(duì)應(yīng)的處理例子。同時(shí)，圖12圖示了與具有圖9 (c)圖像下部的短距離Dl的圖像區(qū)域(具有小深度的圖像區(qū)域)相對(duì)應(yīng)的處理例子。首先描述圖11所示的具有長(zhǎng)距離的圖像區(qū)域(具有大深度的圖像區(qū)域)中的處理例子。(a)輸入信號(hào)S指示了視頻數(shù)據(jù)的任意幀的一個(gè)任意水平線的亮度變化，并且示出了在其中部設(shè)置有高亮度區(qū)域的一個(gè)線。(a)輸入信號(hào)S示出了 在從線位置Xl到線位置x2的區(qū)域A中，亮度逐漸增加；在線位置x2至x3中存在具有高水平亮度的高亮度部分；以及然后在從線位置x3到線位置x4的區(qū)域B中，亮度逐漸減小。(b)微分信號(hào)H指不了(a)輸入信號(hào)S的微分結(jié)果。微分信號(hào)對(duì)應(yīng)于圖6所不的立體圖像生成處理單元103的微分器211生成的信號(hào)。如圖11所示，由微分器211生成的微分信號(hào)H在其中(a)輸入信號(hào)S的亮度變化為正的區(qū)域A中具有正值，并且在其中(a)輸入信號(hào)S的亮度變化為負(fù)的區(qū)域B中具有負(fù)值。(c)校正(增益控制)之后的校正微分信號(hào)H’對(duì)應(yīng)于圖6所示的立體圖像生成處理單元103的增益控制部212生成的信號(hào)，并且是通過(guò)基于深度信息針對(duì)圖11的(b)微分信號(hào)執(zhí)行校正(增益控制)而獲得的。另外，圖11所示的例子對(duì)應(yīng)于具有長(zhǎng)距離(例如圖8和圖9 (c)的D3)的圖像區(qū)域(具有大深度的圖像區(qū)域)中的處理例子，并且使用如參考圖8和圖9描述的高增益G3執(zhí)行校正過(guò)程，以便微分信號(hào)的振幅被校正變大。圖11 (C)中圖示的虛線指示校正之前的信號(hào)(=(b)微分信號(hào)H)，并且圖11 (c)中圖示的實(shí)線指示對(duì)應(yīng)于距離的校正之后的校正微分信號(hào)H’。如上所述，通過(guò)對(duì)應(yīng)于距離的增益控制，校正微分信號(hào)H’被校正以具有大的振幅。(d)右轉(zhuǎn)移圖像信號(hào)和(e)左轉(zhuǎn)移圖像信號(hào)對(duì)應(yīng)于由圖6所示的圖像組合部214生成的并且包括在圖5所示的立體圖像生成處理單元103中的信號(hào)。
例如，當(dāng)輸入左眼圖像用作圖11 Ca)所示的輸入圖像時(shí)，圖5和圖6所示的立體圖像生成處理單元103向右轉(zhuǎn)移輸入圖像以生成(d)右轉(zhuǎn)移圖像信號(hào)。進(jìn)而，立體圖像生成處理單元103向左轉(zhuǎn)移輸入圖像以生成(e)左轉(zhuǎn)移圖像信號(hào)。詳細(xì)地，(a)輸入信號(hào)S與視差強(qiáng)調(diào)信號(hào)E’合成，所述視差強(qiáng)調(diào)信號(hào)E’是通過(guò)在非線性轉(zhuǎn)換部213中對(duì)(c)校正(增益控制)之后的校正微分信號(hào)H’進(jìn)行非線性轉(zhuǎn)換而獲得的結(jié)果(非線性轉(zhuǎn)換部213的輸出)，從而生成(d)右轉(zhuǎn)移圖像信號(hào)或(e)左轉(zhuǎn)移圖像信號(hào)。如圖11 (d)所示，與其中校正之前的微分信號(hào)H被合成的情況相比，當(dāng)使用高增益G3校正的校正微分信號(hào)H’被合成時(shí)，生成了具有大的右轉(zhuǎn)移量的圖像信號(hào)。以同樣的方式，在圖11 (e)中，生成了具有大的左轉(zhuǎn)移量的圖像信號(hào)。接下來(lái)描述圖12所示的具有短距離的圖像區(qū)域(具有小深度的圖像區(qū)域)中的處理例子。圖12圖示了具有圖9 (c)圖像下部的短距離Dl的圖像區(qū)域(具有小深度的圖像 區(qū)域)中的處理例子。Ca)輸入信號(hào)S和(b)微分信號(hào)H與圖11所不的(a)輸入信號(hào)S和(b)微分信號(hào)H相同。(b)微分信號(hào)H指不(a)輸入信號(hào)S的微分結(jié)果。微分信號(hào)對(duì)應(yīng)于圖6所不的微分器211生成的信號(hào)。如圖12所不，由微分器211生成的微分信號(hào)在其中(a)輸入信號(hào)的亮度變化為正的區(qū)域A中具有正值，并且在其中(a)輸入信號(hào)的亮度變化為負(fù)的區(qū)域B中具有負(fù)值。(c)校正(增益控制)之后的校正微分信號(hào)H’對(duì)應(yīng)于圖6所示的增益控制部212生成的信號(hào)，并且是通過(guò)基于深度信息針對(duì)圖12的(b)微分信號(hào)執(zhí)行校正(增益控制)而獲得的。圖12所不的例子對(duì)應(yīng)于具有短距尚(例如圖8和圖9 (c)的Dl)的圖像區(qū)域(具有小深度的圖像區(qū)域)中的處理例子，并且使用如圖8和圖9中描述的增益Gl將微分信號(hào)的振幅校正變小。圖12 (C)中圖示的虛線指示校正之前的信號(hào)(=(b)微分信號(hào)H)，并且圖12 (c)中圖示的實(shí)線指示對(duì)應(yīng)于距離的校正之后的校正微分信號(hào)H’。如上所述，通過(guò)對(duì)應(yīng)于距離的增益控制，校正微分信號(hào)H’被校正以具有小的振幅。(d)右轉(zhuǎn)移圖像信號(hào)和(e)左轉(zhuǎn)移圖像信號(hào)對(duì)應(yīng)于由圖6所示的圖像組合部214生成的信號(hào)。圖像組合部214將(a)輸入信號(hào)S與視差強(qiáng)調(diào)信號(hào)E’合成，所述視差強(qiáng)調(diào)信號(hào)E’是通過(guò)在非線性轉(zhuǎn)換部213中對(duì)(c)校正(增益控制)之后的校正微分信號(hào)H’進(jìn)行非線性轉(zhuǎn)換而獲得的結(jié)果(非線性轉(zhuǎn)換部213的輸出)，從而生成(d)右轉(zhuǎn)移圖像信號(hào)或(e)左轉(zhuǎn)移圖像信號(hào)。例如，當(dāng)輸入左眼圖像用作圖12 Ca)所示的輸入圖像時(shí)，圖5和圖6所示的立體圖像生成處理單元103向右轉(zhuǎn)移輸入圖像以生成(d)右轉(zhuǎn)移圖像信號(hào)。進(jìn)而，立體圖像生成處理單元103向左轉(zhuǎn)移輸入圖像以生成(e)左轉(zhuǎn)移圖像信號(hào)。如圖12 (d)所示，與其中校正之前的微分信號(hào)H被合成的情況相比，當(dāng)使用低增益Gl校正的校正微分信號(hào)H’被合成時(shí)，生成了具有小的右轉(zhuǎn)移量的圖像信號(hào)。以同樣的方式，在圖11 Ce)中，生成了具有小的左轉(zhuǎn)移量的圖像信號(hào)。如上所述，在生成將要在比顯示屏深的方向上識(shí)別的圖像的情況下，圖像處理設(shè)備在距離長(zhǎng)時(shí)生成具有大振幅的校正微分信號(hào)，而在距離短時(shí)生成具有小振幅的校正微分信號(hào)，并且將這些校正微分信號(hào)(或者作為其非線性轉(zhuǎn)換結(jié)果的視差強(qiáng)調(diào)信號(hào))與(a)輸入信號(hào)S合成，從而生成(d)右轉(zhuǎn)移圖像信號(hào)或(e)左轉(zhuǎn)移圖像信號(hào)，其對(duì)應(yīng)于來(lái)自不同于輸入圖像的視點(diǎn)的觀察圖像，其中在圖11 (C)和圖12 (C)中圖示了校正微分信號(hào)。使用方程來(lái)描述(d)右轉(zhuǎn)移圖像信號(hào)或(e)左轉(zhuǎn)移圖像信號(hào)的生成過(guò)程。與圖11和圖12的(a)輸入信號(hào)S相對(duì)應(yīng)的視頻數(shù)據(jù)的亮度水平被設(shè)置為S，并且圖11 (b)和圖12 (b)所示的微分信號(hào)的信號(hào)水平被設(shè)置為H。進(jìn)而，由增益控制部212執(zhí)行的作為微分信號(hào)校正結(jié)果的校正微分信號(hào)的信號(hào)水平被設(shè)置為H’。另外，當(dāng)生成校正微分信號(hào)H’時(shí)，連同深度信息D —起從預(yù)先設(shè)置的函數(shù)等中確定(b)微分信號(hào)H與之相乘的增益G。
當(dāng)如圖11所示距離長(zhǎng)時(shí)增益值被設(shè)置為G3，而當(dāng)如圖12所示距離短時(shí)增益值被設(shè)置為Gl。在圖11和圖12所示的例子中，假定G3>1>G1。如果圖11 (C)和圖12 (C)的(C)校正之后的微分信號(hào)的信號(hào)水平被表達(dá)為H’，則H’可以通過(guò)以下方程表達(dá)為使用增益值G3和Gl校正的信號(hào)。當(dāng)如圖11所示距離長(zhǎng)時(shí)校正之后的微分信號(hào)H’用方程H’=G3XH來(lái)表達(dá)，而當(dāng)如圖12所示距離短時(shí)校正微分信號(hào)H’用方程H’ =Gl XH來(lái)表達(dá)。通過(guò)這些方程計(jì)算的信號(hào)具有圖11 (C)和圖12 (c)的(C)校正之后的微分信號(hào)的號(hào)水平H’。當(dāng)如圖11 (C)所示距離長(zhǎng)時(shí)，如果將用實(shí)線指示的校正之后的微分信號(hào)H’與用虛線指示的校正之前的微分信號(hào)(=b)相比較，則用實(shí)線指示的校正之后的微分信號(hào)H’具有比用虛線指示的校正之前的微分信號(hào)(=b)更大的振幅。同時(shí)，當(dāng)如圖12 (C)所示距離短時(shí)，如果將用實(shí)線指示的校正之后的微分信號(hào)H’與用虛線指示的校正之前的微分信號(hào)(=b)相比較，則用實(shí)線指示的校正之后的微分信號(hào)H’具有比用虛線指示的校正之前的微分信號(hào)(=b)更小的振幅。這是因?yàn)槿鐖D11 (c)和圖12 (c)所示的校正之后的微分信號(hào)H’是通過(guò)乘以不同的增益值而生成的。亦即，對(duì)于在從深度圖生成處理單元104輸出的深度圖中具有大的深度信息(離攝影機(jī)的距離遠(yuǎn))的像素，通過(guò)以下執(zhí)行校正將大的增益值乘以(b)微分信號(hào)，以生成如圖
11(C)所示的校正之后的微分信號(hào)。同時(shí)，對(duì)于在從深度圖生成處理單元104輸出的深度圖中具有小的深度信息(離攝影機(jī)的距離短)的像素，通過(guò)以下執(zhí)行校正將小的增益值乘以(b)微分信號(hào)，以生成如圖
12(C)所示的校正之后的微分信號(hào)。如圖11 (C)和圖12 (C)所示的校正之后的微分信號(hào)例如經(jīng)歷參考圖10描述的非線性轉(zhuǎn)換部213中的非線性轉(zhuǎn)換過(guò)程，導(dǎo)致生成視差強(qiáng)調(diào)信號(hào)E’。圖像組合部214接收對(duì)應(yīng)于(a)輸入信號(hào)的視頻數(shù)據(jù)S和通過(guò)對(duì)(C)校正之后的微分信號(hào)進(jìn)行非線性轉(zhuǎn)換而獲得的視差強(qiáng)調(diào)信號(hào)E’，并且例如通過(guò)以下方程生成右轉(zhuǎn)移圖像信號(hào)Right或左轉(zhuǎn)移圖像信號(hào)Left。
Right=S _E，Left=S+E’通過(guò)上面的方程獲得的信號(hào)分別對(duì)應(yīng)于圖11 (d)和圖12 (d)中的實(shí)線所指示的右轉(zhuǎn)移圖像信號(hào)以及圖11 (e)和圖12 (e)所示的左轉(zhuǎn)移圖像信號(hào)。同時(shí)，圖11 (d)、圖11 (e)、圖12 (d)和圖12 (e)中的虛線所指示的信號(hào)不是(c )校正之后的微分信號(hào)，并且對(duì)應(yīng)于校正之前的微分信號(hào)，亦即通過(guò)運(yùn)用(b )微分信號(hào)H，使用通過(guò)非線性轉(zhuǎn)換獲得的視差強(qiáng)調(diào)信號(hào)E，生成右轉(zhuǎn)移圖像信號(hào)和左轉(zhuǎn)移圖像信號(hào)。亦即，Right=S - E 并且 Left=S+E0如果將指示圖11 (d)和圖12 Cd)的右轉(zhuǎn)移圖像信號(hào)以及圖11 (e)和圖12 Ce)的左轉(zhuǎn)移圖像信號(hào)的實(shí)線與虛線相互比較，則當(dāng)如圖11所示距離長(zhǎng)時(shí)，實(shí)線(校正之后的微分信號(hào))的邊緣部分(信號(hào)的變化部分)比虛線(校正之前的微分信號(hào))更陡峭，并且在(d) 右轉(zhuǎn)移圖像信號(hào)和(e )左轉(zhuǎn)移圖像信號(hào)兩者中與(a)輸入信號(hào)相比，信號(hào)的轉(zhuǎn)移增加。同時(shí)，當(dāng)如圖12所示距離短時(shí)，實(shí)線(校正之后的微分信號(hào))的邊緣部分比虛線(校正之前的微分信號(hào))更平滑，并且在(d)右轉(zhuǎn)移圖像信號(hào)和(e)左轉(zhuǎn)移圖像信號(hào)兩者中與Ca)輸入信號(hào)相比，信號(hào)的轉(zhuǎn)移減小。換言之，當(dāng)距離長(zhǎng)時(shí)，(d)右轉(zhuǎn)移圖像信號(hào)和(e)左轉(zhuǎn)移圖像信號(hào)之間的差增加。當(dāng)距離短時(shí)，(d)右轉(zhuǎn)移圖像信號(hào)和(e)左轉(zhuǎn)移圖像信號(hào)之間的差減小。當(dāng)如上所述的(d)右轉(zhuǎn)移圖像信號(hào)和(e)左轉(zhuǎn)移圖像信號(hào)被顯示時(shí)，如果距離長(zhǎng)，則由于(d)右轉(zhuǎn)移圖像信號(hào)和(e)左轉(zhuǎn)移圖像信號(hào)的視網(wǎng)膜像差增加，所以圖像被識(shí)別為仿佛它們處在長(zhǎng)距離處。如果距離短，則由于(d)右轉(zhuǎn)移圖像信號(hào)和(e)左轉(zhuǎn)移圖像信號(hào)的視網(wǎng)膜像差減小，所以圖像被識(shí)別為仿佛它們處在短距離處。已參考相對(duì)于顯示屏在后面生成視差的方法描述了本實(shí)施例。然而，在相對(duì)于顯示屏在前面生成視差的情況下，圖像組合部214通過(guò)以下方程生成右轉(zhuǎn)移圖像信號(hào)Right和左轉(zhuǎn)移圖像信號(hào)Left。Right=S+E’Left=S _E，以這種方式，右轉(zhuǎn)移圖像信號(hào)和左轉(zhuǎn)移圖像信號(hào)在相反的方向上轉(zhuǎn)移，亦即，右轉(zhuǎn)移圖像信號(hào)與輸入圖像相比向左轉(zhuǎn)移，并且左轉(zhuǎn)移圖像信號(hào)與輸入圖像相比向右轉(zhuǎn)移。結(jié)果，生成的右轉(zhuǎn)移圖像信號(hào)和左轉(zhuǎn)移圖像信號(hào)被識(shí)別為相對(duì)于顯示屏在前面。( 1-4.由輸出圖像選擇處理單元執(zhí)行的輸出立體圖像對(duì)的選擇過(guò)程的細(xì)節(jié))接下來(lái)，針對(duì)圖5中圖示的輸出圖像選擇處理單元105所執(zhí)行的過(guò)程、亦即用于選擇充當(dāng)圖像處理設(shè)備100輸出的立體圖像對(duì)的方法提供描述。這里將會(huì)描述使用深度圖的方法。圖13圖示了深度圖及其直方圖的例子。圖13的上圖al圖示了與參考圖2和圖3描述的雙眼成像系統(tǒng)A (10)所捕捉的左眼圖像相對(duì)應(yīng)的深度圖，該深度圖已由深度圖生成處理單元104生成。類似地，圖13的下圖bl圖示了與參考圖2和圖3描述的雙眼成像系統(tǒng)B (20)所捕捉的左眼圖像相對(duì)應(yīng)的深度圖。在深度圖中，深度通過(guò)亮度來(lái)表達(dá)，并且具有如下的根據(jù)亮度的深度值
隨著像素的亮度增加，像素朝向前方(離攝影機(jī)的距離短);以及隨著像素的亮度降低，像素朝向后方(離攝影機(jī)的距離長(zhǎng))。此外，圖13的上圖a2圖示了針對(duì)圖13的上圖al的深度圖的直方圖，其中水平軸指示深度，而垂直軸則指示頻率。這里，頻率指示具有相應(yīng)深度值的深度圖中像素的數(shù)目。類似地，圖13的下圖b2圖示了針對(duì)圖13的下圖bl的深度圖的直方圖。當(dāng)關(guān)注于圖13的上圖和下圖的直方圖a2和b2時(shí)，這兩個(gè)直方圖的特征如下。在上圖a2中，頻率分布集中在后方(長(zhǎng)距離)區(qū)域。在下圖b2中，頻率主要分布在前方(短距離)區(qū)域中。如參考圖I至圖4描述的那樣，當(dāng)從對(duì)象至成像設(shè)備的距離短時(shí)，如果成像設(shè)備的 拍攝圖像按原狀用作立體圖像，則由于視差非常大并且還發(fā)生閉塞，所以觀察者可能感覺(jué)不適或疲勞。同時(shí)，使用通過(guò)用于將二維圖像轉(zhuǎn)換成雙眼視差圖像的2D/3D轉(zhuǎn)換(立體轉(zhuǎn)換)而生成的圖像，可以調(diào)整視差并且生成不會(huì)造成上面提到的不適或疲勞的圖像。如圖13的上圖a2中圖示的那樣，當(dāng)頻率主要分布在后方時(shí)，即使當(dāng)雙眼成像系統(tǒng)所生成的立體圖像對(duì)、亦即輸入到圖像處理設(shè)備100的輸入右眼圖像和輸入左眼圖像的立體圖像對(duì)被輸出時(shí)，由于非常大的視差或閉塞并不發(fā)生，所以可以獲得舒適的立體視覺(jué)，而不會(huì)對(duì)觀察者造成不適或疲勞。同時(shí)，如圖13的下圖b2中圖示的那樣，在其中頻率主要分布在前方的情況下，當(dāng)輸入到圖像處理設(shè)備100的輸入右眼圖像和輸入左眼圖像的立體圖像對(duì)被輸出用于觀察時(shí)，由于發(fā)生非常大的視差或閉塞，所以非?？赡艿氖牵^察者會(huì)感覺(jué)不適或疲勞。在這種情況下，從一個(gè)左眼圖像中生成的立體圖像對(duì)、亦即通過(guò)立體圖像生成處理單元103生成的生成右眼圖像和生成左眼圖像的立體圖像對(duì)被輸出用于觀察，以便可以在沒(méi)有非常大的視差或閉塞的情況下獲得舒適的立體視覺(jué)。輸出圖像選擇處理單元105執(zhí)行上面提到的輸出圖像選擇。亦即，基于如圖13(a2)和(b2)所示的圖像距離分布直方圖，輸出圖像選擇處理單元105執(zhí)行對(duì)選擇圖像的確定。這種技術(shù)并沒(méi)有特殊限制。例如，存在如下方法通過(guò)識(shí)別具有高頻率的深度值是高于還是低于閾值th，來(lái)確定輸出的立體圖像對(duì)；或者通過(guò)計(jì)算直方圖的中心值，并且識(shí)別該值是高于還是低于閾值th，來(lái)確定輸出的立體圖像對(duì)。參考圖14和隨后的附圖來(lái)描述輸出圖像選擇處理單元105的詳細(xì)配置例子。圖14圖示了輸出圖像選擇處理單元105的配置例子。在圖14所示的配置中，基于從參考圖13描述的圖像的深度圖中生成的距離直方圖，輸出圖像選擇處理單元105執(zhí)行選擇從圖像處理設(shè)備100輸出的立體圖像對(duì)的過(guò)程。如圖14所示，輸出圖像選擇處理單元105包括控制信號(hào)生成部105a以及控制部105b 和 105c?；趶纳疃葓D生成處理單元104輸入的深度圖，控制信號(hào)生成部105a生成如圖13(a2)和(b2)所示的距離直方圖。此外，控制信號(hào)生成部105a將預(yù)先保持的閾值th與生成的直方圖的中心值相比較，識(shí)別直方圖中心是等于或大于閾值th還是小于閾值th，并且將對(duì)應(yīng)于識(shí)別結(jié)果的控制信號(hào)(1，0)輸出到控制部105b和105c?？刂撇?05b接收由雙眼成像系統(tǒng)拍攝并且輸入到圖像處理設(shè)備100的“輸入右眼圖像”和“輸入左眼圖像”，并且控制這些圖像的輸出。如果從控制信號(hào)生成部105a輸入控制信號(hào)[I]，則控制部105b配置成輸出這些圖像。同時(shí)，控制部105c接收由立體圖像生成處理單元103通過(guò)2D/3D轉(zhuǎn)換生成的“生成右眼圖像”和“生成左眼圖像”，并且控制這些圖像的輸出。如果從控制信號(hào)生成部105a輸入控制信號(hào)[I]，則控制部105c配置成輸出這些圖像。如上所述，圖14所示的輸出圖像選擇處理單元105包括控制信號(hào)生成部105a以及兩個(gè)控制部105b和105c。圖14 (I)圖示了當(dāng)基于從深度圖生成處理單元104輸入的深度圖而生成的距離直方圖的中心等于或大于閾值th時(shí)的處理。亦即，圖14 (I)圖示了當(dāng)整個(gè)圖像的對(duì)象距離相對(duì)處于后方(離攝影機(jī)遠(yuǎn))時(shí)的處理。在這種情況下，控制信號(hào)生成部105a將指示輸出許可的控制信號(hào)[I]輸出到控制由雙眼成像系統(tǒng)拍攝的“輸入右眼圖像”和“輸入左眼圖像”的輸出的控制部105b，并且將 指示輸出禁止的控制信號(hào)
輸出到控制由立體圖像生成處理單元103通過(guò)2D/3D轉(zhuǎn)換生成的“生成右眼圖像”和“生成左眼圖像”的輸出的控制部105c。結(jié)果，從輸出圖像選擇處理單元105輸出的圖像，亦即從圖像處理設(shè)備100輸出的圖像，是由雙眼成像系統(tǒng)拍攝的“輸入右眼圖像”和“輸入左眼圖像”。圖14 (2)圖示了當(dāng)基于從深度圖生成處理單元104輸入的深度圖而生成的距離直方圖的中心小于閾值th時(shí)的處理。亦即，圖14 (2)圖示了當(dāng)整個(gè)圖像的對(duì)象距離相對(duì)處于前方(離攝影機(jī)近)時(shí)的處理。在這種情況下，控制信號(hào)生成部105a將指示輸出禁止的控制信號(hào)
輸出到控制由雙眼成像系統(tǒng)拍攝的“輸入右眼圖像”和“輸入左眼圖像”的輸出的控制部105b，并且將指示輸出許可的控制信號(hào)[I]輸出到控制由立體圖像生成處理單元103通過(guò)2D/3D轉(zhuǎn)換生成的“生成右眼圖像”和“生成左眼圖像”的輸出的控制部105c。結(jié)果，從輸出圖像選擇處理單元105輸出的圖像，亦即從圖像處理設(shè)備100輸出的圖像，是由立體圖像生成處理單元103通過(guò)2D/3D轉(zhuǎn)換生成的“生成右眼圖像”和“生成左眼圖像”。在圖14所示的處理例子中，從輸出圖像選擇處理單元105輸出的立體圖像對(duì)是以下中之一 (I)由雙眼成像系統(tǒng)拍攝并且輸入到圖像處理設(shè)備100的“輸入右眼圖像”和“輸入左眼圖像”；以及(2)由立體圖像生成處理單元103通過(guò)2D/3D轉(zhuǎn)換生成的“生成右眼圖像”和“生成左眼圖像”。亦即，立體圖像對(duì)是輸入立體圖像對(duì)和生成立體圖像對(duì)中之一。然而，從圖像處理設(shè)備100輸出的立體圖像對(duì)可以具有其中輸入的立體圖像和生成的立體圖像被混合的配置。例如，可以成為可能的是具有這樣一種配置，在所述配置中，由雙眼成像系統(tǒng)拍攝并且輸入到圖像處理設(shè)備100的“輸入右眼圖像”和“輸入左眼圖像”以及由立體圖像生成處理單元103通過(guò)2D/3D轉(zhuǎn)換生成的“生成右眼圖像”和“生成左眼圖像”被設(shè)置為用于輸出的立體圖像對(duì)。通過(guò)這樣的組合，可以精密地控制輸出立體圖像對(duì)的左右圖像之間的視差量。參考圖15至圖17，針對(duì)如上所述通過(guò)各種圖像組合來(lái)執(zhí)行圖像輸出控制的輸出圖像選擇處理單元105的配置和處理例子提供描述。
圖15至圖17中圖示的輸出圖像選擇處理單元105包括控制信號(hào)生成部105a和四個(gè)控制部105b至105e?；趶纳疃葓D生成處理單元104輸入的深度圖，控制信號(hào)生成部105a生成如圖13(a2)和(b2)所示的距離直方圖。此外，控制信號(hào)生成部105a將預(yù)先保持的閾值thl和th2與生成的直方圖的中心值相比較，識(shí)別直方圖中心是等于或大于閾值thl和th2還是小于閾值thl和th2，并且將對(duì)應(yīng)于識(shí)別結(jié)果的控制信號(hào)(1，0)輸出到控制部105b至105e。另外，閾值thl和th2滿足以下關(guān)系，亦即后方(離攝影機(jī)的距離長(zhǎng))>thl>th2>前方(離攝影機(jī)的距離短)。如上所述，與閾值th2相比，閾值thl是設(shè)置在這樣一個(gè)位置處的閾值，在所述位置處，離攝影機(jī)的距離長(zhǎng)。
控制部105b接收由雙眼成像系統(tǒng)拍攝并且輸入到圖像處理設(shè)備100的“輸入右眼圖像”，并且控制“輸入右眼圖像”的輸出。如果從控制信號(hào)生成部105a輸入控制信號(hào)[1]，則控制部105b配置成輸出“輸入右眼圖像”?？刂撇?05c接收由雙眼成像系統(tǒng)拍攝并且輸入到圖像處理設(shè)備100的“輸入左眼圖像”，并且控制“輸入左眼圖像”的輸出。如果從控制信號(hào)生成部105a輸入控制信號(hào)[1]，則控制部105c配置成輸出“輸入左眼圖像”。同時(shí)，控制部105d接收由立體圖像生成處理單元103通過(guò)2D/3D轉(zhuǎn)換生成的“生成右眼圖像”，并且控制“生成右眼圖像”的輸出。如果從控制信號(hào)生成部105a輸入控制信號(hào)[I]，則控制部105d配置成輸出“生成右眼圖像”?？刂撇?05e接收由立體圖像生成處理單元103通過(guò)2D/3D轉(zhuǎn)換生成的“生成左眼圖像”，并且控制“生成左眼圖像”的輸出。如果從控制信號(hào)生成部105a輸入控制信號(hào)[1]，則控制部105e配置成輸出“生成左眼圖像”。圖15所示的例子示出了當(dāng)基于從深度圖生成處理單元104輸入的深度圖而生成的距離直方圖的中心等于或大于閾值thl時(shí)的處理。亦即，圖15所示的例子示出了當(dāng)整個(gè)圖像的對(duì)象距離相對(duì)處于后方(離攝影機(jī)遠(yuǎn))時(shí)的處理。在這種情況下，控制信號(hào)生成部105a將指示輸出許可的控制信號(hào)[I]輸出到控制由雙眼成像系統(tǒng)拍攝的“輸入右眼圖像”的輸出的控制部105b，并且將指示輸出許可的控制信號(hào)[I]輸出到控制由雙眼成像系統(tǒng)拍攝的“輸入左眼圖像”的輸出的控制部105c。進(jìn)而，控制信號(hào)生成部105a將指示輸出禁止的控制信號(hào)
輸出到控制由立體圖像生成處理單元103通過(guò)2D/3D轉(zhuǎn)換生成的“生成右眼圖像”和“生成左眼圖像”的輸出的控制部105d和105e。結(jié)果，從輸出圖像選擇處理單元105輸出的圖像，亦即從圖像處理設(shè)備100輸出的圖像，是由雙眼成像系統(tǒng)拍攝的“輸入右眼圖像”和“輸入左眼圖像”。圖16所示的例子示出了當(dāng)基于從深度圖生成處理單元104輸入的深度圖而生成的距離直方圖的中心等于或大于閾值th2并且小于閾值thl時(shí)的處理。亦即，圖16所示的例子示出了當(dāng)整個(gè)圖像的對(duì)象距離相對(duì)是中間距離時(shí)的處理。在這種情況下，控制信號(hào)生成部105a將指示輸出許可的控制信號(hào)[I]輸出到控制由雙眼成像系統(tǒng)拍攝的“輸入右眼圖像”的輸出的控制部105b，并且將指示輸出禁止的控制信號(hào)[o]輸出到控制由雙眼成像系統(tǒng)拍攝的“輸入左眼圖像”的輸出的控制部105c。進(jìn)而，控制信號(hào)生成部105a將指示輸出許可的控制信號(hào)[I]輸出到控制由立體圖像生成處理單元103通過(guò)2D/3D轉(zhuǎn)換生成的“生成右眼圖像”的輸出的控制部105d。此外，控制信號(hào)生成部105a將指示輸出禁止的控制信號(hào)
輸出到控制由立體圖像生成處理單元103通過(guò)2D/3D轉(zhuǎn)換生成的“生成左眼圖像”的輸出的控制部105e。結(jié)果，從輸出圖像選擇處理單元105輸出的圖像，亦即從圖像處理設(shè)備100輸出的圖像，是由雙眼成像系統(tǒng)拍攝的“輸入右眼圖像”和由立體圖像生成處理單元103通過(guò)2D/3D轉(zhuǎn)換生成的“生成右眼圖像”。在這種情況下，由立體圖像生成處理單元103通過(guò)2D/3D轉(zhuǎn)換生成的“生成右眼圖像”被輸出作為左眼圖像。
基于“輸入左眼圖像”，以及與“輸入左眼圖像”相比來(lái)自右視點(diǎn)的圖像，同時(shí)成為與“輸入右眼圖像”相比來(lái)自左視點(diǎn)的圖像，由立體圖像生成處理單元103通過(guò)2D/3D轉(zhuǎn)換生成的“生成右眼圖像”最初已被生成。亦即，“生成右眼圖像”是通過(guò)由雙眼成像系統(tǒng)拍攝的“輸入右眼圖像”和“輸入左眼圖像”的組合而具有小視差的圖像對(duì)。圖17所示的例子示出了當(dāng)基于從深度圖生成處理單元104輸入的深度圖而生成的距離直方圖的中心小于閾值th2時(shí)的處理。亦即，圖17所示的例子示出了當(dāng)整個(gè)圖像的對(duì)象距離相對(duì)處于前方(離攝影機(jī)近)時(shí)的處理。在這種情況下，控制信號(hào)生成部105a將指示輸出禁止的控制信號(hào)
輸出到控制由雙眼成像系統(tǒng)拍攝的“輸入右眼圖像”和“輸入左眼圖像”的輸出的控制部105b和105c。進(jìn)而，控制信號(hào)生成部105a將指示輸出許可的控制信號(hào)[I]輸出到控制由立體圖像生成處理單元103通過(guò)2D/3D轉(zhuǎn)換生成的“生成右眼圖像”和“生成左眼圖像”的輸出的控制部105d和105e。結(jié)果，從輸出圖像選擇處理單元105輸出的圖像，亦即從圖像處理設(shè)備100輸出的圖像，是由立體圖像生成處理單元103通過(guò)2D/3D轉(zhuǎn)換生成的“生成右眼圖像”和“生成左眼圖像”。如上所述，根據(jù)參考圖15至圖17描述的設(shè)置，Ca)當(dāng)將要處理的圖像的對(duì)象距離相對(duì)長(zhǎng)(后方)時(shí)，由雙眼成像系統(tǒng)拍攝的“輸入右眼圖像”和“輸入左眼圖像”的組合被輸出(圖15) ;(b)當(dāng)將要處理的圖像的對(duì)象距離相對(duì)是中間距離時(shí)，由雙眼成像系統(tǒng)拍攝的“輸入右眼圖像”和由立體圖像生成處理單元103通過(guò)2D/3D轉(zhuǎn)換生成的“生成右眼圖像”的組合被輸出(圖16);以及(c)當(dāng)將要處理的圖像的對(duì)象距離相對(duì)短(前方)時(shí)，由立體圖像生成處理單元103通過(guò)2D/3D轉(zhuǎn)換生成的“生成右眼圖像”和“生成左眼圖像”的組合被輸出(圖 17)。根據(jù)圖像選擇上面提到的三個(gè)模式，導(dǎo)致輸出圖像的組合的變化。[2.其它實(shí)施例]在上面提到的實(shí)施例中描述的圖像處理設(shè)備的配置，亦即圖5所示的圖像處理設(shè)備100，是本公開(kāi)的圖像處理設(shè)備的實(shí)施例的例子，并且存在各種實(shí)施例。參考圖18和隨后的附圖來(lái)描述多個(gè)實(shí)施例。(2-1.最少元件的配置例子)
圖18圖示了在本公開(kāi)的圖像處理設(shè)備中包括最少元件的配置例子。圖像處理設(shè)備300包括右眼圖像輸入單元301、左眼圖像輸入單元302和立體圖像生成處理單元303。圖像處理設(shè)備300接收雙眼立體圖像信號(hào)。輸入的圖像信號(hào)包括由左右成對(duì)的成像系統(tǒng)捕捉的左右立體圖像，亦即輸入右眼圖像和輸入左眼圖像。例如，圖像處理設(shè)備300接收由來(lái)自兩個(gè)不同視點(diǎn)的圖2所示的雙眼成像系統(tǒng)A (10)和雙眼成像系統(tǒng)B (20)捕捉的一對(duì)兩個(gè)圖像。這些輸入右眼圖像和輸入左眼圖像分別被輸入到右眼圖像輸入單元301和左眼圖像輸入單元302。使用一個(gè)輸入圖像(在當(dāng)前例子中為輸入左眼圖像)，通過(guò)2D/3D轉(zhuǎn)換過(guò)程，立體圖像生成處理單元303生成構(gòu)成立體圖像的右眼圖像和左眼圖像。
然而，在本實(shí)施例中，立體圖像生成處理單元303在沒(méi)有使用深度圖的情況下通過(guò)2D/3D轉(zhuǎn)換過(guò)程生成構(gòu)成立體圖像的右眼圖像和左眼圖像。圖像處理設(shè)備300既輸出(a)由雙眼成像系統(tǒng)拍攝并且輸入到圖像處理設(shè)備300的輸入右眼圖像和輸入左眼圖像的立體圖像對(duì)，又輸出(b)由立體圖像生成處理單元303通過(guò)2D/3D轉(zhuǎn)換過(guò)程生成的生成右眼圖像和生成左眼圖像的立體圖像對(duì)。亦即，圖像處理設(shè)備300并不執(zhí)行輸出圖像選擇過(guò)程。在本實(shí)施例中，立體圖像生成處理單元303在沒(méi)有使用深度圖的情況下通過(guò)2D/3D轉(zhuǎn)換過(guò)程生成構(gòu)成立體圖像的右眼圖像和左眼圖像。在參考圖5和隨后的附圖描述的實(shí)施例中，根據(jù)對(duì)象距離(深度)，基于轉(zhuǎn)移量的變化，使用深度圖，通過(guò)2D/3D轉(zhuǎn)換過(guò)程，立體圖像生成處理單元103生成了構(gòu)成立體圖像的右眼圖像和左眼圖像。另一方面，在不使用深度圖的情況下，基于獨(dú)立于對(duì)象距離(深度)的轉(zhuǎn)移量的設(shè)置，通過(guò)2D/3D轉(zhuǎn)換過(guò)程，圖18所示的圖像處理設(shè)備300的立體圖像生成處理單元303生成構(gòu)成立體圖像的右眼圖像和左眼圖像。另外，對(duì)于2D/3D轉(zhuǎn)換過(guò)程，例如可以運(yùn)用本申請(qǐng)人的日本待審專利申請(qǐng)公布第2010-63083號(hào)中描述的配置。(2-2.其中輸出圖像選擇處理單元被省略的配置例子)接下來(lái)參考圖19來(lái)描述其中從圖5所示的圖像處理設(shè)備100中省略輸出圖像選擇處理單元105的配置例子。圖19所示的圖像處理設(shè)備320包括右眼圖像輸入單元321、左眼圖像輸入單元322、立體圖像生成處理單元323和深度圖生成處理單元324。圖像處理設(shè)備320接收雙眼立體圖像信號(hào)。輸入的圖像信號(hào)包括由左右成對(duì)的成像系統(tǒng)捕捉的左右立體圖像，亦即輸入右眼圖像和輸入左眼圖像。例如，圖像處理設(shè)備320接收由來(lái)自兩個(gè)不同視點(diǎn)的圖2所示的雙眼成像系統(tǒng)A (10)和雙眼成像系統(tǒng)B (20)捕捉的一對(duì)兩個(gè)圖像。這些輸入右眼圖像和輸入左眼圖像分別被輸入到右眼圖像輸入單元321和左眼圖像輸入單元322?；谝粋€(gè)輸入圖像(在當(dāng)前例子中為輸入左眼圖像)，使用已通過(guò)深度圖生成處理單元324生成的深度圖，通過(guò)2D/3D轉(zhuǎn)換過(guò)程，立體圖像生成處理單元103生成構(gòu)成立體圖像的右眼圖像和左眼圖像。深度圖生成處理單元324生成并輸出深度圖，在所述深度圖中，距離信息已與輸入圖像的像素相關(guān)聯(lián)。深度圖包括指示構(gòu)成圖像的像素相對(duì)于對(duì)象的對(duì)象距離(離攝影機(jī)的距離)的數(shù)據(jù)，并且例如包括圖像，所述圖像包括通過(guò)對(duì)關(guān)于從圖像的每個(gè)像素到對(duì)象的距離的信息進(jìn)行轉(zhuǎn)換而獲得的亮度信息等。圖像處理設(shè)備320既輸出(a)由雙眼成像系統(tǒng)拍攝并且輸入到圖像處理設(shè)備320的輸入右眼圖像和輸入左眼圖像的立體圖像對(duì)，又輸出(b)由立體圖像生成處理單元323通過(guò)2D/3D轉(zhuǎn)換過(guò)程生成的生成右眼圖像和生成左眼圖像的立體圖像對(duì)。亦即，圖像處理設(shè)備320并不執(zhí)行輸出圖像選擇過(guò)程。
本實(shí)施例具有這樣一種配置，在所述配置中，從參考除了圖5之外的附圖描述的實(shí)施例中省略了用于選擇輸出圖像的輸出圖像選擇處理單元105。(2-3.其中在輸出圖像選擇處理單元沒(méi)有應(yīng)用深度圖的配置例子)接下來(lái)參考圖20來(lái)描述其中在輸出圖像選擇處理單元中沒(méi)有應(yīng)用深度圖的配置例子。圖20所示的圖像處理設(shè)備340包括右眼圖像輸入單元341、左眼圖像輸入單元342、立體圖像生成處理單元343、深度圖生成處理單元344和輸出圖像選擇處理單元345。元件與參考圖5描述的圖像處理設(shè)備100相同。然而，圖20所示的圖像處理設(shè)備340的輸出圖像選擇處理單元345在沒(méi)有使用深度圖的情況下執(zhí)行輸出圖像選擇過(guò)程。這一點(diǎn)不同于參考圖5描述的實(shí)施例。圖像處理設(shè)備340接收雙眼立體圖像信號(hào)。輸入的圖像信號(hào)包括由左右成對(duì)的成像系統(tǒng)捕捉的左右立體圖像，亦即輸入右眼圖像和輸入左眼圖像。例如，圖像處理設(shè)備340接收由來(lái)自兩個(gè)不同視點(diǎn)的圖2所示的雙眼成像系統(tǒng)A (10)和雙眼成像系統(tǒng)B (20)捕捉的一對(duì)兩個(gè)圖像。這些輸入右眼圖像和輸入左眼圖像分別被輸入到右眼圖像輸入單元341和左眼圖像輸入單元342。基于一個(gè)輸入圖像(在當(dāng)前例子中為輸入左眼圖像)，使用已通過(guò)深度圖生成處理單元344生成的深度圖，通過(guò)2D/3D轉(zhuǎn)換過(guò)程，立體圖像生成處理單元343生成構(gòu)成立體圖像的右眼圖像和左眼圖像。深度圖生成處理單元344生成并輸出深度圖，在所述深度圖中，距離信息已與輸入圖像的像素相關(guān)聯(lián)。深度圖包括指示構(gòu)成圖像的像素相對(duì)于對(duì)象的對(duì)象距離(離攝影機(jī)的距離)的數(shù)據(jù)，并且例如包括圖像，所述圖像包括通過(guò)對(duì)關(guān)于從圖像的每個(gè)像素到對(duì)象的距離的信息進(jìn)行轉(zhuǎn)換而獲得的亮度信息等。輸出圖像選擇處理單元345執(zhí)行以下過(guò)程從(a)輸入到圖像處理設(shè)備340的輸入右眼圖像和輸入左眼圖像以及(b)由立體圖像生成處理單元343生成的生成右眼圖像和生成左眼圖像中，選擇將要輸出的圖像。然而，在本實(shí)施例中，輸出圖像選擇處理單元345在不使用深度圖的情況下執(zhí)行輸出圖像選擇過(guò)程。這一點(diǎn)不同于參考圖5描述的實(shí)施例。參考圖21來(lái)描述用于執(zhí)行輸出圖像選擇過(guò)程的輸出圖像選擇處理單元345在不使用深度信息的情況下基于輸入圖像信息執(zhí)行的處理例子。圖21是用于說(shuō)明輸出圖像選擇處理單元345中的輸出圖像選擇過(guò)程的例子的示圖。圖21圖示了 (a)輸入左眼圖像和輸入左眼圖像亮度分布(這樣一種亮度分布，在所述亮度分布中，在水平方向上劃分圖像，并且示出劃分區(qū)域的亮度值的總和);以及(b)輸入右眼圖像和輸入右眼圖像亮度分布(這樣一種亮度分布，在所述亮度分布中，在水平方向上劃分圖像，并且示出劃分區(qū)域的亮度值的總和)。輸入左眼圖像和輸入右眼圖像例如對(duì)應(yīng)于由來(lái)自兩個(gè)不同視點(diǎn)的圖2所示的雙眼成像系統(tǒng)A (10)和雙眼成像系統(tǒng)B (20)捕捉的一對(duì)兩個(gè)圖像，并且通過(guò)圖20所示的左眼圖像輸入單元342和右眼圖像輸入單元341被輸入到輸出圖像選擇處理單元345。 基于這些輸入圖像，輸出圖像選擇處理單元345分析圖21的下部圖示的圖像亮度分布。輸出圖像選擇處理單元345在水平方向上劃分輸入左眼圖像和輸入右眼圖像中的每一個(gè)，并且計(jì)算亮度分布，其指示每個(gè)劃分區(qū)域的亮度的總和。如圖21所示，輸出圖像選擇處理單元345在水平方向上將左右圖像中的每一個(gè)劃分成n個(gè)區(qū)域，并且計(jì)算每個(gè)劃分區(qū)域的垂直方向上的亮度總和。此外，在水平坐標(biāo)中計(jì)算亮度值當(dāng)中的差異，并且獲得差異的總和，以便計(jì)算左右圖像的相似性。此時(shí)，一個(gè)圖像被均勻地轉(zhuǎn)移，并且計(jì)算差異的總和的平均值，以便可以根據(jù)轉(zhuǎn)移量計(jì)算左右圖像的相似性。相似性最小的轉(zhuǎn)移量的值是左右圖像的視差的估計(jì)值。詳細(xì)地，例如執(zhí)行以下過(guò)程。在以下方程中，Lx指示LO至Ln中亮度的總和值，而Rx則指示RO至Rn中亮度的總和值。轉(zhuǎn)移量0 :差異總和平均值=((LO-RO)+ (Ll-Rl) ... + (Ln-Rn) )/n轉(zhuǎn)移量I :差異總和平均值=((LO-Rl) + (L1-R2)…+ (Ln-I-Rn)) / (n~l)轉(zhuǎn)移量2 :差異總和平均值=((L0-R2) + (L1-R3)…+ (Ln-2-Rn))/(n-2)通過(guò)上面的方程計(jì)算的差異總和平均值指示了根據(jù)轉(zhuǎn)移量的兩個(gè)圖像的相似性，并且具有最小的差異總和平均值的轉(zhuǎn)移量的值是左右圖像的視差的估計(jì)值。輸出圖像選擇處理單元345允許左右視差的估計(jì)值等于參考圖13至圖17描述的深度直方圖的中心，并且在選擇輸出圖像時(shí)使用該估計(jì)值。換言之，當(dāng)左右視差的估計(jì)值等于或大于具有預(yù)定大小的轉(zhuǎn)移量(其絕對(duì)值)Smin時(shí)，輸出圖像選擇處理單元345輸出通過(guò)立體圖像生成處理單元生成的生成立體圖像對(duì)。當(dāng)左右視差的估計(jì)值小于Smin時(shí)，輸出圖像選擇處理單元345輸出輸入立體圖像對(duì)，亦即執(zhí)行輸出圖像選擇過(guò)程。進(jìn)而，為了減少計(jì)算量，有效的是使用以下方法限制轉(zhuǎn)移量以針對(duì)Smin檢驗(yàn)左右差異的總和，通過(guò)相繼改變轉(zhuǎn)移量從-Smin至Smin計(jì)算差異的總和，當(dāng)差異的總和變得小于預(yù)定閾值Ds時(shí)輸出生成立體圖像對(duì)，并且當(dāng)差異的總和超過(guò)預(yù)定閾值Ds時(shí)輸出輸入立體圖像對(duì)。如上所述，可以僅使用輸入圖像來(lái)簡(jiǎn)單地執(zhí)行輸出圖像選擇過(guò)程。(2-4.其中基于成像信息來(lái)執(zhí)行輸出圖像選擇的配置例子)
接下來(lái)描述其中基于成像信息來(lái)執(zhí)行輸出圖像選擇的配置例子。除了將“諸如拍攝模式或焦點(diǎn)位置之類的成像信息500A和500B”從雙眼立體成像設(shè)備400輸入到輸出圖像選擇處理單元505之外，圖22所示的圖像處理設(shè)備500基本上具有與參考圖20描述的圖像處理設(shè)備340相同的配置。在圖22所示的配置中，將“諸如拍攝模式或焦點(diǎn)位置之類的成像信息500A”從雙眼立體成像設(shè)備400的右眼成像單元401輸入到輸出圖像選擇處理單元505，并且將“諸如拍攝模式或焦點(diǎn)位置之類的成像信息500B”從雙眼立體成像設(shè)備400的左眼成像單元402輸入到輸出圖像選擇處理單元505。另外，輸入到輸出圖像選擇處理單元505的成像信息包括各種類型的內(nèi)容。例如，成像信息包括諸如焦點(diǎn)位置信息或拍攝模式信息之類的元數(shù)據(jù)。焦點(diǎn)位置信息與離對(duì)象的距離具有高度相關(guān)性。例如，當(dāng)焦點(diǎn)位置近時(shí)，非常可能 的是正在拍攝離攝影機(jī)近的對(duì)象。這樣一來(lái)，為了獲得易于觀看的立體圖像，有必要輸出通過(guò)立體圖像生成處理單元生成的生成立體圖像對(duì)。同時(shí)，當(dāng)焦點(diǎn)位置遠(yuǎn)時(shí)，非常可能的是正在拍攝遠(yuǎn)離攝影機(jī)的對(duì)象。這樣一來(lái)，輸入立體圖像對(duì)就被原狀輸出。當(dāng)這樣的信息被輸入到輸出圖像選擇處理單元505時(shí)，輸出圖像選擇處理單元505原狀輸出輸入立體圖像對(duì)。此外，與數(shù)字?jǐn)z影機(jī)的功能有關(guān)，自動(dòng)選擇的或者由用戶選擇的拍攝模式信息對(duì)于估計(jì)離對(duì)象的距離也是有效的。例如，當(dāng)選擇“宏觀模式”時(shí)，非?？赡艿氖钦谂臄z離攝影機(jī)近的對(duì)象。這樣一來(lái)，為了獲得易于觀看的立體圖像，有必要輸出由立體圖像生成處理單元503通過(guò)2D/3D轉(zhuǎn)換過(guò)程生成的生成立體圖像對(duì)。當(dāng)這樣的信息被輸入到輸出圖像選擇處理單元505時(shí)，輸出圖像選擇處理單元505選擇并輸出由立體圖像生成處理單元503通過(guò)2D/3D轉(zhuǎn)換過(guò)程生成的生成立體圖像對(duì)。同時(shí)，當(dāng)選擇“風(fēng)景模式”時(shí)，非?？赡艿氖钦谂臄z遠(yuǎn)離攝影機(jī)的對(duì)象。這樣一來(lái)，輸入立體圖像對(duì)就被原狀輸出。當(dāng)這樣的信息被輸入到輸出圖像選擇處理單元505時(shí)，輸出圖像選擇處理單元505原狀輸出輸入立體圖像對(duì)。至此已描述了其中兩個(gè)參數(shù)用作成像信息的例子。然而，可以使用與離對(duì)象的距離具有相關(guān)性的成像信息來(lái)執(zhí)行輸出圖像選擇過(guò)程。進(jìn)而，在圖22所示的配置例子中，左右眼成像系統(tǒng)中的成像信息被設(shè)置成輸入。然而，可以成為可能的是運(yùn)用這樣一種配置，在所述配置中，使用左右眼成像系統(tǒng)中的一個(gè)。另外，在圖22所示的配置中，輸出圖像選擇處理單元505基于從成像設(shè)備400輸入的成像信息來(lái)執(zhí)行輸出圖像選擇過(guò)程。例如，如同圖23所示的圖像處理設(shè)備520 —樣，可以成為可能的是運(yùn)用這樣一種配置，在所述配置中，除了來(lái)自成像設(shè)備400的成像信息500A和500B之外，通過(guò)深度圖生成處理單元524生成的深度圖被輸入到輸出圖像選擇處理單元525，并且考慮上面提到的深度圖和閾值的比較結(jié)果以及成像信息來(lái)選擇輸出圖像。例如，可以運(yùn)用以下方法對(duì)包括深度圖、輸入圖像對(duì)和成像信息的因數(shù)進(jìn)行加權(quán)，并且最終選擇輸出圖像。(2-5.其中基于用戶選擇信息來(lái)執(zhí)行輸出圖像選擇的配置例子)接下來(lái)描述其中基于用戶輸入的選擇信息來(lái)執(zhí)行輸出圖像選擇的配置例子。除了通過(guò)輸入單元(未圖示)將“來(lái)自用戶的選擇信息500C”輸入到輸出圖像選擇處理單元545之外，圖24所示的圖像處理設(shè)備540基本上具有與參考圖20描述的圖像處理設(shè)備340相同的配置。至此已描述了其中輸出圖像選擇處理單元自動(dòng)地選擇輸出立體圖像對(duì)的配置。然而，在圖24所示的圖像處理設(shè)備540中，輸出圖像選擇處理單元545接收用戶輸入的選擇信息，并且根據(jù)選擇信息的輸入來(lái)選擇輸出圖像。在圖24所示的圖像處理設(shè)備540中，假定用戶手工選擇輸入立體圖像對(duì)和生成立體圖像對(duì)。例如，諸如“左右攝影機(jī)模式”或“3D轉(zhuǎn)換模式”之類的項(xiàng)目可以顯示在預(yù)覽屏幕上，并且可以根據(jù)用戶的意圖進(jìn)行選擇。另外，如上所述，對(duì)于輸出圖像選擇處理單元而言可能的是，使用深度圖、成像信息和用戶選擇信息中之一或其組合來(lái)選擇輸出圖像。進(jìn)而，當(dāng)選擇輸出圖像時(shí)，除了其中輸出圖像選擇處理單元被設(shè)置成選擇(a)由雙眼成像系統(tǒng)拍攝并且輸入到圖像處理設(shè)備的輸入右眼圖像和輸入左眼圖像的立體圖像對(duì) 和(b)由立體圖像生成處理單元通過(guò)2D/3D轉(zhuǎn)換過(guò)程生成的生成右眼圖像和生成左眼圖像的立體圖像對(duì)中之一的配置之外，可以成為可能的是運(yùn)用這樣一種配置，在所述配置中，包括(a)和(b)兩者的圖像對(duì)被選擇作為輸出圖像，如參考圖15至圖17描述的那樣。(2-6.其中深度圖生成處理單元被省略的配置例子)接下來(lái)參考圖25來(lái)描述其中深度圖生成處理單元已被去除的配置例子。圖25所示的圖像處理設(shè)備560具有這樣一種配置,在所述配置中，從圖5所示的圖像處理設(shè)備100中省略了深度圖生成處理單元。亦即，在這種配置中，輸出圖像選擇處理單元565在不使用深度圖的情況下選擇輸出圖像。輸出圖像選擇處理單元565例如基于輸入圖像信息、成像信息和用戶選擇信息中之一或其組合來(lái)執(zhí)行圖像選擇。進(jìn)而，除了其中(a)由雙眼成像系統(tǒng)拍攝并且輸入到圖像處理設(shè)備的輸入右眼圖像和輸入左眼圖像的立體圖像對(duì)和(b)由立體圖像生成處理單元通過(guò)2D/3D轉(zhuǎn)換過(guò)程生成的生成右眼圖像和生成左眼圖像的立體圖像對(duì)中之一被選擇作為將要輸出的圖像對(duì)的配置之外，可以成為可能的是運(yùn)用這樣一種配置，在所述配置中，包括(a)和(b)兩者的圖像對(duì)被選擇作為輸出圖像，如參考圖15至圖17描述的那樣。[3.具有用于控制用于圖像處理設(shè)備的輸入圖像的配置的實(shí)施例]至此，所有上面提到的圖像處理設(shè)備都接收左右眼圖像信號(hào)。然而，在將左右立體圖像對(duì)輸入到圖像處理設(shè)備之前，當(dāng)已確定將會(huì)輸出經(jīng)過(guò)了立體轉(zhuǎn)換過(guò)程的生成立體圖像對(duì)時(shí)，沒(méi)有必要將未在立體轉(zhuǎn)換中使用的右眼圖像輸入到圖像處理設(shè)備。此外，在成像設(shè)備執(zhí)行成像之前，當(dāng)已確定將會(huì)輸出經(jīng)過(guò)了立體轉(zhuǎn)換過(guò)程的生成立體圖像對(duì)時(shí)，不需要捕捉未在立體轉(zhuǎn)換中使用的右眼圖像。如上所述，當(dāng)輸出圖像被設(shè)置時(shí)，可以執(zhí)行控制以簡(jiǎn)化圖像輸入過(guò)程或圖像拍攝過(guò)程。在下文中，將會(huì)描述具有這樣的控制配置的設(shè)備的例子。(3-1.其中在輸入過(guò)程之前執(zhí)行輸入圖像選擇的配置例子)首先，描述其中在輸入過(guò)程之前執(zhí)行輸入圖像選擇的配置例子。詳細(xì)地，參考圖26，針對(duì)這樣一種圖像處理設(shè)備的配置來(lái)提供描述，在所述圖像處理設(shè)備中，當(dāng)2D/3D轉(zhuǎn)換過(guò)程圖像已被確定為輸出圖像時(shí)，只有由雙眼成像系統(tǒng)拍攝的兩個(gè)圖像中的一個(gè)、例如只有左眼圖像被輸入到設(shè)備。圖26所示的圖像處理設(shè)備700具有這樣一種配置，在所述配置中，輸入圖像選擇處理單元701已被添加到參考圖18描述的圖像處理設(shè)備300的配置。圖像處理設(shè)備700執(zhí)行以下過(guò)程從具有右眼成像單元601和左眼成像單元602的雙眼立體成像設(shè)備600中接收輸入右眼圖像和輸入左眼圖像，并且執(zhí)行處理。輸入圖像選擇處理單元701確定從圖像處理設(shè)備700輸出的立體圖像對(duì)是由成像設(shè)備600的右眼成像單元601和左眼成像單元602捕捉的立體圖像對(duì)(在下文中稱之為成像立體圖像對(duì))，還是針對(duì)左眼成像單元602所捕捉的一個(gè)圖像通過(guò)在立體圖像生成處理單元704中執(zhí)行2D/3D轉(zhuǎn)換(立體轉(zhuǎn)換)而獲得的生成立體圖像對(duì)，在前者的情況下將左右眼圖像信號(hào)輸入到圖像處理設(shè)備700，并且在后者的情況下僅將左眼圖像信號(hào)輸入到圖像處理設(shè)備700。
在圖26所示的圖像處理設(shè)備700中，用實(shí)線和虛線指示了不同處理情況下的數(shù)據(jù)流。跟隨圖像處理設(shè)備700中的實(shí)線所指示的箭頭的數(shù)據(jù)流對(duì)應(yīng)于當(dāng)圖像處理設(shè)備700的輸出是在立體圖像生成處理單元704中通過(guò)2D/3D轉(zhuǎn)換(立體轉(zhuǎn)換)而生成的生成立體圖像對(duì)時(shí)的處理，并且示出了其中只有左眼圖像信號(hào)被輸入的第一處理情況。跟隨圖像處理設(shè)備700中的虛線所指示的箭頭的數(shù)據(jù)流對(duì)應(yīng)于當(dāng)圖像處理設(shè)備700的輸出是通過(guò)成像設(shè)備600的右眼成像單元601和左眼成像單元602捕捉的立體圖像對(duì)時(shí)的處理，并且示出了其中左右眼圖像信號(hào)被輸入的第二處理情況。另外，輸入圖像選擇處理單元701執(zhí)行以下過(guò)程根據(jù)輸入圖像的選擇來(lái)確定圖像處理設(shè)備700的輸出圖像，并且基于關(guān)于確定的信息來(lái)確定輸入圖像。對(duì)于確定輸出圖像的過(guò)程，類似于上面提到的實(shí)施例，輸入圖像選擇處理單元701基于以下中之一或其組合來(lái)執(zhí)行圖像選擇基于輸入圖像信息的圖像選擇；基于成像信息的圖像選擇；以及基于用戶選擇信息的圖像選擇。在圖26所示的圖像處理設(shè)備700的配置中，其中輸入圖像選擇處理單元701基于成像信息來(lái)確定輸出圖像并且基于輸出圖像的確定來(lái)選擇輸入圖像的配置例子對(duì)應(yīng)于圖27所示的配置。在圖27的圖像處理設(shè)備700中，輸入圖像選擇處理單元701從雙眼立體成像設(shè)備600中接收“諸如拍攝模式或焦點(diǎn)位置之類的成像信息600A和600B”，并且確定將要從圖像處理設(shè)備700輸出的圖像對(duì)。此外，輸入圖像選擇處理單元701基于輸出圖像的確定來(lái)選擇輸入圖像。在圖27中，跟隨圖像處理設(shè)備700中的實(shí)線所指示的箭頭的數(shù)據(jù)流對(duì)應(yīng)于當(dāng)圖像處理設(shè)備700的輸出是在立體圖像生成處理單元704中通過(guò)2D/3D轉(zhuǎn)換(立體轉(zhuǎn)換)而生成的生成立體圖像對(duì)時(shí)的處理，并且示出了其中只有左眼圖像信號(hào)被輸入的第一處理情況。跟隨圖像處理設(shè)備700中的虛線所指示的箭頭的數(shù)據(jù)流對(duì)應(yīng)于當(dāng)圖像處理設(shè)備700的輸出是通過(guò)成像設(shè)備600的右眼成像單元601和左眼成像單元602捕捉的立體圖像對(duì)時(shí)的處理，并且示出了其中左右眼圖像信號(hào)被輸入的第二處理情況。(3-2.其中在成像之前執(zhí)行輸入圖像選擇的配置例子)
接下來(lái)描述其中在成像之前執(zhí)行輸入圖像選擇的配置例子。詳細(xì)地，參考圖28，針對(duì)這樣一種控制配置來(lái)提供描述，在所述控制配置中，當(dāng)2D/3D轉(zhuǎn)換過(guò)程圖像已被確定為輸出圖像時(shí)，將要由雙眼成像系統(tǒng)拍攝的圖像被設(shè)置為只有左眼圖像，而對(duì)右眼圖像的拍攝則被停止。圖28所示的圖像處理設(shè)備720具有這樣一種配置，在所述配置中，輸入圖像選擇處理單元721已被添加到參考圖18描述的圖像處理設(shè)備300的配置。圖像處理設(shè)備720執(zhí)行以下過(guò)程從具有右眼成像單元601和左眼成像單元602的雙眼立體成像設(shè)備600中接收輸入右眼圖像和輸入左眼圖像，并且執(zhí)行處理。輸入圖像選擇處理單元721確定從圖像處理設(shè)備720輸出的立體圖像對(duì)是由成像設(shè)備600的右眼成像單元601和左眼成像單元602捕捉的立體圖像對(duì)(在下文中稱之為成像立體圖像對(duì))，還是針對(duì)左眼成像單元602所捕捉的一個(gè)圖像通過(guò)在立體圖像生成處理單元724中執(zhí)行2D/3D轉(zhuǎn)換(立體轉(zhuǎn)換)而獲得的生成立體圖像對(duì)，在前者的情況下將左右眼圖像信號(hào)輸入到圖像處理設(shè)備720，并且在后者的情況下僅將左眼圖像信號(hào)輸入到圖像處 理設(shè)備720。此外，輸入圖像選擇處理單元721將控制信號(hào)輸出到成像設(shè)備600，以執(zhí)行停止在右眼成像單元601中拍攝右眼圖像的控制。在圖28中，“控制信號(hào)O (700A)”是用于停止右眼成像單元601的拍攝的控制信號(hào)，而“控制信號(hào)I (700B)”則是用于執(zhí)行右眼成像單元601的拍攝的控制信號(hào)。在這個(gè)配置中，成像控制被執(zhí)行，以在執(zhí)行成像設(shè)備的成像之前確定將要輸出的立體圖像對(duì)是成像圖像對(duì)還是生成立體圖像對(duì)，并且如果確定將會(huì)輸出生成立體圖像對(duì)，則防止未在立體轉(zhuǎn)換中使用的右眼圖像被捕捉。另外，關(guān)于這種情況下的輸入圖像選擇過(guò)程，可以成為可能的是運(yùn)用以下方法基于將要經(jīng)歷成像的元數(shù)據(jù)如焦點(diǎn)位置信息或成像模式信息以及其中由用戶來(lái)選擇輸入圖像的配置等來(lái)選擇輸入圖像對(duì)。圖28圖示了這樣一種配置例子，在所述配置例子中，輸入圖像選擇處理單元721接收來(lái)自成像設(shè)備600的成像信息以確定輸出圖像，并且基于確定的輸出圖像來(lái)執(zhí)行成像控制過(guò)程。圖29圖示了這樣一種配置例子，在所述配置例子中，輸入圖像選擇處理單元721通過(guò)輸入單元(未圖示)接收用戶選擇信息以確定輸出圖像，并且基于確定的輸出圖像來(lái)執(zhí)行成像控制過(guò)程。在圖28和圖29的任一個(gè)中，跟隨圖像處理設(shè)備720中的實(shí)線所指示的箭頭的數(shù)據(jù)流對(duì)應(yīng)于當(dāng)圖像處理設(shè)備720的輸出是在立體圖像生成處理單元724中通過(guò)2D/3D轉(zhuǎn)換(立體轉(zhuǎn)換)而生成的生成立體圖像對(duì)時(shí)的處理，并且示出了其中只有左眼圖像信號(hào)被輸入的第一處理情況。跟隨圖像處理設(shè)備720中的虛線所指示的箭頭的數(shù)據(jù)流對(duì)應(yīng)于當(dāng)圖像處理設(shè)備720的輸出是通過(guò)成像設(shè)備600的右眼成像單元601和左眼成像單元602捕捉的立體圖像對(duì)時(shí)的處理，并且示出了其中左右眼圖像信號(hào)被輸入的第二處理情況。[4.其中從外部設(shè)備輸入深度圖的配置]例如，參考圖5描述的圖像處理設(shè)備100具有這樣一種配置，在所述配置中，深度圖生成處理單元設(shè)置在圖像處理設(shè)備中，并且在圖像處理設(shè)備中生成深度圖。
然而，可以成為可能的是運(yùn)用這樣一種配置，在所述配置中，從圖像處理設(shè)備外部的分開(kāi)設(shè)備中輸入深度圖。例如，在圖30中圖示了這種配置。在圖30所示的配置中，圖像處理設(shè)備820不具有深度圖生成處理單元，接收由外部的深度信息獲取設(shè)備810生成的深度圖，并且在立體圖像生成處理單元823中使用深度圖。假定深度信息獲取設(shè)備810例如使用距離傳感器等。在圖30所示的圖像處理設(shè)備820中，通過(guò)圖像輸入單元821和822將輸入立體圖像對(duì)輸入到立體圖像生成處理單元823，并且立體圖像生成處理單元823從作為外部設(shè)備的深度信息獲取設(shè)備810中獲取深度圖。然后，立體圖像生成處理單元823中的處理與上面描述的實(shí)施例中的處理相同。 [5.其中將要經(jīng)歷2D/3D轉(zhuǎn)換過(guò)程的圖像可選擇為右眼圖像的配置]上面提到的實(shí)施例已描述了這樣一種處理例子，在所述處理例子中，輸入到立體圖像生成處理單元的圖像被設(shè)置為左眼圖像，并且將要經(jīng)歷2D/3D轉(zhuǎn)換過(guò)程的圖像被設(shè)置為左眼圖像。然而，可以成為可能的是運(yùn)用這樣一種配置，在所述配置中，對(duì)右眼圖像執(zhí)行2D/3D轉(zhuǎn)換過(guò)程。在圖31所示的配置例子中，圖像處理設(shè)備840將要被輸入到立體圖像生成處理單元843的圖像設(shè)置為右眼圖像，并且基于右眼圖像執(zhí)行2D/3D轉(zhuǎn)換過(guò)程以生成立體圖像。進(jìn)而，如同圖32所示的圖像處理設(shè)備850 —樣，可以成為可能的運(yùn)用這樣一種配置，在所述配置中，提供立體轉(zhuǎn)換圖像選擇處理單元853，并且可以將要被輸入到立體圖像生成處理單元854的圖像選擇為右眼圖像或左眼圖像。各種選擇標(biāo)準(zhǔn)都是可用的。例如，可以確定并選擇易于由人眼觀看的左右圖像中之一。詳細(xì)地，可以選擇全面優(yōu)質(zhì)圖像，亦即選擇其中主要目標(biāo)在構(gòu)圖中心的圖像或者具有良好焦點(diǎn)位置的圖像。另外，作為用于自動(dòng)地從拍攝圖像中估計(jì)全面優(yōu)質(zhì)圖像的技術(shù)，例如可以運(yùn)用日本待審專利申請(qǐng)公布第2010-119097號(hào)中公開(kāi)的估計(jì)過(guò)程。如果從左右圖像中選擇全面優(yōu)質(zhì)圖像作為立體圖像生成處理單元的輸入，則使用該技術(shù)即足夠。另外，在圖32中，來(lái)自立體轉(zhuǎn)換圖像選擇處理單元853的立體圖像生成處理單元的設(shè)置用實(shí)線和虛線指示如下其中左圖像被確定為將要經(jīng)歷立體轉(zhuǎn)換過(guò)程的情況用實(shí)線指示；并且其中右圖像被確定為將要經(jīng)歷立體轉(zhuǎn)換過(guò)程的情況用虛線指示。左右輸入立體圖像對(duì)被輸入到立體轉(zhuǎn)換圖像選擇處理單元853，并且選擇將要經(jīng)歷立體轉(zhuǎn)換過(guò)程的圖像。另外，甚至在這個(gè)實(shí)施例中，也可以成為可能的是運(yùn)用這樣一種配置，在所述配置中，防止捕捉未在立體轉(zhuǎn)換中使用的圖像。[4.本公開(kāi)的配置的結(jié)論]至此已參考特定實(shí)施例詳細(xì)地描述了本公開(kāi)的配置。然而，應(yīng)當(dāng)注意的是，各種修改和替換實(shí)施例對(duì)于本領(lǐng)域技術(shù)人員而言都將會(huì)變得明顯，而不會(huì)背離本公開(kāi)的范圍。亦即，應(yīng)當(dāng)注意的是，本公開(kāi)通過(guò)實(shí)施例進(jìn)行了公開(kāi)，并且不以這些實(shí)施例所限制的方式加以解釋。為了確定本公開(kāi)的范圍，有必要考慮權(quán)利要求的范圍。另外，本技術(shù)還可以配置如下。(I) 一種圖像處理設(shè)備，包括圖像輸入單元，配置成接收從不同視點(diǎn)拍攝并且適用于立體視覺(jué)的第一左眼圖像和第一右眼圖像中的至少一個(gè)；以及立體圖像生成處理單元，配置成接收所述第一左眼圖像和所述第一右眼圖像中的一個(gè)，并且通過(guò)圖像轉(zhuǎn)換過(guò)程生成適用于立體視覺(jué)的第二左眼圖像和第二右眼圖像，其中，在輸入到所述圖像輸入單元的所述第一左眼圖像和所述第一右眼圖像以及通過(guò)所述立體圖像生成處理單元生成的所述第二左眼圖像和所述第二右眼圖像當(dāng)中，兩個(gè)圖像被輸出作為將要應(yīng)用于立體視覺(jué)的圖像。 (2)根據(jù)(I)所述的圖像處理設(shè)備，包括輸出圖像選擇處理單元，配置成從輸入到所述圖像輸入單元的所述第一左眼圖像和所述第一右眼圖像以及通過(guò)所述立體圖像生成處理單元生成的所述第二左眼圖像和所述第二右眼圖像中選擇將要應(yīng)用于立體視覺(jué)的兩個(gè)圖像作為輸出圖像。(3)根據(jù)(I)或(2)所述的圖像處理設(shè)備，包括深度圖生成處理單元，配置成接收所述第一左眼圖像和所述第一右眼圖像，基于對(duì)兩個(gè)輸入圖像的分析來(lái)計(jì)算圖像中拍攝的對(duì)象距離，生成對(duì)應(yīng)于像素區(qū)域的具有距離信息的深度圖，并且將所述深度圖輸出到所述輸出圖像選擇處理單元。(4)根據(jù)(I)至(3)中任何一項(xiàng)所述的圖像處理設(shè)備，其中，當(dāng)基于所述深度圖確定所述對(duì)象距離比較長(zhǎng)時(shí)，所述輸出圖像選擇處理單元選擇輸入到所述圖像輸入單元的所述第一左眼圖像和所述第一右眼圖像作為所述輸出圖像，并且當(dāng)基于所述深度圖確定所述對(duì)象距離比較短時(shí)，所述輸出圖像選擇處理單元選擇通過(guò)所述立體圖像生成處理單元生成的所述第二左眼圖像和所述第二右眼圖像作為所述輸出圖像。(5)根據(jù)(I)至(4)中任何一項(xiàng)所述的圖像處理設(shè)備，其中，當(dāng)基于所述深度圖確定所述對(duì)象距離比較長(zhǎng)時(shí)，所述輸出圖像選擇處理單元選擇輸入到所述圖像輸入單元的所述第一左眼圖像和所述第一右眼圖像作為所述輸出圖像，當(dāng)基于所述深度圖確定所述對(duì)象距離比較短時(shí)，所述輸出圖像選擇處理單元選擇通過(guò)所述立體圖像生成處理單元生成的所述第二左眼圖像和所述第二右眼圖像作為所述輸出圖像，并且當(dāng)基于所述深度圖確定所述對(duì)象距離接近中間時(shí)，所述輸出圖像選擇處理單元選擇輸入到所述圖像輸入單元的所述第一左眼圖像和所述第一右眼圖像中的一個(gè)以及通過(guò)所述立體圖像生成處理單元生成的所述第二左眼圖像和所述第二右眼圖像中的一個(gè)作為所述輸出圖像。(6)根據(jù)(I )至(5)中任何一項(xiàng)所述的圖像處理設(shè)備，其中，所述輸出圖像選擇處理單元配置成基于來(lái)自成像設(shè)備的成像信息和用戶選擇信息中的至少一個(gè)來(lái)選擇所述輸出圖像。
(7)根據(jù)(I)至(6)中任何一項(xiàng)所述的圖像處理設(shè)備，包括輸入圖像選擇處理單元，配置成根據(jù)來(lái)自所述圖像處理設(shè)備的輸出圖像來(lái)控制將要從外部輸入的圖像，其中，當(dāng)來(lái)自所述圖像處理設(shè)備的輸出圖像是通過(guò)所述立體圖像生成處理單元生成的所述第二左眼圖像和所述第二右眼圖像時(shí)，所述輸入圖像選擇處理單元執(zhí)行控制，以僅接收從不同視點(diǎn)拍攝并且適用于立體視覺(jué)的所述第一左眼圖像和所述第一右眼圖像中的一個(gè)。(8)根據(jù)(I)至(7)中任何一項(xiàng)所述的圖像處理設(shè)備，其中，當(dāng)來(lái)自所述圖像處理設(shè)備的輸出圖像是通過(guò)所述立體圖像生成處理單元生成的所述第二左眼圖像和所述第二右眼圖像時(shí)，所述輸入圖像選擇處理單元輸出控制信號(hào)，以便僅允許從不同視點(diǎn)拍攝并且適用于立體視覺(jué)的所述第一左眼圖像和所述第一右眼圖像中的一個(gè)由成像設(shè)備拍攝。 (9)根據(jù)(I)至(8)中任何一項(xiàng)所述的圖像處理設(shè)備，其中，通過(guò)對(duì)基于圖像估計(jì)過(guò)程的結(jié)果選擇的所述第一左眼圖像和所述第一右眼圖像中的一個(gè)執(zhí)行圖像轉(zhuǎn)換過(guò)程，所述立體圖像生成處理單元生成適用于立體視覺(jué)的所述第二左眼圖像和所述第二右眼圖像。此外，在本公開(kāi)的配置中包括了在上面提到的設(shè)備等中執(zhí)行的處理方法或用于執(zhí)行過(guò)程的程序。進(jìn)而，在說(shuō)明書中描述的一系列過(guò)程可以通過(guò)硬件、軟件或其復(fù)合配置來(lái)執(zhí)行。當(dāng)通過(guò)軟件來(lái)執(zhí)行過(guò)程時(shí)，記錄過(guò)程序列的程序可以在安裝于專用硬件中嵌入的計(jì)算機(jī)存儲(chǔ)器中之后執(zhí)行，或者程序可以在安裝于能夠執(zhí)行各種過(guò)程的通用計(jì)算機(jī)中之后執(zhí)行。例如，程序可以預(yù)先記錄在記錄介質(zhì)上。除了從記錄介質(zhì)安裝到計(jì)算機(jī)之外，程序可以通過(guò)網(wǎng)絡(luò)如局域網(wǎng)(LAN)或因特網(wǎng)來(lái)接收，并且可以安裝在諸如嵌入式硬盤之類的記錄介質(zhì)上。另外，在說(shuō)明書中描述的各種過(guò)程不僅可以根據(jù)描述以時(shí)間序列來(lái)執(zhí)行，而且還可以根據(jù)用于執(zhí)行過(guò)程的設(shè)備的處理能力或者必要性以并行或單獨(dú)的方式來(lái)執(zhí)行。進(jìn)而，本說(shuō)明書中的系統(tǒng)對(duì)應(yīng)于多個(gè)設(shè)備的邏輯集合配置，并且每個(gè)配置的設(shè)備不需要處于同一殼體內(nèi)。至此，如上所述，根據(jù)本公開(kāi)的實(shí)施例，實(shí)現(xiàn)了用于選擇并輸出適合于立體視覺(jué)的圖像的配置。詳細(xì)地，該配置包括圖像輸入單元，配置成接收從不同視點(diǎn)拍攝并且適用于立體視覺(jué)的第一左眼圖像和第一右眼圖像中的至少一個(gè)；以及立體圖像生成處理單元，配置成接收所述第一左眼圖像和所述第一右眼圖像中的一個(gè)，并且通過(guò)圖像轉(zhuǎn)換過(guò)程生成適用于立體視覺(jué)的第二左眼圖像和第二右眼圖像，其中，當(dāng)基于對(duì)應(yīng)于像素區(qū)域的具有距離信息的深度圖確定對(duì)象距離比較長(zhǎng)時(shí)，輸入到所述圖像輸入單元的所述第一左眼圖像和所述第一右眼圖像被選擇并輸出作為輸出圖像。進(jìn)而，當(dāng)確定對(duì)象距離比較短時(shí)，通過(guò)所述立體圖像生成處理單元生成的所述第二左眼圖像和所述第二右眼圖像被選擇并輸出作為輸出圖像。使用這樣的配置，可以減少當(dāng)獲得立體視覺(jué)時(shí)由非常大的視差造成的疲勞或者由閉塞造成的不適，使得可以獲得舒適的立體視覺(jué)。本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解的是，取決于設(shè)計(jì)需要和其它因素，可以進(jìn)行各種修改、組合、再組合和變更，它們都處在所附權(quán)利要求或其等效涵義的范圍之內(nèi)。
本技術(shù)包含與2011年6月17日向日本專利局申請(qǐng)的日本優(yōu)先權(quán)專利申請(qǐng)JP2011-134929中公開(kāi)的主題有關(guān)的主題，該專利申請(qǐng)的整體內(nèi)容通過(guò)引用結(jié)合于此。
權(quán)利要求
1.一種圖像處理設(shè)備，包括 圖像輸入單元，配置成接收從不同視點(diǎn)拍攝并且適用于立體視覺(jué)的第一左眼圖像和第一右眼圖像中的至少一個(gè)；以及 立體圖像生成處理單元，配置成接收所述第一左眼圖像和所述第一右眼圖像中的一個(gè)，并且通過(guò)圖像轉(zhuǎn)換過(guò)程生成適用于立體視覺(jué)的第二左眼圖像和第二右眼圖像， 其中，在輸入到所述圖像輸入單元的所述第一左眼圖像和所述第一右眼圖像以及通過(guò)所述立體圖像生成處理單元生成的所述第二左眼圖像和所述第二右眼圖像當(dāng)中，兩個(gè)圖像被輸出作為將要應(yīng)用于立體視覺(jué)的圖像。
2.根據(jù)權(quán)利要求I所述的圖像處理設(shè)備，包括 輸出圖像選擇處理單元，配置成從輸入到所述圖像輸入單元的所述第一左眼圖像和所述第一右眼圖像以及通過(guò)所述立體圖像生成處理單元生成的所述第二左眼圖像和所述第二右眼圖像中選擇將要應(yīng)用于立體視覺(jué)的兩個(gè)圖像作為輸出圖像。
3.根據(jù)權(quán)利要求2所述的圖像處理設(shè)備，包括 深度圖生成處理單元，配置成接收所述第一左眼圖像和所述第一右眼圖像，基于對(duì)兩個(gè)輸入圖像的分析來(lái)計(jì)算圖像中拍攝的對(duì)象距離，生成對(duì)應(yīng)于像素區(qū)域的具有距離信息的深度圖，并且將所述深度圖輸出到所述輸出圖像選擇處理單元。
4.根據(jù)權(quán)利要求2所述的圖像處理設(shè)備，其中， 當(dāng)基于所述深度圖確定所述對(duì)象距離比較長(zhǎng)時(shí)，所述輸出圖像選擇處理單元選擇輸入到所述圖像輸入單元的所述第一左眼圖像和所述第一右眼圖像作為所述輸出圖像，并且 當(dāng)基于所述深度圖確定所述對(duì)象距離比較短時(shí)，所述輸出圖像選擇處理單元選擇通過(guò)所述立體圖像生成處理單元生成的所述第二左眼圖像和所述第二右眼圖像作為所述輸出圖像。
5.根據(jù)權(quán)利要求2所述的圖像處理設(shè)備，其中， 當(dāng)基于所述深度圖確定所述對(duì)象距離比較長(zhǎng)時(shí)，所述輸出圖像選擇處理單元選擇輸入到所述圖像輸入單元的所述第一左眼圖像和所述第一右眼圖像作為所述輸出圖像， 當(dāng)基于所述深度圖確定所述對(duì)象距離比較短時(shí)，所述輸出圖像選擇處理單元選擇通過(guò)所述立體圖像生成處理單元生成的所述第二左眼圖像和所述第二右眼圖像作為所述輸出圖像，并且 當(dāng)基于所述深度圖確定所述對(duì)象距離接近中間時(shí)，所述輸出圖像選擇處理單元選擇輸入到所述圖像輸入單元的所述第一左眼圖像和所述第一右眼圖像中的一個(gè)以及通過(guò)所述立體圖像生成處理單元生成的所述第二左眼圖像和所述第二右眼圖像中的一個(gè)作為所述輸出圖像。
6.根據(jù)權(quán)利要求2所述的圖像處理設(shè)備，其中，所述輸出圖像選擇處理單元配置成基于來(lái)自成像設(shè)備的成像信息和用戶選擇信息中的至少一個(gè)來(lái)選擇所述輸出圖像。
7.根據(jù)權(quán)利要求I所述的圖像處理設(shè)備，包括 輸入圖像選擇處理單元，配置成根據(jù)來(lái)自所述圖像處理設(shè)備的輸出圖像來(lái)控制將要從外部輸入的圖像， 其中，當(dāng)來(lái)自所述圖像處理設(shè)備的輸出圖像是通過(guò)所述立體圖像生成處理單元生成的所述第二左眼圖像和所述第二右眼圖像時(shí)，所述輸入圖像選擇處理單元執(zhí)行控制，以僅接收從不同視點(diǎn)拍攝并且適用于立體視覺(jué)的所述第一左眼圖像和所述第一右眼圖像中的一個(gè)。
8.根據(jù)權(quán)利要求7所述的圖像處理設(shè)備，其中， 當(dāng)來(lái)自所述圖像處理設(shè)備的輸出圖像是通過(guò)所述立體圖像生成處理單元生成的所述第二左眼圖像和所述第二右眼圖像時(shí)，所述輸入圖像選擇處理單元輸出控制信號(hào)，以便僅允許從不同視點(diǎn)拍攝并且適用于立體視覺(jué)的所述第一左眼圖像和所述第一右眼圖像中的一個(gè)由成像設(shè)備拍攝。
9.根據(jù)權(quán)利要求I所述的圖像處理設(shè)備，其中，通過(guò)對(duì)基于圖像估計(jì)過(guò)程的結(jié)果選擇的所述第一左眼圖像和所述第一右眼圖像中的一個(gè)執(zhí)行圖像轉(zhuǎn)換過(guò)程，所述立體圖像生成處理單元生成適用于立體視覺(jué)的所述第二左眼圖像和所述第二右眼圖像。
10.根據(jù)權(quán)利要求I所述的圖像處理設(shè)備，其中，所述立體圖像生成處理單元包括 微分器，配置成從所述立體圖像生成處理單元接收的所述第一左眼圖像和所述第一右眼圖像中的一個(gè)中提取圖像信號(hào)，并且針對(duì)所述圖像信號(hào)生成微分信號(hào)； 增益控制部，配置成將增益系數(shù)乘以從所述微分器輸出的所述微分信號(hào)，從而控制所述微分信號(hào)的幅值，并且生成校正微分信號(hào)；以及 圖像組合部，配置成使用所述立體圖像生成處理單元接收的所述第一左眼圖像和所述第一右眼圖像中的一個(gè)和所述校正微分信號(hào)來(lái)生成所述第二左眼圖像和所述第二右眼圖像。
11.根據(jù)權(quán)利要求I所述的圖像處理設(shè)備，其中，所述立體圖像生成處理單元包括 微分器，配置成從所述立體圖像生成處理單元接收的所述第一左眼圖像和所述第一右眼圖像中的一個(gè)中提取圖像信號(hào)，并且針對(duì)所述圖像信號(hào)生成微分信號(hào)； 增益控制部，配置成將增益系數(shù)乘以從所述微分器輸出的所述微分信號(hào)，從而控制所述微分信號(hào)的幅值，并且生成校正微分信號(hào)； 非線性轉(zhuǎn)換部，配置成對(duì)從所述增益控制部輸出的所述校正微分信號(hào)進(jìn)行非線性轉(zhuǎn)換，以生成視差強(qiáng)調(diào)信號(hào)；以及 圖像組合部，配置成使用所述立體圖像生成處理單元接收的所述第一左眼圖像和所述第一右眼圖像中的一個(gè)和所述視差強(qiáng)調(diào)信號(hào)來(lái)生成所述第二左眼圖像和所述第二右眼圖像。
12.根據(jù)權(quán)利要求10或11所述的圖像處理設(shè)備，其中，所述增益控制部包括 增益系數(shù)計(jì)算部，配置成使用針對(duì)所述立體圖像生成處理單元接收的所述第一左眼圖像和所述第一右眼圖像中的一個(gè)的每個(gè)像素的深度信息，輸出針對(duì)相應(yīng)像素的增益系數(shù)；以及 乘法處理部，配置成將從所述增益系數(shù)計(jì)算部輸出的針對(duì)每個(gè)像素的增益系數(shù)乘以所述微分信號(hào)的幅值，從而輸出具有增益控制幅值的校正微分信號(hào)。
13.一種在圖像處理設(shè)備中執(zhí)行的圖像處理方法，所述圖像處理方法包括 接收從不同視點(diǎn)拍攝并且適用于立體視覺(jué)的第一左眼圖像和第一右眼圖像中的至少一個(gè)； 接收所述第一左眼圖像和所述第一右眼圖像中的一個(gè)，并且通過(guò)圖像轉(zhuǎn)換過(guò)程生成適用于立體視覺(jué)的第二左眼圖像和第二右眼圖像；以及從在圖像輸入步驟中輸入的所述第一左眼圖像和所述第一右眼圖像以及通過(guò)立體圖像生成處理單元生成的所述第二左眼圖像和所述第二右眼圖像中，輸出兩個(gè)圖像作為將要應(yīng)用于立體視覺(jué)的圖像。
14.一種用于使圖像處理設(shè)備執(zhí)行圖像處理的程序，所述圖像處理包括 接收從不同視點(diǎn)拍攝并且適用于立體視覺(jué)的第一左眼圖像和第一右眼圖像中的至少一個(gè)； 接收所述第一左眼圖像和所述第一右眼圖像中的一個(gè)，并且通過(guò)圖像轉(zhuǎn)換過(guò)程生成適用于立體視覺(jué)的第二左眼圖像和第二右眼圖像；以及 從在圖像輸入步驟中輸入的所述第一左眼圖像和所述第一右眼圖像以及通過(guò)立體圖像生成處理單元生成的所述第二左眼圖像和所述第二右眼圖像中，輸出兩個(gè)圖像作為將要應(yīng)用于立體視覺(jué)的圖像。
全文摘要
本發(fā)明涉及一種圖像處理設(shè)備、圖像處理方法和程序。該圖像處理設(shè)備包括圖像輸入單元，配置成接收從不同視點(diǎn)拍攝并且適用于立體視覺(jué)的第一左眼圖像和第一右眼圖像中的至少一個(gè)；以及立體圖像生成處理單元，配置成接收所述第一左眼圖像和所述第一右眼圖像中的一個(gè)，并且通過(guò)圖像轉(zhuǎn)換過(guò)程生成適用于立體視覺(jué)的第二左眼圖像和第二右眼圖像。在輸入到圖像輸入單元的第一左眼圖像和第一右眼圖像以及通過(guò)立體圖像生成處理單元生成的第二左眼圖像和第二右眼圖像當(dāng)中，兩個(gè)圖像被輸出作為將要應(yīng)用于立體視覺(jué)的圖像。
文檔編號(hào)H04N13/00GK102833560SQ20121018917
公開(kāi)日2012年12月19日 申請(qǐng)日期2012年6月8日 優(yōu)先權(quán)日2011年6月17日
發(fā)明者伊藤厚史, 小林誠(chéng)司 申請(qǐng)人:索尼公司