專利名稱：圖像處理裝置和圖像處理方法
技術(shù)領(lǐng)域：
本技術(shù)涉及一種用于處理可以由觀看者三維觀看的圖像的信號的圖像處理裝置和圖像處理方法。特別地，本技術(shù)涉及一種用于處理偽3D生成的圖像以便獲得可以用裸眼觀看的三維圖像的圖像處理裝置和圖像處理方法。
背景技術(shù)：
可以通過顯示對于觀察者的右眼和左眼具有視差的圖像，來將可以三維觀看的3D 圖像提供給觀察者。已經(jīng)預(yù)期將3D圖像技術(shù)應(yīng)用到各種領(lǐng)域，諸如，電視廣播、電影、電信和遠(yuǎn)距離醫(yī)療。例如，由顯示設(shè)備和3D眼鏡的組合組成的時分立體圖像顯示系統(tǒng)已經(jīng)較普遍(例如，參考日本未審查專利申請公布No. 2010-21731)。顯示設(shè)備以特別短的周期在屏幕上交替顯示具有視差的左眼圖像和右眼圖像。3D眼鏡具有快門機構(gòu)，其例如是液晶透鏡并分別提供給左眼部分和右眼部分。然而，已經(jīng)指出了下列不便應(yīng)當(dāng)提供同時觀看內(nèi)容的人的數(shù)目的3D眼鏡；平常戴眼鏡的人必須在所述眼鏡上進一步戴3D眼鏡；容易由于長時間觀看而導(dǎo)致眼睛疲勞；以及所觀看的圖像根據(jù)觀看者的視點的移動而改變。另外，當(dāng)我們意欲在諸如便攜式盤再現(xiàn)設(shè)備的便攜式信息設(shè)備上欣賞3D圖像時，攜帶快門眼鏡(shutter glasses)也是麻煩的，其中所述便攜式盤再現(xiàn)設(shè)備對記錄3D視頻內(nèi)容的盤執(zhí)行再現(xiàn)處理。因此，已經(jīng)預(yù)期研究和開發(fā)不使用3D眼鏡的裸眼3D圖像技術(shù)，即，可以為裸眼提供三維圖像。獲取從多個方向(即，從多個視點)拍攝的物體的圖像，并且離散地布置這些圖像的各個像素以便生成一個合成圖像，從而使得裸眼觀看者能夠感知到三維圖像。例如，提出一種立體圖像顯示裝置，其防止當(dāng)顯示實際拍攝的三維圖像時從顯示面向前方伸出(pop)的近景區(qū)中的圖像質(zhì)量下降(例如，參考日本未審查專利申請公布 No. 2010-226500)。三維觀看的圖像基本上是由左眼圖像和右眼圖像組成的實際拍攝的兩視點圖像， 其中左眼圖像和右眼圖像通過分別由左眼照相機和右眼照相機實際拍攝物體而獲得。相反，如果視點數(shù)目增加為例如四個視點或八個視點，并且對從較大數(shù)目的方向拍攝的視差圖像進行合成，則不僅可以從前方，而且還可以從更寬的視點觀看更自然的三維圖像。通常，多視點圖像由通過以陣列方式布置的多個照相機(多視點照相機)從多個視點實際拍攝的圖像組成。然而，根據(jù)視點數(shù)目的增加而增加多視點照相機的數(shù)目，使得包括拍攝的內(nèi)容制作的成本增加，并且內(nèi)容的數(shù)據(jù)量不利地增加。另外，當(dāng)在諸如便攜式盤再現(xiàn)裝置的便攜式信息設(shè)備中處理3D圖像時，數(shù)據(jù)量的增加導(dǎo)致存儲器的增加、電路規(guī)模的增加等，從而使便攜性下降。
發(fā)明內(nèi)容
期望提供一種更優(yōu)的圖像處理裝置和更優(yōu)的圖像處理方法，通過其可以順利地處理用于獲得可以用裸眼三維觀看的三維圖像的多視點圖像。
此外，期望提供一種更優(yōu)的圖像處理裝置和更優(yōu)的圖像處理方法，通過其可以利用更小的存儲容量和更小的電路規(guī)模來處理多視點圖像。根據(jù)本技術(shù)的實施例，提供了一種生成多視點圖像的圖像處理裝置，包括視差檢測單元，被配置為僅接收包括由左眼照相機拍攝的左眼圖像和由右眼照相機拍攝的右眼圖像的多個實際拍攝的圖像中之一并檢測所接收的圖像的視差，以便生成視差圖；第一偽三維圖像生成單元，被配置為接收由左眼照相機拍攝的左眼圖像，并基于由所述視差檢測單元生成的視差圖而生成由外側(cè)地或內(nèi)側(cè)地提供至左眼照相機的照相機拍攝的一個或多個外側(cè)提供的或內(nèi)側(cè)提供的圖像；第一延遲單元，被配置為接收由左眼照相機拍攝的左眼圖像，并在經(jīng)過了與所述第一偽三維圖像生成單元生成外側(cè)提供的圖像和內(nèi)側(cè)提供的圖像中之一的時間對應(yīng)的延遲時間之后輸出所述左眼圖像；第二偽三維圖像生成單元，被配置為接收由右眼照相機拍攝的右眼圖像，并基于由所述視差檢測單元生成的視差圖而生成由外側(cè)地或內(nèi)側(cè)地提供至右眼照相機的照相機拍攝的一個或多個外側(cè)提供的或內(nèi)側(cè)提供的圖像；以及第二延遲單元，被配置為接收由右眼照相機拍攝的右眼圖像，并在經(jīng)過了與所述第二偽三維圖像生成單元生成外側(cè)提供的圖像和內(nèi)側(cè)提供的圖像中之一的時間對應(yīng)的延遲時間之后輸出所述右眼圖像。根據(jù)本技術(shù)的另一實施例，上述實施例的圖像處理裝置還可以包括圖像合成單元，被配置為離散地布置所生成的多個視點的圖像的各個像素，以便合成三維圖像。根據(jù)本技術(shù)的又一實施例，提供了一種生成多視點圖像的圖像處理方法，包括僅從包括由左眼照相機拍攝的左眼圖像和由右眼照相機拍攝的右眼圖像的多個實際拍攝的圖像中之一檢測視差，以便生成視差圖；基于檢測視差時生成的視差圖，從由左眼照相機拍攝的左眼圖像生成由外側(cè)地或內(nèi)側(cè)地提供至左眼照相機的照相機拍攝的一個或多個外側(cè)提供的或內(nèi)側(cè)提供的圖像；在經(jīng)過了與在從左眼圖像生成一個或多個外側(cè)提供的或內(nèi)側(cè)提供的圖像時生成的外側(cè)提供的圖像和內(nèi)側(cè)提供的圖像中之一的時間對應(yīng)的延遲時間，輸出由左眼照相機拍攝的左眼圖像；基于在檢測視差時生成的視差圖，從由右眼照相機拍攝的右眼圖像生成由外側(cè)地或內(nèi)側(cè)地提供至右眼照相機的照相機拍攝的一個或多個外側(cè)提供的或內(nèi)側(cè)提供的圖像；以及在經(jīng)過了與在從右眼圖像生成一個或多個外側(cè)提供的或內(nèi)側(cè)提供的圖像時生成外側(cè)提供的圖像和內(nèi)側(cè)提供的圖像中之一的時間對應(yīng)的延遲時間，輸出由右眼照相機拍攝的右眼圖像。根據(jù)本技術(shù)的實施例，可以提供一種更優(yōu)的圖像處理裝置和更優(yōu)的圖像處理方法，通過其可以順利地處理用于獲得可以用裸眼三維觀看的三維圖像的多視點圖像。根據(jù)本技術(shù)的實施例，可以提供一種更優(yōu)的圖像處理裝置，其中用于從實際拍攝的左和右圖像生成多視點圖像的電路被配置為具有更小的電路規(guī)模和更小的存儲容量。通過本技術(shù)的稍后描述的實施例以及基于附圖的更詳細(xì)描述，本技術(shù)的其它目的、特征和優(yōu)點將清楚。
圖1示意性地圖示了通過偽3D生成而從通過左眼照相機和右眼照相機的實際拍攝而分別獲取的左眼圖像L和右眼圖像R生成四個視點的圖像處理電路的功能配置；圖2示意性地圖示了通過偽3D生成而從通過左眼照相機和右眼照相機的實際拍攝而分別獲取的左眼圖像L和右眼圖像R生成四個視點的另一圖像處理電路的功能配置；圖3A圖示了通過使用偽3D生成而將兩個視點的圖像轉(zhuǎn)換為四個視點的圖像的多視點轉(zhuǎn)換處理的系統(tǒng)；以及圖;3B圖示了通過使用偽3D生成而將兩個視點的圖像轉(zhuǎn)換為四個視點的圖像的多視點轉(zhuǎn)換處理的系統(tǒng)。
具體實施例方式現(xiàn)在參照附圖而詳細(xì)描述本技術(shù)的實施例。如果通過離散地布置多個視點的圖像的各個像素而生成一個合成圖像，則裸眼觀看者可以感知三維圖像。在下述的本技術(shù)的實施例中，僅將由左眼照相機和右眼照相機分別獲取的左眼圖像和右眼圖像用作實際拍攝的圖像，并且將偽3D生成處理應(yīng)用到這些實際拍攝的圖像，以便獲得外側(cè)提供的圖像并對兩個視點的圖像進行多視點轉(zhuǎn)換。這里，偽3D生成處理表示對于由左眼照相機和右眼照相機分別拍攝的圖像，從在兩個視點上拍攝的靜止圖像獲得深度(視差)信息，從而虛假地(falsely)生成多個視點的圖像。分別對左眼圖像和右眼圖像執(zhí)行的處理類似于2D/3D轉(zhuǎn)換，在所述2D/3D轉(zhuǎn)換中， 估計二維圖像中的各個物體的深度以便將圖像轉(zhuǎn)換為偽三維視頻圖像。圖3A和圖;3B示意性地圖示了通過使用偽3D生成而將兩個視點的圖像轉(zhuǎn)換為四個視點的圖像的多視點轉(zhuǎn)換處理的系統(tǒng)。參照圖3A，“L”和“R”分別是真實的左眼照相機和右眼照相機，并且可以從各個照相機獲得實際拍攝的左眼圖像L和實際拍攝的右眼圖像R。通過對由左眼照相機實際拍攝的左眼圖像L應(yīng)用偽3D轉(zhuǎn)換，可以獲得從外側(cè)地提供至上述左眼照相機L的偽照相機拍攝的外側(cè)提供的圖像“(LL)左-左”、以及從內(nèi)側(cè)地提供至左眼照相機L的偽照相機拍攝的內(nèi)側(cè)提供的圖像“(LR)左-右”。此外，通過對由右眼照相機實際拍攝的右眼圖像R應(yīng)用偽3D轉(zhuǎn)換，可以獲得從外側(cè)地提供至上述右眼照相機R的偽照相機拍攝的外側(cè)提供的圖像“(RR)右-右”、以及從內(nèi)側(cè)地提供至右眼照相機R的偽照相機拍攝的內(nèi)側(cè)提供的圖像“(RL)右-左”。這里，各個照相機LL、L、LR、RL、R和RR的間隔可以是均勻的。因此，通過對由右側(cè)和左側(cè)的兩個照相機實際拍攝的各個二維圖像應(yīng)用偽3D生成，可以生成包括兩個外側(cè)提供的圖像LL和RR以及兩個內(nèi)側(cè)提供的圖像LR和RL的六個視點。這里，可以轉(zhuǎn)換從兩個內(nèi)側(cè)提供的偽照相機獲取的內(nèi)側(cè)提供的圖像LR和RL的右和左視差，使得在下面的階段中的三維圖像的生成中不使用內(nèi)側(cè)提供的圖像LR和RL，而是丟棄它們(參照圖3B)。因此，從兩個照相機實際拍攝的圖像生成四個照相機的照相機視點。圖1示意性地圖示了通過偽3D生成而從通過左眼照相機和右眼照相機的實際拍攝而分別獲取的左眼圖像L和右眼圖像R生成四個視點的圖像處理電路10的功能配置。對于圖1中所示的圖像處理電路10，輸入實際拍攝的兩個視點的圖像，它們是由左眼照相機實際拍攝的左眼圖像L和由右眼照相機實際拍攝的右眼圖像R。當(dāng)視差檢測電路12接收到左眼圖像L時，視差檢測電路12檢測各個像素的深度 (即，視差)并生成例如針對一個圖像幀的視差圖，以便將視差圖輸出至偽3D生成電路13。偽3D生成電路13基于視差信息，從實際拍攝的圖像生成外側(cè)提供的圖像。即，當(dāng)偽3D生成電路13接收到左眼圖像L時，偽3D生成電路13基于上述視差圖，生成外側(cè)提供的圖像LL，其似乎是由外側(cè)地提供至左眼照相機L的偽照相機拍攝的。關(guān)于偽3D生成的處理，例如，應(yīng)用諸如基于視差信息增強左邊沿的增強，以便生成似乎是由外側(cè)地提供至左眼照相機L的偽照相機拍攝的圖像LL。當(dāng)延遲電路11接收到左眼圖像L時，延遲電路11在經(jīng)過了偽3D生成電路13從左眼圖像L生成外側(cè)提供的圖像LL并輸出圖像LL的延遲時間之后輸出左眼圖像L。另一方面，當(dāng)視差檢測電路15接收到右眼圖像R時，視差檢測電路15檢測各個像素的深度(即，視差)并生成例如針對一個圖像幀的視差圖，以便將視差圖輸出至偽3D生成電路16。當(dāng)偽3D生成電路16接收到右眼圖像R時，偽3D生成電路16基于上述視差圖， 生成似乎是由外側(cè)地提供至右眼照相機R的偽照相機拍攝的圖像RR。關(guān)于偽3D生成的處理，例如，應(yīng)用諸如基于視差信息增強右邊沿的增強，以便生成似乎是由外側(cè)地提供至右眼照相機R的偽照相機拍攝的圖像RR。當(dāng)延遲電路14接收到右眼圖像R時，延遲電路14在經(jīng)過了偽3D生成電路16從右眼圖像R生成外側(cè)提供的圖像RR并輸出圖像RR的延遲時間之后輸出右眼圖像R。當(dāng)圖像合成電路17接收到上述四個視點的圖像L、LL、RR和R時，圖像合成電路17 基于預(yù)定規(guī)則而離散地布置這些圖像的各個像素，以便生成并輸出一個合成圖像。圖像合成電路17可以任意布置像素并執(zhí)行伴隨視差調(diào)整的像素布置。然而，各個視點圖像的像素的布置方法不直接與本技術(shù)的實施例的主旨有關(guān)，從而在此說明書中未示出其詳細(xì)描述。將由圖像合成電路17獲得的合成圖像輸出至諸如液晶顯示器的顯示設(shè)備的屏幕，作為可以由裸眼三維觀看的3D圖像。替代地，在經(jīng)歷諸如編碼的預(yù)定信號處理之后，將合成圖像存儲在記錄介質(zhì)中。圖1中所示的圖像處理電路10具有這樣的配置并行地布置兩個偽3D生成電路 13和16，以便生成四個視差數(shù)據(jù)。此外，圖像處理電路10包括視差檢測電路12和15，它們分別關(guān)于左眼圖像L和右眼圖像R而執(zhí)行視差檢測處理以生成視差圖；以及偽3D生成電路13和16，它們通過分別使用從左眼圖像L和右眼圖像R分開地生成的視差圖而分別生成外側(cè)提供的圖像LL和RR。因此，必須分開提供用于左眼圖像L的視差檢測電路12和用于右眼圖像R的視差檢測電路15，從而不利地增加了電路規(guī)模。此外，應(yīng)當(dāng)為每個圖像提供用于存儲由視差檢測電路12和15分別生成的視差圖的存儲器，從而也增加存儲容量。當(dāng)考慮將圖像處理電路安裝在要求小且輕以具有小存儲容量并消耗較少電力的便攜式信息設(shè)備上時，電路規(guī)模和存儲容量是瓶頸。因此，本發(fā)明人等提出了 僅關(guān)于左眼圖像L和右眼圖像R中的任一個執(zhí)行視差檢測，并且在生成外側(cè)提供的圖像LL和生成外側(cè)提供的圖像RR的兩種情況下均使用所獲得的視差圖，以便實現(xiàn)電路規(guī)模的減小和存儲容量的減小。圖2圖示了實現(xiàn)電路規(guī)模的減小和存儲容量的減小的圖像處理電路20的配置示例。對于圖2中所示的圖像處理電路20，輸入實際拍攝的兩個視點的圖像，它們是由左眼照相機實際拍攝的左眼圖像L和由右眼照相機實際拍攝的右眼圖像R。
當(dāng)視差檢測電路22接收到左眼圖像L時，視差檢測電路22檢測各個像素的深度 (即，視差)并生成例如針對一個圖像幀的視差圖，以便將視差圖輸出至偽3D生成電路23 和偽3D生成電路沈中的每個。當(dāng)偽3D生成電路23接收到左眼圖像L時，偽3D生成電路23基于由視差檢測電路22生成的視差圖，生成外側(cè)提供的圖像LL，其似乎是由外側(cè)地提供至左眼照相機L的偽照相機拍攝的。當(dāng)延遲電路21接收到左眼圖像L時，延遲電路21在經(jīng)過了偽3D生成電路23從左眼圖像L生成外側(cè)提供的圖像LL并輸出圖像LL的延遲時間之后輸出左眼圖像L。當(dāng)另一偽3D生成電路沈接收到右眼圖像R時，偽3D生成電路沈以類似的方式， 基于由視差檢測電路22生成的視差圖，生成外側(cè)提供的圖像RR，其似乎是由外側(cè)地提供至右眼照相機R的偽照相機拍攝的。當(dāng)延遲電路M接收到右眼圖像R時，延遲電路M在經(jīng)過了偽3D生成電路沈從右眼圖像R生成外側(cè)提供的圖像RR并輸出圖像RR的延遲時間之后輸出右眼圖像R。當(dāng)圖像合成電路27接收到上述四個視點的圖像L、LL、RR和R時，圖像合成電路27 基于預(yù)定規(guī)則而離散地布置外側(cè)提供的圖像的各個像素，以便生成并輸出一個合成圖像。 圖像合成電路27可以任意執(zhí)行視差調(diào)整(與上述相同)。這里，圖2中所示的示例采用這樣的配置視差檢測電路22接收左眼圖像L以生成視差圖，并且在左側(cè)和右側(cè)的偽3D生成電路23和沈兩者中均使用該視差圖。然而，可以采用這樣的配置輸入右眼圖像R，并生成在左側(cè)和右側(cè)偽3D生成兩者中均使用的視差圖。根據(jù)圖2中所示的電路配置，可以將視差檢測電路的數(shù)目和用于保存視差圖的存儲器的數(shù)目中的每一個減至一個，從而使得能夠減小電路規(guī)模。本公開包含與2010年12月22日向日本專利局提交的日本優(yōu)先權(quán)專利申請JP 2010-286716中公開的主題有關(guān)的主題，通過引用將其全部內(nèi)容合并在此。本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，可以根據(jù)設(shè)計需求和其它因素而進行各種修改、組合、 子組合和改變，只要它們在所附權(quán)利要求書或其等價物的范圍內(nèi)即可。
權(quán)利要求
1.一種生成多視點圖像的圖像處理裝置，包括視差檢測單元，被配置為僅接收包括由左眼照相機拍攝的左眼圖像和由右眼照相機拍攝的右眼圖像的多個實際拍攝的圖像中之一，并檢測所接收的圖像的視差，以便生成視差圖；第一偽三維圖像生成單元，被配置為接收由所述左眼照相機拍攝的左眼圖像，并基于由所述視差檢測單元生成的視差圖而生成由外側(cè)地或內(nèi)側(cè)地提供至所述左眼照相機的照相機拍攝的一個或多個外側(cè)提供的或內(nèi)側(cè)提供的圖像；第一延遲單元，被配置為接收由所述左眼照相機拍攝的左眼圖像，并在經(jīng)過了與所述第一偽三維圖像生成單元生成外側(cè)提供的圖像和內(nèi)側(cè)提供的圖像中之一的時間對應(yīng)的延遲時間之后輸出所述左眼圖像；第二偽三維圖像生成單元，被配置為接收由所述右眼照相機拍攝的右眼圖像，并基于由所述視差檢測單元生成的視差圖而生成由外側(cè)地或內(nèi)側(cè)地提供至所述右眼照相機的照相機拍攝的一個或多個外側(cè)提供的或內(nèi)側(cè)提供的圖像；以及第二延遲單元，被配置為接收由所述右眼照相機拍攝的右眼圖像，并在經(jīng)過了與所述第二偽三維圖像生成單元生成外側(cè)提供的圖像和內(nèi)側(cè)提供的圖像中之一的時間對應(yīng)的延遲時間之后輸出所述右眼圖像。
2.如權(quán)利要求1所述的圖像處理裝置，還包括圖像合成單元，被配置為離散地布置所生成的多個視點的圖像的各個像素，以便合成三維圖像。
3.—種生成多視點圖像的圖像處理方法，包括僅從包括由左眼照相機拍攝的左眼圖像和由右眼照相機拍攝的右眼圖像的多個實際拍攝的圖像中之一檢測視差，以便生成視差圖；基于檢測視差時生成的視差圖，從由所述左眼照相機拍攝的左眼圖像生成由外側(cè)地或內(nèi)側(cè)地提供至所述左眼照相機的照相機拍攝的一個或多個外側(cè)提供的或內(nèi)側(cè)提供的圖像；在經(jīng)過了與在從所述左眼圖像生成一個或多個外側(cè)提供的或內(nèi)側(cè)提供的圖像時生成的外側(cè)提供的圖像和內(nèi)側(cè)提供的圖像中之一的時間對應(yīng)的延遲時間之后，輸出由左眼照相機拍攝的左眼圖像；基于在檢測視差時生成的視差圖，從由所述右眼照相機拍攝的右眼圖像生成由外側(cè)地或內(nèi)側(cè)地提供至所述右眼照相機的照相機拍攝的一個或多個外側(cè)提供的或內(nèi)側(cè)提供的圖像；以及在經(jīng)過了與在從所述右眼圖像生成一個或多個外側(cè)提供的或內(nèi)側(cè)提供的圖像時生成外側(cè)提供的圖像和內(nèi)側(cè)提供的圖像中之一的時間對應(yīng)的延遲時間之后，輸出由所述右眼照相機拍攝的右眼圖像。
全文摘要
一種生成多視點圖像的圖像處理裝置，包括視差檢測單元，其僅接收包括左眼圖像和右眼圖像的多個實際拍攝的圖像中之一，并檢測所接收的圖像的視差，以便生成視差圖；第一偽三維圖像生成單元，其接收左眼圖像，并基于由所述視差檢測單元生成的視差圖而生成一個或多個外側(cè)提供的或內(nèi)側(cè)提供的圖像；第一延遲單元，其接收左眼圖像，并在經(jīng)過了延遲時間之后輸出所述左眼圖像；第二偽三維圖像生成單元，其接收右眼圖像，并基于所述視差圖而生成一個或多個外側(cè)提供的或內(nèi)側(cè)提供的圖像；以及第二延遲單元，其接收右眼圖像，并在經(jīng)過了延遲時間之后輸出所述右眼圖像。
文檔編號G02B27/22GK102572493SQ20111041982
公開日2012年7月11日 申請日期2011年12月15日 優(yōu)先權(quán)日2010年12月22日
發(fā)明者池田潔 申請人:索尼公司