專利名稱：三維圖像處理裝置、處理三維圖像的方法和顯示裝置的制作方法
技術(shù)領(lǐng)域：
在此公開(kāi)的技術(shù)涉及三維圖像處理裝置、處理三維圖像的方法、顯示裝置和計(jì)算機(jī)程序，其通過(guò)使觀看者的左眼和右眼分別看到以時(shí)分方式顯示的用于左眼的圖像和用于右眼的圖像以便產(chǎn)生視差來(lái)實(shí)現(xiàn)立體視覺(jué)。更具體地，本技術(shù)涉及控制用于左眼的圖像和用于右眼的圖像之間的視差的三維圖像處理裝置、用于處理三維圖像的方法、顯示裝置以及計(jì)算機(jī)程序。
背景技術(shù)：
通過(guò)以這樣的方式來(lái)顯示用于左眼的圖像和用于右眼的圖像以便產(chǎn)生視差，可以提供觀看者看到的三維立體圖像。期望立體圖像技術(shù)應(yīng)用于各種領(lǐng)域，諸如電視廣播、電影、遠(yuǎn)程通信以及遠(yuǎn)程醫(yī)療。例如，時(shí)分立體圖像顯示系統(tǒng)包括顯示裝置，該顯示裝置在屏幕上以極短時(shí)段交·替顯示用于左眼的圖像和用于右眼的圖像，以這樣的方式產(chǎn)生視差；一機(jī)構(gòu)，該機(jī)構(gòu)與用于左眼的圖像和用于右眼的圖像的顯示時(shí)段同步地將用于左眼的圖像和用于右眼的圖像相互分離。當(dāng)觀看者的左眼僅僅看到用于左眼的圖像并且觀看者的右眼僅僅看到用于右眼的圖像時(shí)，這些圖像在觀看者的大腦中形成ー圖像并且被辨識(shí)為三維的。在采用快門式眼鏡的時(shí)分立體圖像顯示系統(tǒng)系統(tǒng)中，觀看者佩戴的快門式眼鏡具有快門機(jī)構(gòu)，該快門機(jī)構(gòu)包括左眼單元和右眼單元的每ー個(gè)中的液晶透鏡等。在正在顯示用于左眼的圖像時(shí)，快門式眼鏡的左眼単元使光通過(guò)，并且右眼単元阻擋光。另ー方面，在正在顯示用于右眼的圖像時(shí)，快門式眼鏡的右眼単元使光通過(guò)，并且左眼単元阻擋光(例如，參考日本待審查專利申請(qǐng)公開(kāi)第9-138384、日本待審查專利申請(qǐng)公開(kāi)第2000-36969以及日本待審查專利申請(qǐng)公開(kāi)第2003-45343)。也就是，當(dāng)顯示裝置以時(shí)分方式顯示用于左眼的圖像和用于右眼的圖像并且快門式眼鏡使用快門機(jī)構(gòu)與顯示裝置切換顯示同步地選擇圖像，可以使得觀看者単獨(dú)地看到用于左眼的圖像和用于右眼的圖像。在采用主動(dòng)延遲器(active retarder)的時(shí)分立體圖像顯示系統(tǒng)中，在顯示器側(cè)提供以時(shí)分方式控制偏振的機(jī)構(gòu)。偏振控制機(jī)構(gòu)包括在顯示屏幕上提供的液晶快門和相位差薄膜或者相位差片(phase difference plate),并且與用于左眼的圖像和用于右眼的圖像的顯示時(shí)段同步地將偏振改變到適當(dāng)方向。通過(guò)佩戴對(duì)應(yīng)于左偏振方向和右偏振方向的偏振眼鏡，觀看者可以單獨(dú)看到用于左眼的圖像和用于右眼的圖像。時(shí)分立體圖像顯示系統(tǒng)的類型不限于使用眼鏡的系統(tǒng)。例如，已經(jīng)提出裸眼型系統(tǒng)，其中，在顯示器側(cè)提供快門，以防止分辨率降低。確定三維圖像的立體效果程度的因素之ー是雙目視差(用于左眼的圖像和用于右眼的圖像之間的視差)。例如，已經(jīng)提出了實(shí)現(xiàn)期望的立體顯示的立體圖像處理裝置，其使用相機(jī)和光軸相交所在的點(diǎn)之間的距離(將在下面描述)來(lái)概括(generalize)適當(dāng)視差的表示以便以與硬件無(wú)關(guān)的一般方式描述該表示并且基于適當(dāng)視差來(lái)生成或者調(diào)整視差圖像(例如，參見(jiàn)日本專利第4118146)。此外，考慮到以下情形其中即使在觀看立體圖像時(shí)的聚散度(vergence)的角度與現(xiàn)實(shí)中的相同，但焦距不同，因此造成視覺(jué)疲勞(eye strain)(尤其在視差存在明顯改變時(shí)，也就是，例如當(dāng)某個(gè)部分在屏幕上突出(protrude)太多時(shí)或者當(dāng)在移動(dòng)圖像的顯示期間對(duì)象突然地突出時(shí)，觀看者很可能精神緊張(stress))，已經(jīng)提出了ー種立體圖像顯示系統(tǒng)，其通過(guò)執(zhí)行位移處理或者尺度減小(scale reduction)處理來(lái)移動(dòng)突出太多的立體對(duì)象，使得用于左眼的圖像和用于右眼的圖像在屏幕中進(jìn)入更深(例如，參考日本待審查專利申請(qǐng)公開(kāi)第2011-55022)。
已經(jīng)應(yīng)用控制視差的技術(shù)來(lái)顯示三維圖像，但是多數(shù)技術(shù)被開(kāi)發(fā)來(lái)確保安全性。3D Consortium已經(jīng)發(fā)表“3DC Safety Guidelines”。當(dāng)確保安全性時(shí),將用于左眼的圖像和用于右眼的圖像之間的視差量設(shè)置為小于某個(gè)值。換言之，雖然三維圖像的立體效果在視差量改變時(shí)改變，但是幾乎還沒(méi)有提出執(zhí)行視差控制來(lái)追求娛樂(lè)的技木。

發(fā)明內(nèi)容
期望提供ー種三維圖像處理裝置、處理三維圖像的方法、顯示裝置以及計(jì)算機(jī)程序，其可以通過(guò)控制用于左眼的圖像和用于右眼的圖像之間的視差來(lái)成功地改進(jìn)三維圖像的真實(shí)性。根據(jù)本公開(kāi)的實(shí)施例的ー種三維圖像處理裝置，包括視差分布測(cè)量單元，測(cè)量由用于左眼的圖像和用于右眼的圖像配置的三維圖像在屏幕中心的視差分布；高頻視差量移動(dòng)觀測(cè)単元，觀測(cè)其頻率在所測(cè)量的視差分布中為高的視差量的移動(dòng)；以及深度控制單元，基于其頻率為高的視差量的移動(dòng)判斷要注意的圖像的移動(dòng)方向并且根據(jù)要注意的圖像的移動(dòng)方向來(lái)控制三維圖像的深度。在三維圖像處理裝置中，當(dāng)其頻率為高的視差量正在移動(dòng)地更近時(shí)，高頻視差量移動(dòng)觀測(cè)単元可以判斷要注意的圖像正在移動(dòng)地更近，并且當(dāng)其頻率為高的視差量正在移動(dòng)地更遠(yuǎn)(de印er)時(shí)，高頻視差量移動(dòng)觀測(cè)単元可以判斷要注意的圖像正在移動(dòng)地更遠(yuǎn)。在三維圖像處理裝置中，如果高頻視差量移動(dòng)觀測(cè)単元判斷要注意的圖像正在移動(dòng)地更近，則深度控制單元可以根據(jù)移動(dòng)速度逐漸地放大屏幕中心的三維圖像。在三維圖像處理裝置中，如果高頻視差量移動(dòng)觀測(cè)単元判斷要注意的圖像正在移動(dòng)地更近，則深度控制單元根據(jù)移動(dòng)速度可以逐漸地放大屏幕中心的三維圖像，并且可以均勻地增加整體屏幕的會(huì)聚(convergence)量。在三維圖像處理裝置中，在放大屏幕中心的三維圖像后，深度控制單元可以減小屏幕外圍的尺寸，使得作為放大的結(jié)果，不生成其中不可能顯示的區(qū)域。在三維圖像處理裝置中，深度控制單元可以以恒定速度放大屏幕中心的三維圖像。在三維圖像處理裝置中，如果高頻視差量移動(dòng)觀測(cè)単元判斷要注意的圖像正在移動(dòng)地更遠(yuǎn)，則深度控制單元可以根據(jù)移動(dòng)速度逐漸減小屏幕中心的三維圖像。在三維圖像處理裝置中，如果高頻視差量移動(dòng)觀測(cè)単元判斷要注意的圖像正在移動(dòng)地更遠(yuǎn)，則深度控制單元可以根據(jù)移動(dòng)速度逐漸減小屏幕中心的三維圖像并且可以均勻増加整體屏幕的發(fā)散量。
在三維圖像處理裝置中，在減小屏幕中心的三維圖像的尺寸之后，深度控制單元可以放大屏幕的外圍，使得圖像顯示區(qū)域不變小。在三維圖像處理裝置中，深度控制單元可以以恒定速度減小屏幕中心的三維圖像的尺寸。根據(jù)本公開(kāi)的另一實(shí)施例的方法是ー種用于處理三維圖像的方法。該方法包括測(cè)量由用于左眼的圖像和用于右眼的圖像配置的三維圖像在屏幕中心的視差分布；觀測(cè)其頻率在所測(cè)量的視差分布為高的視差量的移動(dòng)；以及基于其頻率為高的視差量的移動(dòng)判斷要注意的圖像的移動(dòng)方向并且根據(jù)要注意的圖像的移動(dòng)方向控制三維圖像的深度。根據(jù)本公開(kāi)的另一實(shí)施例的一種顯示裝置，包括圖像輸入?yún)g元，輸入由用于左眼的圖像和用于右眼的圖像配置的三維圖像；視差分布測(cè)量單元，測(cè)量輸入的用于左眼的圖像和輸入的用于右眼的圖像在屏幕中心的視差分布；高頻視差量移動(dòng)觀測(cè)単元，觀測(cè)其頻率在所測(cè)量的視差分布中為高的視差量的移動(dòng)；深度控制單元，基于其頻率為高的視差量的移動(dòng)來(lái)判斷要注意的圖像的移動(dòng)方向并且根據(jù)要注意的圖像的移動(dòng)方向來(lái)控制三維圖 像的深度；以及顯示単元，顯示其深度已經(jīng)被控制的三維圖像。根據(jù)本公開(kāi)的另一實(shí)施例的計(jì)算機(jī)程序是ー種以計(jì)算機(jī)可讀形式中描述的計(jì)算機(jī)程序，其使得計(jì)算機(jī)充當(dāng)以下的部件視差分布測(cè)量單元，測(cè)量用于左眼的圖像和用于右眼的圖像所配置的三維圖像在屏幕中心的視差分布；高頻視差量移動(dòng)觀測(cè)単元，觀測(cè)其頻率在所測(cè)量的視差分布中為高的視差量的移動(dòng)；以及深度控制單元，基于其頻率為高的視差量的移動(dòng)來(lái)判斷要注意的圖像的移動(dòng)方向并且根據(jù)要注意的圖像的移動(dòng)方向來(lái)控制三維圖像的深度。以計(jì)算機(jī)可讀形式描述該計(jì)算機(jī)程序，使得在計(jì)算機(jī)上實(shí)現(xiàn)某些處理。換言之，通過(guò)在計(jì)算機(jī)上安裝該計(jì)算機(jī)程序，在計(jì)算機(jī)上執(zhí)行協(xié)同操作，由此獲得與根據(jù)本公開(kāi)的實(shí)施例的三維圖像處理裝置獲得的操作的相同的效果。根據(jù)在此公開(kāi)的技術(shù)，可以提供能夠通過(guò)控制用于左眼的圖像和用于右眼的圖像之間的視差來(lái)成功地提高三維圖像的真實(shí)性的三維圖像處理裝置、處理三維圖像的方法、顯示裝置以及計(jì)算機(jī)程序。確定三維圖像的立體效果程度的因素之ー是雙目視差。此外，當(dāng)放大圖像時(shí)，左右視差量改變，并且因此深度感改變。當(dāng)放大圖像時(shí)，視網(wǎng)膜圖像的尺寸改變并且因此圖像看上去更靠近觀看者。根據(jù)在此公開(kāi)的技術(shù)，可以使用立體效果中的這些物理和心理因素來(lái)提供三維圖像的真實(shí)性。例如，對(duì)于突出的大對(duì)象，在短時(shí)間段內(nèi)、在左右視差可允許范圍內(nèi)以恒定速度執(zhí)行放大圖像的處理，以便強(qiáng)調(diào)突出。另ー方面，還可以通過(guò)減小圖像尺寸來(lái)使得對(duì)象看上去進(jìn)入地更遠(yuǎn)(當(dāng)減小圖像尺寸時(shí)，因?yàn)樽笥乙暡钤谄聊恢行牟蛔兇?，所以不超過(guò)允許范圍)?；趯⒃谏院竺枋龅膶?shí)施例和附圖，在此公開(kāi)的技術(shù)的其它目的、特征和優(yōu)點(diǎn)將在詳細(xì)描述中變得清楚。


圖I是示意性圖示圖像顯示系統(tǒng)的配置的示例的圖；圖2A是圖示與顯示裝置顯示用于左眼的圖像的顯示時(shí)段同步的快門式眼鏡的快門透鏡的控制操作的圖；圖2B是圖示與顯示裝置顯示用于右眼的圖像的顯示時(shí)段同步的快門式眼鏡的快門透鏡的控制操作的3A是示意性圖示使用立體效果中的物理的和心理的因素來(lái)控制用于左眼的圖像和用于右眼的圖像之間的視差的功能配置的圖；圖3B是圖示視差直方圖分布測(cè)量單元測(cè)量的視差直方圖的示例的圖；圖3C是圖示視差峰值移動(dòng)觀測(cè)單元如何觀測(cè)視差峰值的移動(dòng)方向的圖；圖4A是圖示在正方向上視差峰值的左右視差的移動(dòng)的圖；圖4B是圖示在負(fù)方向上視差峰值的左右視差的移動(dòng)的圖；
圖5A是圖示當(dāng)屏幕的中心被放大時(shí)減小屏幕外圍的尺寸從而不產(chǎn)生任何不被顯示的區(qū)域的過(guò)程的圖；圖5B是圖示用于當(dāng)屏幕的中心尺寸被減小時(shí)放大屏幕外圍從而防止整個(gè)屏幕尺寸被減小并且防止視場(chǎng)變小的過(guò)程的圖；圖6是圖示通過(guò)放大三維圖像以及通過(guò)將正位移值添加到左右視差而產(chǎn)生的效果的圖；圖7是圖示通過(guò)減小三維圖像尺寸以及通過(guò)將負(fù)位移值添加到左右視差而產(chǎn)生的效果的圖；圖8A是通過(guò)增加發(fā)散(divergence)來(lái)增加深度范圍的效果(更遠(yuǎn)方向的視差)的圖；圖SB是通過(guò)增加發(fā)散來(lái)増加深度范圍的效果(更遠(yuǎn)方向的視差)的圖；圖9是圖示通過(guò)在更近方向上移動(dòng)視差量產(chǎn)生的視覺(jué)效果的圖；圖10是圖示通過(guò)在更近方向上移動(dòng)視差量并且通過(guò)放大圖像(屏幕中心)產(chǎn)生的視覺(jué)效果的圖；圖11更遠(yuǎn)是圖示通過(guò)在更遠(yuǎn)方向上移動(dòng)視差量產(chǎn)生的視覺(jué)效果的圖；圖12更遠(yuǎn)是圖示通過(guò)在更遠(yuǎn)方向上移動(dòng)視差量并且通過(guò)減小圖像(屏幕中心)尺寸而產(chǎn)生的視覺(jué)效果的圖；圖13A是圖示其中對(duì)象位于用于左眼的圖像和用于右眼的圖像之間的同一位置的示例的圖；圖13B是圖示其中當(dāng)對(duì)象位于用于左眼的圖像和用于右眼的圖像之間的同一位置時(shí)觀看者感知到對(duì)象在液晶顯示面板的顯示表面上的示例的圖；圖14A是圖示其中用于左眼的圖像中的對(duì)象位于用于右眼的圖像中的對(duì)象的右邊的示例的圖；圖14B是圖示其中當(dāng)用于左眼的圖像中的對(duì)象位于用于右眼的圖像中的對(duì)象的右邊時(shí)觀看者感知到對(duì)象處于比顯示表面更近的點(diǎn)上的示例的圖；圖15A是圖示其中用于右眼的圖像中的對(duì)象位于用于左眼的圖像中的對(duì)象的右邊的示例的圖；以及圖15B是圖示其中當(dāng)用于右眼的圖像中的對(duì)象位于用于左眼的圖像中的對(duì)象的右邊時(shí)觀看者感知到對(duì)象處于比顯示表面更遠(yuǎn)的點(diǎn)上的示例的圖。
具體實(shí)施例方式下面將參考附圖詳細(xì)描述在此公開(kāi)的技術(shù)的實(shí)施例。圖I示意性圖示圖像顯示系統(tǒng)的配置的示例。圖像顯示系統(tǒng)包括可以顯示三維圖像(三維視覺(jué))的顯示裝置11和具有左眼単元和右眼単元的每個(gè)中的快門機(jī)構(gòu)的快門式眼鏡13之間的組合。在以下描述中，液晶顯示器(IXD)用作顯示三維圖像的顯示裝置11。然而，在此公開(kāi)的技術(shù)的范圍未必限于IXD。顯示裝置11使用幀順序方法交替地顯示用于左眼的圖像L和用于右眼的圖像R。另ー方面，快門式眼鏡13與在顯示裝置11側(cè)的用于左眼的圖像L和用于右眼的圖像R之間的切換同步地打開(kāi)和關(guān)閉左和右快門透鏡308。采用無(wú)線電波通信技術(shù)的無(wú)線網(wǎng)絡(luò)，諸如Wi-Fi (注冊(cè)商標(biāo))或者IEEE 802. 15. 4，用于顯示裝置11和快門式眼鏡13之間的通信，并且從顯示裝置11向快門式眼鏡13發(fā)送指示用于控制快門透鏡308和309的打開(kāi)和關(guān)閉定時(shí)的信息的分組。不用說(shuō)，可以使用紅外通信方法或者其他類型的通信方法替代無(wú)線網(wǎng)絡(luò)。
顯示裝置11包括左右圖像信號(hào)處理單元120、通信單元124、定時(shí)控制單元126、柵極驅(qū)動(dòng)器130、數(shù)據(jù)驅(qū)動(dòng)器132、以及液晶顯示面板134。液晶顯示面板134包括液晶層、在液晶層的任ー側(cè)相互面對(duì)的透明電極、濾色器等(所有這些組件未圖示)。在液晶顯示面板134的背部，提供背光(平面光源)136。背光136包括具有良好衰減特性(decay characteristics)的發(fā)光二極管(LED)等。使用諸如例如巾貞封裝(frame packing)之類的發(fā)送格式向左右圖像信號(hào)處理單元120輸入包括用于分別顯示用于左眼的圖像L和用于右眼的圖像R的左圖像信號(hào)^和右圖像信號(hào)Dk的輸入信號(hào)Din。在左右圖像信號(hào)處理單元120中，執(zhí)行用于校正圖像質(zhì)量的處理，諸如圖像銳度的增強(qiáng)和圖像對(duì)比度的提高。在本實(shí)施例中，在左右圖像信號(hào)處理單元120中控制用于左眼的圖像L和用于右眼的圖像R之間的視差，而將在后面描述該控制的細(xì)節(jié)。為了液晶顯示面板134使用幀順序方法顯示用于左眼的圖像L和用于右眼的圖像R，左右圖像信號(hào)處理單元120交替輸出左圖像信號(hào)^和右圖像信號(hào)DK。向定時(shí)控制單元126輸入通過(guò)左右圖像信號(hào)處理單元120轉(zhuǎn)換的左眼圖像信號(hào)!\和右眼圖像信號(hào)DK。定時(shí)控制単元126將已經(jīng)向其輸入的左眼圖像信號(hào)!\和右眼圖像信號(hào)Dk轉(zhuǎn)換為要輸入到液晶顯示面板134的信號(hào)，以及生成用于操作包括柵極驅(qū)動(dòng)器130和數(shù)據(jù)驅(qū)動(dòng)器132的面板驅(qū)動(dòng)電路的脈沖信號(hào)。柵極驅(qū)動(dòng)器130是根據(jù)從定時(shí)控制單元126發(fā)送的信號(hào)來(lái)生成用于順序驅(qū)動(dòng)的信號(hào)并且向與液晶顯示面板134中的每個(gè)像素連接的柵極總線輸出驅(qū)動(dòng)電壓的驅(qū)動(dòng)電路。數(shù)據(jù)驅(qū)動(dòng)器132是基于圖像信號(hào)輸出驅(qū)動(dòng)電壓、基于從定時(shí)控制単元126發(fā)送的信號(hào)生成要施加到數(shù)據(jù)線的信號(hào)并且將所述信號(hào)輸出到數(shù)據(jù)線的驅(qū)動(dòng)電路。通信單元124操作為無(wú)線網(wǎng)絡(luò)(諸如Wi-Fi或者IEEE 802. 15. 4)中的接入點(diǎn)并且存儲(chǔ)操作為其基本服務(wù)集(BSS)中的終端站的至少ー對(duì)快門式眼鏡13。通信単元124發(fā)送用于指示控制快門式眼鏡13側(cè)的快門透鏡308和309的打開(kāi)和閉合定時(shí)的信息的分組。圖2A圖示與顯示裝置11顯示用于左眼的圖像L的時(shí)段同步的快門式眼鏡13的快門透鏡308和309的控制操作。如圖2A圖示，在顯示用于左眼的圖像L的時(shí)段中，根據(jù)從顯示裝置11側(cè)無(wú)線發(fā)送的同步分組，左眼的快門透鏡308打開(kāi)以及右眼的快門透鏡309關(guān)閉。因此，基于用于左眼的圖像L的顯示光LL僅僅到達(dá)用戶的左眼。
圖2B圖示與顯示用于右眼的圖像R的時(shí)段同步的快門式眼鏡13的快門透鏡308和309的控制操作。如圖2B圖示，在顯示用于右眼的圖像R的時(shí)段中，右眼的快門透鏡309打開(kāi)并且左眼的快門透鏡308關(guān)閉。因此，基于用于右眼的圖像R的顯示光RR僅僅到達(dá)用戶的右眼。顯示裝置11對(duì)于每個(gè)場(chǎng)在液晶顯示面板134上交替顯示用于左眼的圖像L和用于右眼的圖像R。在快門式眼鏡13側(cè)，左快門透鏡308和右快門透鏡309與顯示裝置11的每個(gè)場(chǎng)的圖像的切換同步地交替打開(kāi)和關(guān)閉。在通過(guò)快門式眼鏡13觀看顯示圖像的用戶的大腦中，用于左眼的圖像L和用于右眼的圖像R被組合來(lái)形成圖像，并且因此將顯示裝置11上顯示的圖像辨識(shí)為三維圖像。確定在液晶顯示面板134上顯示的三維圖像的立體效果的程度的因素之ー是雙目視差。此外，當(dāng)放大圖像時(shí)，左右視差改變并且因此深度感改變。當(dāng)放大圖像時(shí)，視網(wǎng)膜圖像的尺寸改變并且因此圖像看上去更靠近圖像的觀看者。在根據(jù)本實(shí)施例的顯示裝置11中，左右圖像信號(hào)處理單元120使用立體效果中的這些物理和心理因素來(lái)控制用于左眼的圖像L和用于右眼的圖像R之間的視差，由此改進(jìn)三維圖像的真實(shí)性?！がF(xiàn)在，將參考圖13A到15B來(lái)描述左右視差和深度感之間的關(guān)系。位于其中對(duì)象既沒(méi)有突出也沒(méi)有后退(recede)的位置上的該對(duì)象在用于左眼的圖像L和用于右眼的圖像R之間沒(méi)有視差。這對(duì)應(yīng)圖13B中圖示的被感知為處于液晶顯示面板134的顯示表面上的對(duì)象。在該情形中，如圖13A所示，用于左眼的圖像L中的對(duì)象的位置Lo和用于右眼的圖像R中的對(duì)象的位置Ro相同，即Lo=Ro。另ー方面，如圖14B圖示，當(dāng)對(duì)象被感知為處于比液晶顯示面板134更近的點(diǎn)上時(shí)，用于左眼的圖像L中的對(duì)象位于用于右眼的圖像R中的對(duì)象的右邊，如圖14A圖示。換言之，當(dāng)用于左眼的圖像L中的對(duì)象位于用于右眼的圖像R中的對(duì)象的右邊(Lo>Ro)吋，觀看者感知到對(duì)象處于比液晶顯示面板134更近的點(diǎn)上。此外，如圖15B圖示，當(dāng)對(duì)象被感知為處于比液晶顯示面板134更遠(yuǎn)的點(diǎn)處時(shí)，用于右眼的圖像R中的對(duì)象位于用于左眼的圖像L中的對(duì)象的右邊(LcKRo)，如圖15A圖示。換言之，當(dāng)用于右眼的圖像R中的對(duì)象位于用于左眼的圖像L中的對(duì)象的右邊時(shí)，觀看者感知到對(duì)象處于在比液晶顯示面板134更遠(yuǎn)的點(diǎn)處。圖3A示意性圖示使用立體效果中的物理和心理因素控制用于左眼的圖像L和用于右眼的圖像R之間的視差的左右圖像信號(hào)處理單元120的功能配置。當(dāng)用于左眼的圖像L和用于右眼的圖像R已經(jīng)在同一時(shí)刻輸入時(shí)，視差直方圖分布測(cè)量單元301獲得屏幕中心的每個(gè)像素的用于左眼的圖像L和用于右眼的圖像R之間的視差(左右視差)，以獲得視差的像素?cái)?shù)量的分布，即，視差直方圖。圖3B圖示測(cè)量的視差直方圖的示例。當(dāng)已經(jīng)輸入視差直方圖分布測(cè)量單元301所測(cè)量的視差直方圖時(shí)，視差峰值移動(dòng)觀測(cè)單元302檢測(cè)視差峰值，該視差峰值是附近的視差的分布量中像素?cái)?shù)量最大的點(diǎn)。該視差峰值典型是圖像中要被注意的點(diǎn)。然后視差峰值移動(dòng)觀測(cè)單元302觀測(cè)視差峰值的移動(dòng)方向。圖3C圖示了視差峰值移動(dòng)觀測(cè)單元302如何觀測(cè)視差峰值的移動(dòng)方向?，F(xiàn)在，假設(shè)圖像左端的像素的位置具有值0，并且假設(shè)圖像右端的像素的位置具有值1920。Lp表示用于左眼的圖像L的水平位置，并且Rp表示用于右眼的圖像R的對(duì)應(yīng)水平位置。當(dāng)Lp-Rp>0時(shí)，圖像看上去位置比顯示表面更近(見(jiàn)圖14A和14B),并且當(dāng)Lp=Rp時(shí)，圖像看上去位于顯示面板上(見(jiàn)圖13A和13B)。當(dāng)Lp-Rp〈0，圖像看上去位置比顯示面板更遠(yuǎn)(見(jiàn)圖15A和15B)。因此，視差峰值移動(dòng)觀測(cè)單元302可以通過(guò)測(cè)量左右視差Lp-Rp的改變方向來(lái)判斷視差峰值的移動(dòng)方向。當(dāng)視差峰值的左右視差Lp-Rp在正方向上移動(dòng)(從左到右)時(shí)，要注意的圖像移動(dòng)地更近(參考圖4A)。另ー方面，當(dāng)視差峰值的左右視差Lp-Rp在負(fù)方向上移動(dòng)(從右到左)時(shí)，要注意的圖像移動(dòng)更遠(yuǎn)(參考圖4B)。深度控制單元303基于視差峰值移動(dòng)觀測(cè)單元302使用左右視差Lp-Rp檢測(cè)的視差峰值移動(dòng)方向的結(jié)果來(lái)控制三維圖像的深度。更具體地，如果判斷視差峰值移動(dòng)地更近 ，則深度控制單元303放大屏幕的中心。因此，視網(wǎng)膜圖像的尺寸變得更大，并且因此能夠使觀看者感覺(jué)到對(duì)象正在移動(dòng)地更近。如果判斷視差峰值移動(dòng)地更遠(yuǎn)，深度控制單元303則減小屏幕中心的尺寸。因此，視網(wǎng)膜圖像的尺寸變得更小，并且因此能夠使觀看者感覺(jué)到對(duì)象正在移動(dòng)地更遠(yuǎn)。深度控制單元303可以根據(jù)例如視差峰值的移動(dòng)速度來(lái)確定圖像被放大或者縮小尺寸的速度。期望圖像(屏幕的中心)被放大或者縮小尺寸的速度恒定，以使保護(hù)觀看者免于三維圖像引起的可能的不適。如果在判斷視差峰值移動(dòng)地更近之后，均勻地放大圖像，則難于在屏幕外圍顯示圖像的部分。因此，如圖5A圖示，當(dāng)放大屏幕中心時(shí)，深度控制單元303減小屏幕外圍的尺寸，使得不存在未被顯示的區(qū)域。此外，在其中屏幕被放大的屏幕中心的圖像放大區(qū)域和屏幕外圍的圖像減小區(qū)域之間，提供用于隱藏屏幕的放大和縮小之間的邊界的過(guò)渡區(qū)域。該過(guò)渡區(qū)域是其中適度調(diào)節(jié)屏幕的縮放的區(qū)域。另ー方面，如圖5B圖示，當(dāng)縮小屏幕中心的尺寸時(shí)，深度控制單元303放大屏幕的外國(guó)，以防止視場(chǎng)由于整個(gè)屏幕的尺寸的縮小而變小。此外，在其中縮小屏幕的尺寸的屏幕中心的圖像縮小區(qū)域和屏幕外圍的圖像放大區(qū)域之間，提供用于隱藏屏幕的縮小和放大之間的邊界的過(guò)渡區(qū)域(如上所述)。其中視差直方圖分布測(cè)量單元301測(cè)量視差直方圖的區(qū)域可以是包括上面描述的過(guò)渡區(qū)域的屏幕中心或者是不包括該過(guò)渡區(qū)域的屏幕中心。在上面的描述中，深度控制單元303僅僅通過(guò)放大或者縮小圖像的尺寸來(lái)控制三維圖像的深度感?？商娲?，除了圖像尺寸的放大或者縮小之外，深度控制單元303可以使用其中通過(guò)向左右視差量添加位移值或者從左右視差量減去位移值(聚散度的量)來(lái)控制三維圖像的深度感。當(dāng)正位移值被均勻地添加到屏幕上的左右視差Lp-Rp時(shí)，即，當(dāng)增加會(huì)聚量時(shí)，對(duì)象看上去位置更近了。另ー方面，當(dāng)將負(fù)位移均勻地添加到屏幕上的左右視差Lp-Rp，S卩，當(dāng)增加發(fā)散量時(shí)，對(duì)象看上去位置更遠(yuǎn)。因此，當(dāng)深度控制單元303如上描述地放大圖像并且增加會(huì)聚量(降低發(fā)散量)，即，向左右視差Lp-Rp添加正位移值時(shí)，視網(wǎng)膜圖像的尺寸增加并且在觀看者的大腦中在更近的點(diǎn)處形成三維圖像，由此強(qiáng)調(diào)突出并且產(chǎn)生真實(shí)性(參考圖6)。例如，當(dāng)視差峰值在屏幕的中心，即要注意的圖像移動(dòng)地更近時(shí)，屏幕的中心被放大并且在整體屏幕中均勻增加會(huì)聚度。
另ー方面，當(dāng)深度控制單元303如上所描述地縮小圖像尺寸并且降低會(huì)聚量(增加發(fā)散量)，即，向左右視差Lp-Rp添加負(fù)位移值時(shí)，視網(wǎng)膜圖像的尺寸降低并且在觀看者的大腦中在更遠(yuǎn)的點(diǎn)處形成三維圖像，由此強(qiáng)調(diào)進(jìn)入更遠(yuǎn)的效果(參考圖7)。例如，當(dāng)屏幕中心的視差峰值，即要注意的圖像移動(dòng)地更遠(yuǎn)時(shí)，屏幕中心的尺寸縮小并且屏幕的整體均勻増加了發(fā)散度。現(xiàn)在，分別由Le和Re表示觀看者的左眼和右眼的位置，由W表示眼睛之間的距離，由D表示從眼睛到液晶顯示面板134的顯示表面的距離(觀看距離)，如圖8A圖示。此夕卜，對(duì)象在液晶顯示面板134的顯示表面上的位置，即對(duì)象在用于左眼的圖像和用于右眼的圖像中的位置分別由L和R表示，并且由X表示L和R之間的距離(在更遠(yuǎn)(更近)方向的視差)，由A表示其圖像已經(jīng)在觀看者的大腦中形成的對(duì)象的位置，以及由Y表示形成的圖像距液晶顯示面板134的顯示表面的深度。如從圖8A所看到的，Λ ALR和AALeRe形狀類似。因此，可以通過(guò)以下表達(dá)式(I)來(lái)獲得形成的圖像的深度Y ffX= (D+Y) Y
W · Y = X · (D+Y)Y = -DX/ (X-W)Y = -D-Dff/ (X-W)…(I)圖SB是圖示視差量X和已經(jīng)根據(jù)上面表達(dá)式(I)形成其圖像的對(duì)象的深度Y之間的關(guān)系的圖形。如從圖8Α所看見(jiàn)的，更遠(yuǎn)方向上視差量X的上限是左眼和右眼之間的距離W，深度Y的下限是觀看距離D。從上面表達(dá)式(I)獲得的曲線具有線X=W和Y=-D作為其漸近線。當(dāng)深度控制單元303在更遠(yuǎn)方向上增加視差量X時(shí)，三維圖像在更遠(yuǎn)方向上的敏感度沿著該曲線增加。參考圖9將描述通過(guò)在更近方向上移動(dòng)視差量X獲得的視覺(jué)效果。如圖9圖示，當(dāng)視差范圍移動(dòng)到比輸入三維圖像的視差范圍更近的點(diǎn)時(shí)，垂直軸表示的深度范圍改變并且要注意的圖像看上去位置更近。將參考圖10描述通過(guò)在更近方向上移動(dòng)視差量X并且通過(guò)放大圖像(屏幕的中心)獲得的視覺(jué)效果。如上面描述，當(dāng)視差范圍移動(dòng)到比輸入三維圖像的視差范圍更近的點(diǎn)時(shí)，要注意的圖像的深度范圍改變。如果此時(shí)放大圖像，則根據(jù)放大率還放大視差范圍，并且因此要注意的圖像的深度范圍增加。將參考圖11描述通過(guò)在更遠(yuǎn)方向上移動(dòng)視差量X獲得的視覺(jué)效果。如圖11圖示，當(dāng)視差范圍移動(dòng)到比輸入三維圖像的視差范圍更遠(yuǎn)的點(diǎn)時(shí)，垂直軸表示的深度范圍改變并且要注意的圖像看上去位置更近。將參考圖12描述通過(guò)在更遠(yuǎn)方向上移動(dòng)視差量并且通過(guò)縮小圖像的尺寸(屏幕中心)獲得的視覺(jué)效果。如上面所描述，當(dāng)將視差范圍移動(dòng)到比輸入三維圖像的視差范圍更遠(yuǎn)的點(diǎn)時(shí)，要注意的圖像的深度范圍改變。如果此時(shí)縮小圖像尺寸，則根據(jù)縮小率還縮小視差范圍的尺寸，并且因此要注意的圖像的深度范圍減小尺寸。期望深度控制單元303通過(guò)設(shè)置放大或者縮小圖像尺寸的速度以及發(fā)散量盡可能恒定地改變來(lái)保護(hù)觀看者免于三維圖像引起的不適。此外，當(dāng)圖像被放大時(shí)左右視差的最大量期望地等于或者小于大約I度，這是對(duì)于左右視差量的允許值。在此公開(kāi)的技術(shù)關(guān)注屏幕中心(其是要注意的圖像)和視差峰值(其是視差分布量最大的點(diǎn))，并且均勻地僅僅放大或者縮小屏幕中心尺寸，以縮小外圍區(qū)域的不協(xié)調(diào)的感覺(jué)(sense of incongruity)并且使得更容易地實(shí)現(xiàn)系統(tǒng)。可以根據(jù)根據(jù)屏幕中心的放大率和縮小率容易地控制三維圖像的突出和真實(shí)性。此外，通過(guò)設(shè)置放大或縮小圖像尺寸的速度以及盡可能恒定地改變聚散度的量，能夠保護(hù)觀看者免受三維圖像引起的不適。在此公開(kāi)的本技術(shù)可以具有以下配置(I) ー種三維圖像處理裝置，包括視差分布測(cè)量單元，測(cè)量由用于左眼的圖像和用于右眼的圖像配置的三維圖像在屏幕中心的視差分布；高頻視差量移動(dòng)觀測(cè)単元，觀測(cè)其頻率在所測(cè)量的視差分布中為高的視差量的移動(dòng)；以及深度控制單元，基于其頻率為高的視差量的移動(dòng)判斷要注意的圖像的移動(dòng)的方向并且根據(jù)要注意的圖像的移動(dòng)方向來(lái)控制三維圖像的深度。(2)根據(jù)以上(I)所述的三維圖像處理裝置。當(dāng)其頻率為高的視差量移動(dòng)地更近時(shí)，高頻視差量移動(dòng)觀測(cè)単元判斷要注意的圖像正在移動(dòng)地更近，并且當(dāng)其頻率為高的視差量正在移動(dòng)地更遠(yuǎn)時(shí)，高頻視差量移動(dòng)觀測(cè)単元判斷要注意的圖像正在移動(dòng)地更遠(yuǎn)。 (3)根據(jù)以上(I)所述的三維圖像處理裝置。如果高頻視差量移動(dòng)觀測(cè)単元判斷要注意的圖像正在移動(dòng)地更近，則深度控制單元根據(jù)移動(dòng)速度逐漸地放大屏幕中心處的三維圖像。(4)根據(jù)以上(I)所述的三維圖像處理裝置。如果高頻視差量移動(dòng)觀測(cè)単元判斷要注意的圖像正在移動(dòng)地更近，則深度控制單元根據(jù)移動(dòng)速度逐漸地放大屏幕中心處的三維圖像，并且均勻地增加整體屏幕的會(huì)聚度的量。(5)根據(jù)以上(3)或(4)所述的三維圖像處理裝置。在放大屏幕中心處的三維圖像后，深度控制單元減小屏幕外圍的尺寸，使得作為放大的結(jié)果，不生成其中不可能顯示的區(qū)域。(6)根據(jù)以上(3)或(4)所述的三維圖像處理裝置。深度控制單元以恒定速度放大屏幕中心處的三維圖像。(7)根據(jù)上面(I)到(6)任一所述的三維圖像處理裝置。如果高頻視差量移動(dòng)觀測(cè)單元判斷要注意的圖像正在移動(dòng)地更遠(yuǎn)，則深度控制單元根據(jù)移動(dòng)速度逐漸減小屏幕中心處的三維圖像。(8)根據(jù)上面(I)到(6)任一所述的三維圖像處理裝置。如果高頻視差量移動(dòng)觀測(cè)單元判斷要注意的圖像正在移動(dòng)地更遠(yuǎn)，則深度控制單元根據(jù)移動(dòng)速度逐漸減小屏幕中心處的三維圖像并且均勻增加整體屏幕的發(fā)散量。(9)根據(jù)以上(7)或(8)所述的三維圖像處理裝置。在減小屏幕中心處的三維圖像的尺寸之后，深度控制單元放大屏幕外圍，使得圖像顯示區(qū)域不變小。(10)根據(jù)以上(7)或(8)所述的三維圖像處理裝置。深度控制單元以恒定速度減小屏幕中心處的三維圖像的尺寸。(11) 一種用于處理三維圖像的方法，該方法包括測(cè)量由用于左眼的圖像和用于右眼的圖像配置的三維圖像在屏幕中心的視差分布；觀測(cè)其頻率在所測(cè)量的視差分布為高的視差量的移動(dòng)；以及基于其頻率為高的視差量的移動(dòng)判斷要注意的圖像的移動(dòng)方向并且根據(jù)要注意的圖像的移動(dòng)方向控制三維圖像的深度。(12) —種顯示裝置，包括圖像輸入?yún)g元，輸入由用于左眼的圖像和用于右眼的圖像配置的三維圖像；視差分布測(cè)量單元，測(cè)量輸入的用于左眼的圖像和輸入的用于右眼的圖像在屏幕中心的視差分布；高頻視差量移動(dòng)觀測(cè)単元，觀測(cè)其頻率在所測(cè)量的視差分布中為高的視差量的移動(dòng)；深度控制單元，基于其頻率為高的視差量的移動(dòng)來(lái)判斷要注意的圖像的移動(dòng)方向并且根據(jù)要注意的圖像的移動(dòng)方向來(lái)控制三維圖像的深度；以及顯示單元，顯示其深度已經(jīng)被控制的三維圖像。(13) ー種以計(jì)算機(jī)可讀形式描述的計(jì)算機(jī)程序，其使得計(jì)算機(jī)充當(dāng)以下部件視差分布測(cè)量單元，測(cè)量用于左眼的圖像和用于右眼的圖像配置的三維圖像在屏幕中心的視差分布；高頻視差量移動(dòng)觀測(cè)単元，觀測(cè)其頻率在所測(cè)量的視差分布中為高的視差量的移動(dòng)；以及深度控制單元，基于其頻率為高的視差量的移動(dòng)來(lái)判斷要注意的圖像的移動(dòng)方向并且根據(jù)要注意的圖像的移動(dòng)方向來(lái)控制三維圖像的深度。本公開(kāi)包含與在2011年6月16日向日本專利局提交的日本優(yōu)先權(quán)專利申請(qǐng)JP2011-134499中公開(kāi)的內(nèi)容有關(guān)的主題，其全部?jī)?nèi)容以引用的方式合并于此。本領(lǐng)域的技術(shù)人員應(yīng)該理解根據(jù)設(shè)計(jì)要求和其他因素可以出現(xiàn)各種修改、組合、子組合以及改變，只要它們?cè)谒綑?quán)利要求或其等效物的范圍內(nèi)?！?br> 權(quán)利要求
1.一種三維圖像處理裝置，包括 視差分布測(cè)量單元，測(cè)量由用于左眼的圖像和用于右眼的圖像所配置的三維圖像在屏幕中心的視差分布； 高頻視差量移動(dòng)觀測(cè)單元，觀測(cè)其頻率在所測(cè)量的視差分布中為高的視差量的移動(dòng)；以及 深度控制單元，基于其頻率為高的視差量的移動(dòng)判斷要注意的圖像的移動(dòng)方向并且根據(jù)要注意的圖像的移動(dòng)方向來(lái)控制三維圖像的深度。
2.根據(jù)權(quán)利要求I所述的三維圖像處理裝置， 其中，當(dāng)其頻率為高的視差量向近處移動(dòng)時(shí)，高頻視差量移動(dòng)觀測(cè)單元判斷要注意的圖像正在向近處移動(dòng)，并且當(dāng)其頻率為高的視差量向遠(yuǎn)處移動(dòng)時(shí)，高頻視差量移動(dòng)觀測(cè)單元判斷要注意的圖像正在向遠(yuǎn)處移動(dòng)。
3.根據(jù)權(quán)利要求I所述的三維圖像處理裝置， 其中，如果高頻視差量移動(dòng)觀測(cè)單元判斷要注意的圖像正在向近處移動(dòng)時(shí)，則深度控制單元根據(jù)移動(dòng)速度逐漸地放大屏幕中心的三維圖像。
4.根據(jù)權(quán)利要求I所述的三維圖像處理裝置， 其中，如果高頻視差量移動(dòng)觀測(cè)單元判斷要注意的圖像正在向近處移動(dòng)時(shí)，則深度控制單元根據(jù)移動(dòng)速度逐漸地放大屏幕中心的三維圖像，并且均勻地增大整個(gè)屏幕的會(huì)聚量。
5.根據(jù)權(quán)利要求3所述的三維圖像處理裝置， 其中，在放大屏幕中心的三維圖像后，深度控制單元減小屏幕外圍的尺寸，使得作為放大的結(jié)果，不生成其中不可能進(jìn)行顯示的區(qū)域。
6.根據(jù)權(quán)利要求3所述的三維圖像處理裝置， 其中，深度控制單元以恒定速度放大屏幕中心的三維圖像。
7.根據(jù)權(quán)利要求I所述的三維圖像處理裝置， 其中，如果高頻視差量移動(dòng)觀測(cè)單元判斷要注意的圖像正在向遠(yuǎn)處移動(dòng)時(shí)，則深度控制單元根據(jù)移動(dòng)速度逐漸減小屏幕中心的三維圖像。
8.根據(jù)權(quán)利要求I所述的三維圖像處理裝置， 其中，如果高頻視差量移動(dòng)觀測(cè)單元判斷要注意的圖像正在向遠(yuǎn)處移動(dòng)時(shí)，則深度控制單元根據(jù)移動(dòng)速度逐漸減小屏幕中心的三維圖像并且均勻增加整個(gè)屏幕的發(fā)散量。
9.根據(jù)權(quán)利要求7所述的三維圖像處理裝置， 其中，在減小屏幕中心的三維圖像的尺寸之后，深度控制單元放大屏幕外圍，使得圖像顯示區(qū)域不會(huì)變小。
10.根據(jù)權(quán)利要求7所述的三維圖像處理裝置， 其中，深度控制單元以恒定速度減小屏幕中心三維圖像的尺寸。
11.一種用于處理三維圖像的方法，該方法包括 測(cè)量由用于左眼的圖像和用于右眼的圖像所配置的三維圖像在屏幕中心的視差分布； 觀測(cè)其頻率在所測(cè)量的視差分布中為高的視差量的移動(dòng)；以及 基于其頻率為高的視差量的移動(dòng)判斷要注意的圖像的移動(dòng)方向并且根據(jù)要注意的圖像的移動(dòng)方向控制三維圖像的深度。
12.—種顯示裝置，包括 圖像輸入單元，輸入由用于左眼的圖像和用于右眼的圖像所配置的三維圖像； 視差分布測(cè)量單元，測(cè)量輸入的用于左眼的圖像和輸入的用于右眼的圖像在屏幕中心的視差分布； 高頻視差量移動(dòng)觀測(cè)單元，觀測(cè)其頻率在所測(cè)量的視差分布中為高的視差量的移動(dòng)；深度控制單元，基于其頻率為高的視差量的移動(dòng)來(lái)判斷要注意的圖像的移動(dòng)方向并且根據(jù)要注意的圖像的移動(dòng)方向來(lái)控制三維圖像的深度；以及顯示單元，顯示其深度已經(jīng)被控制的三維圖像。
13.—種以計(jì)算機(jī)可讀形式中描述的、使得計(jì)算機(jī)用作以下部件的計(jì)算機(jī)程序 視差分布測(cè)量單元，測(cè)量用于左眼的圖像和用于右眼的圖像所配置的三維圖像在屏幕中心的視差分布； 高頻視差量移動(dòng)觀測(cè)單元，觀測(cè)其頻率在所測(cè)量的視差分布中為高的視差量的移動(dòng)；以及 深度控制單元，基于其頻率為高的視差量的移動(dòng)來(lái)判斷要注意的圖像的移動(dòng)方向并且根據(jù)要注意的圖像的移動(dòng)方向來(lái)控制三維圖像的深度。
全文摘要
一種三維圖像處理裝置、處理三維圖像的方法和顯示裝置，所述三維圖像處理裝置包括視差分布測(cè)量單元，測(cè)量由用于左眼的圖像和用于右眼的圖像配置的三維圖像在屏幕中心的視差分布；高頻視差量移動(dòng)觀測(cè)單元，觀測(cè)其頻率在所測(cè)量的視差分布中為高的視差量的移動(dòng)；以及深度控制單元，基于其頻率為高的視差量的移動(dòng)判斷要注意的圖像的移動(dòng)方向并且根據(jù)要注意的圖像的移動(dòng)方向來(lái)控制三維圖像的深度。
文檔編號(hào)H04N13/04GK102833561SQ20121019407
公開(kāi)日2012年12月19日 申請(qǐng)日期2012年6月13日 優(yōu)先權(quán)日2011年6月16日
發(fā)明者原田茂 申請(qǐng)人:索尼公司