專利名稱：三維視頻內(nèi)容的調(diào)適的制作方法
技術領域：
本發(fā)明涉及顯示3D (三維)視頻內(nèi)容的領域，尤其涉及使3D視頻內(nèi)容適合在不同觀看條件下顯示。
背景技術：
3D視頻的生產(chǎn)很大程度上由目標觀看條件，例如，電影院中的電影放映或家庭 3D-TV(三維電視)顯示器上的顯示決定。生產(chǎn)期間考慮的主要參數(shù)是目標屏幕的寬度和觀眾與屏幕之間的距離。當在不同觀看條件下顯示為特定觀看條件設計的3D視頻內(nèi)容時，應該修改3D視頻內(nèi)容以符合這些新觀看條件。否則，由于淺的3D效果或不適感和視覺疲勞，3D體驗質(zhì)量可能相當?shù)?。盡管存在這種問題，但目前一般都沒有進行某種調(diào)適。這有時會導致很差的 3D效果，例如，當在3D-TV顯示器上播放3D電影節(jié)選或預告片時。隨著當前3D電影市場的增長，3D視頻內(nèi)容的調(diào)適對于3D-DVD (數(shù)字多功能盤)和 3D-BD (藍光盤)的復制和分發(fā)將變成一個重要問題。目的是避免需要對相同3D視頻內(nèi)容
管理幾個母盤。目前，調(diào)適3D視頻內(nèi)容的最主要調(diào)研手段在于針對目標觀看條件合成處在理想攝像機位置上的新“虛擬”視圖。這種視圖合成能夠不改變現(xiàn)場拍攝的結(jié)構(gòu)地使3D效果賞心悅目。但是，視圖合成在計算方面既復雜又昂貴。需要與彩色視頻視圖一起傳送高質(zhì)量差異圖，因為低質(zhì)量差異圖的使用會在合成視圖中引起難以接受的假像。盡管對于計算機生成內(nèi)容，生成所需差異圖相當容易，但對于自然視頻內(nèi)容，這是一項相當具挑戰(zhàn)性的任務。到現(xiàn)在為止，還沒有從差異估計到視圖合成的可靠鏈條可供使用。即使有差異估計的改進解決方案可供使用，但仍然希望，例如，為3D機頂盒提供合理、不怎么復雜的調(diào)適解決方案。

發(fā)明內(nèi)容
于是，本發(fā)明的目的是提出可以不怎么復雜實現(xiàn)的、使3D視頻內(nèi)容適合不同觀看條件的解決方案。按照本發(fā)明，這個目標是通過一種使3D視頻內(nèi)容適合顯示器的方法來實現(xiàn)的，所述方法包括如下步驟-接收立體圖像對；-獲取立體圖像對的最大差異值；-使用獲取的最大差異值確定立體圖像對的最大容許移動量；-使用確定的最大容許移動量計算立體圖像對的左圖像和右圖像的實際移動量; 以及-依照計算的實際移動量移動左圖像和右圖像。類似地，使3D視頻內(nèi)容適合顯示器的裝置包括
-接收立體圖像對的輸入端；-獲取立體圖像對的最大差異值的差異確定單元；-從獲取的最大差異值中確定立體圖像對的最大容許移動量的最大移動量確定單元；-從確定的最大容許移動量中計算立體圖像對的左圖像和右圖像的實際移動量的實際移動量計算單元；以及-依照計算的實際移動量移動左圖像和右圖像的圖像移動單元。本發(fā)明提出了通過逐幀進行視圖移動調(diào)適3D內(nèi)容。通過相對于屏幕向后移動場景，即，通過將視圖移開(move apart)，使3D效果增強。為此，為了使3D電影適合3D-TV， 將左視圖向左移動，將右視圖向右移動。盡管這樣相對于電影導演原始選擇的變更了場景結(jié)構(gòu)，但優(yōu)化了 3D效果。實現(xiàn)適合內(nèi)容，或更具體地說，適合每個立體圖像對的差異量的實時控制來保證所得深度保持在視覺舒適區(qū)中。為此，有利的是，為每個立體圖像對發(fā)送最高差異值?？商娲氖?，通過在為立體圖像對發(fā)送的完整差異圖內(nèi)搜索最大值來獲取最高差異值。作為進一步的替代，通過差異估計特征獲取最高差異值。在這種情況下，差異估計的粗略、基于塊的實現(xiàn)就足夠了。按照本發(fā)明的解決方案使3D視頻內(nèi)容可靠快速地適合顯示設備。在滿足觀眾舒適感的同時優(yōu)化了 3D效果，而無需實現(xiàn)在計算方面昂貴的和使用低質(zhì)量深度圖時有危害的基于深度合成。有利的是，利用作為二階濾波的時間濾波，例如，卡爾曼(Kalman)濾波補充相繼移動步驟，使顯示調(diào)適的隨時間行為更流暢。時間濾波使我們可以防止所得3D內(nèi)容中惱人的抖動3D假像。當需要深度估計時，這樣的假像尤其有可能出現(xiàn)。對于自然內(nèi)容，差異圖可能給出可以損害最終深度感覺的逐幀估計誤差。通過時間濾波，實現(xiàn)了像素移動的流暢變化。對于供給它們自己的深度圖的CGI (計算機成像)內(nèi)容，未必進行時間濾波。最好是，觀眾有可能利用界面，例如，與音量或?qū)Ρ榷葪l類似的界面調(diào)整左視圖和右視圖的移動量。有利的是，將移動后左圖像和移動后右圖像直接發(fā)送給顯示器。可替代的是，將移動后左圖像和移動后右圖像存儲在存儲媒體中以便以后顯示它們。


為了更好地理解，現(xiàn)在將在如下描述中參考附圖更詳細地說明本發(fā)明。不言而喻， 本發(fā)明不局限于這個示范性實施例，也可以不偏離如所附權利要求書限定的本發(fā)明范圍地適當組合和/或修正特定特征。在附圖中圖1示出了立體圖像對；圖2描繪了圖1的立體圖像對的深度圖；圖 3 給出了轉(zhuǎn)向-調(diào)焦沖突(vergence-accomodation conflict)的說明；圖4描繪了電影院電影場景的深度狀況；圖5示出了在家庭3D-TV面板上顯示電影場景時的深度狀況；圖6示出了按照本發(fā)明的調(diào)適方法的流程圖；以及圖7示意性地例示了執(zhí)行按照本發(fā)明的調(diào)適方法的裝置。
具體實施例方式在圖1中，示出了一個立體圖像對。該圖像對由左視圖40和右視圖50組成。每個圖像40、50具有IOM個像素的寬度和768個像素的高度。兩個圖像40、50是利用攝像機間距離為tc = IOcm(厘米)和焦距為f = 2240個像素的攝像機對拍攝的。會聚面相對于攝像機基準的距離是^mv = +⑴。近裁剪平面處在= 4，48m(米)上，遠裁剪平面處在 Zfar = 112，06m上。圖像40、50中的物體的最大距離是Zmax 12m，最小距離是Zminx 5m。在圖2中描繪了圖1的立體圖像對的深度圖41、51。處在遠裁剪平面上的物體對應于純白色值。于是，處在遠裁剪平面上的物體對應于純黑色值。給定深度Z的差異d(Z) 通過下式給出
f 1 Od(Z) = tcxfx -——-。
V convJ隨著τ· = + C ，上面方程簡化成J(Z) = -|x/。因此，對于^mv = +⑴，最大差異是負的，S卩，dmax<0。使用上面公式，最小深度 Zfflin導致dmin ^ -44，8個像素的最小差異，而最大深度Zmax導致dmax -18，7個像素的最大差異。通常，對于處在屏幕后面的物體(Z> ^mV)，差異是正的，而對于處在屏幕前面的物體(Z < ^mv)，差異是負的。為了觀看現(xiàn)實生活中的三維物體，觀眾的眼睛需要做兩件事情。首先，他們必須轉(zhuǎn)向，即，它們必須稍向內(nèi)或向外轉(zhuǎn)動，以便使圖像總是投影在兩個視網(wǎng)膜的中心上。其次，眼睛必須調(diào)焦，即，改變每個透鏡的形狀以便將圖像聚焦在視網(wǎng)膜上。但是，人造3D會引起轉(zhuǎn)向-調(diào)焦沖突。觀眾一方面必須聚焦在從屏幕發(fā)出光線的一個距離上，但另一方面轉(zhuǎn)向在另一個距離，即，3D物體的空間位置上。這種轉(zhuǎn)向-調(diào)焦沖突可能導致頭痛和其他不適。在圖3中示意性例示了轉(zhuǎn)向-調(diào)焦沖突。眼睛相隔眼間距離te的觀眾聚焦在寬度Wsraeen的屏幕1上。只要觀眾轉(zhuǎn)到處在屏幕1的平面上的物體6上，就不存在轉(zhuǎn)向-調(diào)焦沖突。在這種情況下轉(zhuǎn)向距離1)。_等于眼睛的調(diào)焦距離。但是，如果觀眾轉(zhuǎn)到處在屏幕前面的物體6'或處在屏幕后面的物體6"上，轉(zhuǎn)向距離D。。nv就不同于眼睛的調(diào)焦距離。由于這種轉(zhuǎn)向-調(diào)焦沖突，所以存在視差下界和視差上界，它們限制了物體可能所在的深度范圍。視差下界限定到可以顯示物體的屏幕前面的最大距離，而視差上限限定到屏幕后面的相應距離。圖4例示了電影院電影場景的深度狀況。所畫的是觀眾感覺到的深度與現(xiàn)實世界中物體的深度之間的關系。該圖基于沒有任何特殊效果的電影院電影場景，即，在拍攝的深度與觀眾感覺的深度之間存在線性關系。在該圖中，粗黑線1對應于電影院屏幕的位置。通常，電影院屏幕處在相對于觀眾IOm的距離上。粗黑灰線2對應于負視差值的下界。在電影院中，不存在視差上界，因為屏幕離觀眾足夠遠。觀眾可以不會感到任何調(diào)焦疼痛地看向無限遠。由于所討論的電影場景未呈現(xiàn)任何特定3D效果，S卩，不存在立體失真，所以虛黑線 3例示的觀眾感覺到的深度對應于拍攝的物體的深度。圖5例示了在家庭3D-TV面板上顯示電影場景時的相應深度狀況。在這種情況下，到屏幕的距離通常變成大約:3m。因此，出現(xiàn)了視差上界。視差上界用細灰線4例示。由于視覺舒適區(qū)有限，所以想達到與在電影院中達到的3D效果相當?shù)?D效果是不可能的。的確，在家中，觀眾離屏幕太近。因此，在仍然調(diào)焦到屏幕上的同時看向無限遠會產(chǎn)生視覺疲勞。如果不進行調(diào)適，則電影場景只呈現(xiàn)虛黑線3所例示的差3D效果。按照本發(fā)明的解決方案將場景進一步移動到屏幕的后面，不超過視覺舒適區(qū)地使深度感覺增強。這由點劃黑線5示出。在下文中，將描述為了達到圖5中點劃黑線5所例示的增強深度感覺而進行的調(diào)適過程的基礎。假設幀t的立體圖像對具有差異dmax(t)。值dmax(t)表示立體圖像對的像素中的最高差異值。推測dmax(t) >0。值dmax(t)作為立體圖像對的元數(shù)據(jù)發(fā)送，或在為立體圖像對發(fā)送的完整差異圖內(nèi)搜索最大值獲得。可替代的是，在3D-TV顯示器或相連機頂盒中實現(xiàn)差異估計特征。在這種情況下，粗略、基于塊的實現(xiàn)就足夠了?？紤]
權利要求
1.一種使3D視頻內(nèi)容適合顯示器的方法，所述方法包括如下步驟-接收(10)立體圖像對；-獲取(11)立體圖像對的最大差異值(d-(t))；-使用獲取的最大差異值(dmax(t))確定(1 立體圖像對的最大容許移動重 Oimax ⑴)；-使用確定的最大容許移動量(hmx(t))計算(1 立體圖像對的左圖像和右圖像的實際移動量(h(t)/2)；以及-依照計算的實際移動量(h(t)/2)移動(14)左圖像和右圖像。
2.按照權利要求1所述的方法，其中，當計算(13)立體圖像對的左圖像和右圖像的實際移動量(ha)/》時，考慮用戶可設置移動量調(diào)整參數(shù)(a)。
3.按照權利要求1或2所述的方法，進一步包括在確定(1 最大容許移動量(hmx(t)) 之前對最大差異值(dmax(t))進行時間濾波的步驟。
4.按照權利要求3所述的方法，其中，通過卡爾曼濾波進行時間濾波。
5.按照權利要求1至4之一所述的方法，其中，從與立體圖像對相聯(lián)系的元數(shù)據(jù)中或通過差異估計獲取(11)最大差異值(dmax(t))。
6.按照權利要求1至5之一所述的方法，進一步包括將移動后左圖像和移動后右圖像發(fā)送(1 給顯示器09)或?qū)⒁苿雍笞髨D像和移動后右圖像存儲(16)在存儲媒體(30)上的步驟。
7.一種使3D視頻內(nèi)容適合顯示器的裝置(20)，所述裝置包括-接收(10)立體圖像對的輸入端；-獲取(11)立體圖像對的最大差異值(dmax(t))的差異確定單元02)；-從獲取的最大差異值(dmax(t))中確定(1 立體圖像對的最大容許移動量(hmx(t)) 的最大移動量確定單元03)；-從確定的最大容許移動量(hMX(t))中計算(1 立體圖像對的左圖像和右圖像的實際移動量(h(t)/2)的實際移動量計算單元05)；以及-依照計算的實際移動量(h(t)/2)移動(14)左圖像和右圖像的圖像移動單元06)。
8.按照權利要求7所述的裝置(20)，進一步包括與所述實際移動量計算單元05)連接的用戶界面(M)，用于設置當計算(1 立體圖像對的左圖像和右圖像的實際移動量 (h(t)/2)時考慮的移動量調(diào)整參數(shù)(α)。
9.按照權利要求7或8所述的裝置(20)，進一步包括在所述差異確定單元0 下游的時間濾波器(31)，用于在確定(1 最大容許移動量(hmx(t))之前對最大差異值(dmax(t)) 進行時間濾波。
10.按照權利要求9所述的裝置(20)，其中，所述時間濾波器(31)是卡爾曼濾波器。
11.按照權利要求7至10之一所述的裝置(20)，其中，通過元數(shù)據(jù)評估單元(3 從與立體圖像對相聯(lián)系的元數(shù)據(jù)中或通過差異估計器(3 獲取(11)最大差異值(dmax(t))。
12.按照權利要求7至11之一所述的裝置(20)，進一步包括將移動后左圖像和移動后右圖像發(fā)送(1 給顯示器09)的第一輸出端(XT)和/或?qū)⒁苿雍笞髨D像和移動后右圖像存儲(16)在存儲媒體(30)上的第二輸出端08)。
13.—種包括按照權利要求7所述的使3D視頻內(nèi)容適合顯示器的裝置OO)和與所述裝置00)連接的用戶界面04)的系統(tǒng)，所述用戶界面04)用于設置當計算(13)立體圖像對的左圖像和右圖像的實際移動量(h(t)/^)時在裝置OO)中考慮的移動量調(diào)整參數(shù) ⑷。
全文摘要
本發(fā)明涉及顯示3D視頻內(nèi)容的領域，尤其涉及使3D視頻內(nèi)容適合在不同觀看條件下顯示。按照本發(fā)明，使3D視頻內(nèi)容適合顯示器的方法具有如下步驟接收(10)立體圖像對；獲取(11)立體圖像對的最大差異值(dmax(t))；使用獲取的最大差異值(dmax(t))確定(12)立體圖像對的最大容許移動量(hMAX(t))；使用確定的最大容許移動量(hMAX(t))計算(13)立體圖像對的左圖像和右圖像的實際移動量(h(t)/2)；以及依照計算的實際移動量(h(t)/2)移動(14)左圖像和右圖像。
文檔編號H04N13/00GK102413345SQ20111028532
公開日2012年4月11日 申請日期2011年9月23日 優(yōu)先權日2010年9月23日
發(fā)明者G.波伊森, O.布雷勒, P.科比里奧 申請人:湯姆森特許公司