立體三維視頻信息創(chuàng)建方法和裝置及其顯示方法和裝置制造方法
【專利摘要】描述了一種用于創(chuàng)建包含三維視頻流和三維覆蓋圖形的立體三維視頻信息的方法和裝置。為多個(gè)時(shí)間碼確定用于立體呈現(xiàn)三維視頻流的z-空間中的深度范圍。然后，確定用于放置三維覆蓋圖形的z-空間中的參考平面使得減少三維視頻和參考平面之間的深度沖突。定義圍繞顯示屏幕平面并包含所述參考平面的舒適區(qū)，其中，所述舒適區(qū)指定z-空間中用于優(yōu)選地呈現(xiàn)立體三維視頻信息的深度范圍。然后，對(duì)于相應(yīng)的時(shí)間碼確定是否仍有參考平面和三維視頻流之間的深度沖突和/或?qū)τ谙鄳?yīng)的時(shí)間碼確定在舒適區(qū)和三維覆蓋圖形之間是否存在深度沖突。以這種方式生成存儲(chǔ)在包含三維視頻流和三維覆蓋圖形的媒體源上的一組沖突間隔。在重訪期間使用所述一組沖突間隔以調(diào)整對(duì)三維視頻流的呈現(xiàn)或?qū)θS覆蓋圖形的呈現(xiàn)。
【專利說明】立體三維視頻信息創(chuàng)建方法和裝置及其顯示方法和裝置
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種用于創(chuàng)建包含三維視頻流和三維覆蓋圖形的立體三維視頻信息的方法和裝置。此外，本發(fā)明涉及一種用于顯示這樣的立體三維視頻信息的方法和裝置。
【背景技術(shù)】
[0002]隨著最近的立體三維電影在票房上的成功，也希望將三維視頻帶入到家庭娛樂中。最初可用的解決方案之一是藍(lán)光三維格式。優(yōu)選地，在被稱為舒適區(qū)的內(nèi)部顯示三維電影。對(duì)舒適區(qū)的確定仍然是一個(gè)活躍的研究領(lǐng)域。通常情況下，舒適區(qū)描述了在從屏幕后面的某個(gè)地方延伸到距屏幕前的觀眾的最小距離的Z-空間中的間隔。確定這個(gè)舒適區(qū)的一個(gè)選擇是所謂的1/3屈光度規(guī)則。此外，根據(jù)1/3屈光度規(guī)則的該舒適區(qū)的范圍依賴于觀眾或用戶和屏幕之間的距離。在舒適區(qū)之外對(duì)三維元素的再現(xiàn)應(yīng)限于特殊的場(chǎng)景，并且應(yīng)小心實(shí)行以避免用戶不適。
[0003]藍(lán)光三維格式不僅支持立體三維視頻，還支持立體三維輔助信息，例如像用戶菜單那樣的優(yōu)選以Java編程語言編寫的立體三維交互應(yīng)用。交互菜單可以允許用戶選擇某一場(chǎng)景、不同的音軌等等。此外，可將三維字幕或信息文本添加到立體再現(xiàn)中。這種通常呈現(xiàn)在主視頻流前面的信息可被稱為覆蓋圖形。
[0004]為了提供愉快的三維用戶體驗(yàn)的一個(gè)技術(shù)挑戰(zhàn)是在z空間中協(xié)調(diào)可視的非視頻元素(即，覆蓋圖形，例如前面提到的交互菜單)和主視頻流。通常，應(yīng)避免所謂的深度沖突并且應(yīng)將覆蓋圖形放置在三維主視頻流的前面。優(yōu)選地，如果可能的話，應(yīng)將交互圖形放置在字幕前面。如果兩個(gè)元素的至少一些部分采用了 Z-空間中的同一位置，那么會(huì)發(fā)生例如主視頻流和用戶菜單之間的深度沖突。在這樣的沖突區(qū)域，用戶的觀看體驗(yàn)可能是不愉快的。
[0005]文件W02009/083863A1公開了 一種用于顯示呈現(xiàn)在三維主視頻流前面的三維覆蓋圖形的方法。為了防止由于深度沖突導(dǎo)致的遮斷，將Z-空間中可用的深度范圍分成單獨(dú)的子范圍。Z-空間中的相應(yīng)子范圍被保留給覆蓋數(shù)據(jù)、主視頻流、字幕等。

【發(fā)明內(nèi)容】

[0006]本發(fā)明的一個(gè)目的是提供一種用于顯示包含三維視頻流和三維覆蓋圖形的立體三維視頻信息的方法、一種再現(xiàn)設(shè)備和包含該再現(xiàn)設(shè)備的用于顯示該立體三維視頻信息的系統(tǒng)，以及允許更舒適和更靈活地再現(xiàn)三維視頻信息的媒體源。
[0007]根據(jù)本發(fā)明的第一方面，一種用于顯示包含三維視頻流和三維覆蓋圖形的立體三維視頻信息的方法包括以下步驟:a)從包含三維視頻流和三維覆蓋圖形的媒體源取得與三維視頻流相關(guān)聯(lián)的一組沖突間隔，其中，與立體三維視頻信息一起提供所述一組沖突間隔，并且其中，沖突間隔表示對(duì)于三維視頻流的某些時(shí)間碼，存在三維視頻流和三維覆蓋圖形的參考平面之間的深度沖突或三維覆蓋圖形和在創(chuàng)建過程中定義的舒適區(qū)之間的深度沖突，以及[0008]b)對(duì)于位于沖突間隔之一中的三維視頻流的時(shí)間碼，調(diào)整三維視頻流的呈現(xiàn)或調(diào)整三維覆蓋圖形的呈現(xiàn)以解決相應(yīng)的深度沖突。
[0009]為了實(shí)現(xiàn)根據(jù)本發(fā)明的方法，一種用于顯示包含三維視頻流和三維覆蓋圖形的立體三維視頻信息的再現(xiàn)設(shè)備被配置為:
[0010]a)從包含三維視頻流和三維覆蓋圖形的媒體源取得與三維視頻流相關(guān)聯(lián)的一組沖突間隔，其中，與立體三維視頻信息一起提供所述一組沖突間隔，并且其中，沖突間隔表示對(duì)于三維視頻流的某些時(shí)間碼，存在三維視頻流和三維覆蓋圖形的參考平面之間的深度沖突或三維覆蓋圖形和在創(chuàng)建過程中定義的舒適區(qū)之間的深度沖突，以及
[0011]b)對(duì)于位于沖突間隔之一中的三維視頻流的時(shí)間碼，調(diào)整三維視頻流的呈現(xiàn)或調(diào)整三維覆蓋圖形的呈現(xiàn)以解決相應(yīng)的深度沖突。
[0012]根據(jù)本發(fā)明，將一組沖突間隔移交給再現(xiàn)設(shè)備。如果三維視頻流的任何特征在Z-空間中的深度與Z-空間中的參考平面相沖突，則三維覆蓋圖形和參考平面之間存在深度沖突。類似地，如果三維覆蓋圖形的任何特征在Z-空間中的深度在舒適區(qū)之外，則三維覆蓋圖形和舒適區(qū)之間存在深度沖突。對(duì)于位于沖突間隔之一中的三維視頻流的時(shí)間碼，調(diào)整三維視頻流或三維覆蓋圖形的再現(xiàn)以解決呈現(xiàn)三維視頻流和參考平面之間的深度沖突。因此，根據(jù)本發(fā)明的解決方案避免了用于呈現(xiàn)三維視頻流或三維覆蓋圖形的固定深度空間。取代這種靜態(tài)解決方案，調(diào)整主視頻流或覆蓋圖形的再現(xiàn)以防止用戶不適。有利的是，通過簡單地檢查所述一組沖突間隔來在每幀的基礎(chǔ)上或在預(yù)先確定的時(shí)間間隔內(nèi)避免深度沖突。
[0013]優(yōu)選地，從包含三維視頻流和三維覆蓋圖形的媒體源取得所述一組沖突間隔。為了這個(gè)目的，所述媒體源除了三維視頻流和三維覆蓋圖形外還包括一組沖突間隔。所述一組沖突間隔表示那些在三維視頻流和三維覆蓋圖形的參考平面之間或在三維覆蓋圖形和舒適區(qū)之間存在深度沖突的間隔。有利地，在創(chuàng)建三維視頻流和三維覆蓋圖形的過程中確定所述一組沖突間隔并將其存儲(chǔ)在媒體源上。
[0014]有利地，調(diào)整三維覆蓋圖形的呈現(xiàn)的步驟包括對(duì)于沖突間隔確定不同于初始參考平面的移位的參考平面，其中，選擇所述移位的參考平面在Z-空間中的位置使得能夠解決深度沖突。以這種方式，避免了遮斷和偽像，因?yàn)楦采w圖形被放置在三維視頻流的前面。優(yōu)選地，如果視頻深度信息表明主視頻流的三維呈現(xiàn)的深度不再超過參考平面，所述參考平面被向后移位到其初始位置。進(jìn)一步優(yōu)選地，將相應(yīng)的沖突間隔從所述一組沖突間隔中刪除。
[0015]有利地，調(diào)整三維覆蓋圖形的呈現(xiàn)的步驟包括改變?nèi)S覆蓋圖形的Z-空間擴(kuò)展使得能夠解決三維覆蓋圖形和舒適區(qū)之間的深度沖突。通過動(dòng)態(tài)調(diào)節(jié)三維覆蓋數(shù)據(jù)的深度來保障最佳用戶體驗(yàn)。一方面，用戶欣賞了覆蓋數(shù)據(jù)的三維呈現(xiàn)，并且另一方面，沒有超越舒適區(qū)并且保證了舒適的觀看體驗(yàn)。
[0016]可替換地，調(diào)整三維覆蓋圖形的呈現(xiàn)的步驟包括將三維覆蓋圖形或三維視頻流的呈現(xiàn)模式從立體三維模式切換到平面二維模式。通過將呈現(xiàn)模式從優(yōu)選的三維模式切換到二維或平面呈現(xiàn)模式，可以避免三維覆蓋圖形和三維視頻流之間的深度沖突。在三維視頻流的呈現(xiàn)模式被切換到二維或平面呈現(xiàn)模式的情況下，在一段時(shí)間內(nèi)犧牲主視頻流的三維效果。然而，這可以是可接受的，因?yàn)槌跫?jí)用戶將很可能關(guān)注于三維覆蓋圖形，而不是視頻流。優(yōu)選地，在視頻流的稍后運(yùn)行時(shí)間內(nèi)將呈現(xiàn)模式切換回三維呈現(xiàn)。如果相應(yīng)的沖突間隔表明視頻流的三維呈現(xiàn)不再超過參考平面或違犯舒適區(qū)，則執(zhí)行該操作。有利地，只根據(jù)需要犧牲所述三維視頻效果，即，以最短時(shí)間。用戶可以盡可能長時(shí)間地欣賞主視頻流的三維呈現(xiàn)以及覆蓋圖形的三維呈現(xiàn)。
[0017]根據(jù)本發(fā)明的另一個(gè)方面，調(diào)整三維覆蓋圖形的呈現(xiàn)的步驟包含調(diào)整該三維覆蓋圖形的至少一部分的透明度值。優(yōu)選地，對(duì)導(dǎo)致深度沖突的三維覆蓋圖形的部分調(diào)整透明度值。有利地，至少覆蓋圖形的沖突部分是更透明的甚至看不見的以便不干擾視頻流的呈現(xiàn)。
[0018]有利地，調(diào)整三維覆蓋圖形的呈現(xiàn)的步驟包含延遲用戶對(duì)于呈現(xiàn)三維覆蓋數(shù)據(jù)的請(qǐng)求直到?jīng)_突間隔結(jié)束。通常，按照由于用戶命令而被激活的所謂彈出菜單來組織用戶菜單。在該具體情況下，用戶嘗試打開這樣的菜單并且優(yōu)選地，例如計(jì)時(shí)沙漏等的圖形指示符表示相應(yīng)的菜單將在很短的一段時(shí)間之后打開。因此，主視頻流的整體深度以及三維菜單的合理深度是可能的，因?yàn)樵谠撘曨l流的稍后運(yùn)行時(shí)間內(nèi)將不會(huì)發(fā)生任何深度沖突。
[0019]根據(jù)本發(fā)明的另一方面，一種用于創(chuàng)建包含三維視頻流和三維覆蓋圖形的立體三維視頻信息的方法包括以下步驟:
[0020]a)為多個(gè)時(shí)間碼確定Z-空間中用于立體呈現(xiàn)三維視頻流的深度范圍，
[0021]b)確定Z-空間中用于放置三維覆蓋圖形的參考平面使得減少三維視頻和該參考平面之間的深度沖突，
[0022]c)定義圍繞顯示屏幕平面并包含所述參考平面的舒適區(qū)，其中，所述舒適區(qū)指定Z-空間中用于優(yōu)選地呈現(xiàn)立體三維視頻信息的深度范圍，
[0023]d)對(duì)于相應(yīng)的時(shí)間碼確定是否仍有參考平面和三維視頻流之間的深度沖突和/或?qū)τ谙鄳?yīng)的時(shí)間碼確定在舒適區(qū)和三維覆蓋圖形之間是否存在深度沖突，
[0024]e)確定由相應(yīng)的時(shí)間碼所定義的一組沖突間隔，對(duì)于所述相應(yīng)的時(shí)間碼，參考平面和三維視頻流之間仍有深度沖突和/或舒適區(qū)和三維覆蓋圖形之間存在深度沖突，以及
[0025]f)在包含三維視頻流和三維覆蓋圖形的媒體源上存儲(chǔ)所述一組沖突間隔。
[0026]類似地，一種用于創(chuàng)建包含三維視頻流和三維覆蓋圖形的立體三維視頻信息的裝置被配置為:
[0027]a)為多個(gè)時(shí)間碼確定Z-空間中用于立體呈現(xiàn)三維視頻流的深度范圍，
[0028]b)確定Z-空間中用于放置三維覆蓋圖形的參考平面使得減少三維視頻和該參考平面之間的深度沖突，
[0029]c)定義圍繞顯示屏幕平面并包含所述參考平面的舒適區(qū)，其中，所述舒適區(qū)指定Z-空間中用于優(yōu)選地呈現(xiàn)立體三維視頻信息的深度范圍，
[0030]d)對(duì)于相應(yīng)的時(shí)間碼確定是否仍有參考平面和三維視頻流之間的深度沖突和/或?qū)τ谙鄳?yīng)的時(shí)間碼確定在舒適區(qū)和三維覆蓋圖形之間是否存在深度沖突，
[0031]e)確定由相應(yīng)的時(shí)間碼所定義的一組沖突間隔，對(duì)于所述相應(yīng)的時(shí)間碼，參考平面和三維視頻流之間仍有深度沖突和/或舒適區(qū)和三維覆蓋圖形之間存在深度沖突，以及
[0032]f)在包含三維視頻流和三維覆蓋圖形的媒體源上存儲(chǔ)所述一組沖突間隔。
[0033]在第一步驟中，為多個(gè)時(shí)間碼確定Z-空間中用于立體呈現(xiàn)三維視頻流的深度范圍。深度范圍的確定可通過對(duì)立體圖像對(duì)的視差估計(jì)來進(jìn)行或者在計(jì)算機(jī)生成的內(nèi)容的情況下，從3維虛擬環(huán)境中得出。然后，參考平面被設(shè)置在Z-空間中的某一點(diǎn)處。三維覆蓋圖形呈現(xiàn)在Z-空間中范圍從參考平面到面對(duì)觀眾的上部閾值的深度間隔中。以這樣的方式設(shè)置參考平面使得在一定程度上避免了三維視頻和參考平面之間的深度沖突。此外，定義圍繞顯示屏幕平面并包含所述參考平面的舒適區(qū)。所述舒適區(qū)定義了 Z-空間中用于優(yōu)選地呈現(xiàn)立體三維視頻信息的深度范圍。隨后，確定參考平面和三維視頻流之間的剩余深度沖突，其中，如果三維視頻流的任何特征在Z-空間中的深度與Z-空間中的參考平面相沖突，則三維覆蓋圖形和該參考平面之間存在深度沖突?？蛇x地或附加地，確定舒適區(qū)和三維覆蓋圖形之間的深度沖突，其中，如果三維覆蓋圖形的任何特征在Z-空間中與面對(duì)觀眾的舒適區(qū)的上部閾值相沖突，則確定舒適區(qū)和三維覆蓋圖形之間存在深度沖突。所確定的沖突間隔被添加到一組的沖突間隔中。
【專利附圖】

【附圖說明】
[0034]參考附圖，從下面對(duì)本發(fā)明的示例性實(shí)施例的描述中將接著產(chǎn)生本發(fā)明的其它方面，附圖中
[0035]圖1是表示立體三維視頻流的深度如何隨時(shí)間變化以及再現(xiàn)主三維視頻流和三維覆蓋圖形之間如何產(chǎn)生深度沖突的圖，
[0036]圖2示出了調(diào)整參考平面在Z-空間中的位置以及減小用于呈現(xiàn)覆蓋圖形的深度范圍，
[0037]圖3示出了另一實(shí)施例，根據(jù)該實(shí)施例，對(duì)主視頻流的呈現(xiàn)從三維模式切換到二維模式，
[0038]圖4示出了本發(fā)明的另一實(shí)施例，其中，由于深度沖突而延遲再現(xiàn)三維覆蓋圖形，
[0039]圖5以隨時(shí)間變化的圖示出了對(duì)主三維視頻流和覆蓋圖形的再現(xiàn)，其中，通過改變覆蓋圖形的透明度值來解決深度沖突，以及
[0040]圖6以隨時(shí)間變化的圖示出了在特殊的深度沖突的情況下對(duì)主三維視頻流和覆蓋圖形的再現(xiàn)。
【具體實(shí)施方式】
[0041]圖1是示出了立體三維主視頻流VS隨時(shí)間t的深度Z的曲線圖。另外，由虛線區(qū)域示出覆蓋圖形OD的呈現(xiàn)范圍的深度。盡管視頻流VS的最小深度值Zv，min(t)和最大深度值Zv，maX(t)隨時(shí)間變化，用于呈現(xiàn)覆蓋圖形OD的深度范圍隨時(shí)間是不變的。用于呈現(xiàn)覆蓋圖形OD的深度范圍開始于表示參考平面在Z-空間中的深度值的深度Zref，結(jié)束于舒適區(qū)的最小值ZC0mf0rt，min。一般而言，對(duì)視頻信息的再現(xiàn)優(yōu)選地位于屏幕深度Zscreen周圍。優(yōu)選地，三維視頻信息位于舒適區(qū)內(nèi)部，該舒適區(qū)由Z-空間中它的最小深度Zcomfort, min和它的最大深度Zcomfort, max來定義。
[0042]舒適區(qū)需要考慮愉快三維觀看體驗(yàn)的方面。Z-空間中舒適區(qū)的邊界可能是經(jīng)驗(yàn)值。另一種選擇是借助1/3屈光度規(guī)則和參考觀看環(huán)境來定義舒適區(qū)。此舉旨在限制會(huì)聚-調(diào)節(jié)沖突。舒適區(qū)描述了 Z-空間中屏幕位置Zscreen，即，用戶的三維電視周圍的間隔。它從屏幕后面的某處延伸到屏幕前面的某處。舒適區(qū)還依賴于用戶和屏幕之間的距離。應(yīng)限制將三維元素放置在舒適區(qū)之外，并且應(yīng)小心實(shí)行該放置以避免用戶不適。[0043]對(duì)于h前的一段時(shí)間，可在可用的舒適區(qū)內(nèi)呈現(xiàn)視頻流VS和覆蓋圖形OD兩者，在^發(fā)生深度沖突。這種深度沖突可能會(huì)導(dǎo)致用戶不適。在稍后的時(shí)刻t2，主視頻流VS的深度退回到參考平面的深度Zref的后面并解決了深度沖突。然而，在時(shí)間跨度t1-t2之內(nèi)，用戶可能有不愉快的觀看體驗(yàn)。此外，如圖1所示，覆蓋圖形OD大部分時(shí)間被設(shè)置在比所必須的更靠近觀眾的位置。換句話說，在視頻流VS的最小距離Zv，min (t)和參考平面的深度Zref之間還剩余有Z-空間。在立體三維呈現(xiàn)中，希望將非視頻圖形元素放置得盡可能接近屏幕平面，以盡量減少所謂的重影偽影。從技術(shù)角度來看，這些是左、右通道之間的串?dāng)_效應(yīng)。
[0044]圖2示出了隨時(shí)間變化的參考平面Zref (t)的定位。再次地，圖中顯示主視頻流VS和覆蓋圖形OD的深度范圍為隨時(shí)間變化的值。參考平面Zref被設(shè)置在更接近屏幕深度Zscreen的(優(yōu)選地是相同的)位置。這具有降低重影效果的優(yōu)點(diǎn)，并相對(duì)于聚散度調(diào)節(jié)沖突更為可取。最后，它允許擴(kuò)展用于呈現(xiàn)三維覆蓋圖形的Z-容量。然而，在^處，發(fā)生覆蓋圖形OD和立體三維主視頻流VS之間的深度沖突。
[0045]參考平面的Z-空間位置Zref (t)是隨時(shí)間可變的，并且被調(diào)整為適于再現(xiàn)視頻流VS的深度，因?yàn)樗诘絫4之間被主視頻流VS的最小距離Zv，min(t)之下的虛線所指示。參考平面Zref的調(diào)整優(yōu)選地在每一幀的基礎(chǔ)上(例如，在創(chuàng)建期間)執(zhí)行。然而，它可以同樣地在再現(xiàn)過程中快速執(zhí)行。在這種情況下，對(duì)覆蓋圖形OD的深度范圍的相應(yīng)調(diào)整的頻率和精確度對(duì)于不同的系統(tǒng)可能會(huì)有所不同。在實(shí)時(shí)系統(tǒng)中，可以在每幀的基礎(chǔ)上進(jìn)行更新，產(chǎn)生最佳的用戶體驗(yàn)。然而，在必須在非實(shí)時(shí)Java平臺(tái)上實(shí)現(xiàn)交互應(yīng)用的情況下，深度調(diào)節(jié)未必是與視頻幀完全同步的。嵌入了消費(fèi)設(shè)備的進(jìn)程的計(jì)算能力也可能會(huì)受到限制。在這種情況下，可能不會(huì)對(duì)主視頻流的每一幀進(jìn)行深度更新，并且該深度更新相對(duì)于時(shí)機(jī)(timing)可能是不準(zhǔn)確的。但是，即使具有低于每幀的更新頻率和可能時(shí)機(jī)不完善的調(diào)節(jié)，用戶體驗(yàn)仍然是顯著優(yōu)于沒有任何調(diào)節(jié)的。此外，程序員/創(chuàng)建者可以預(yù)見參考平面的位置Zref(t)和主視頻流的最小深度Zv，min(t)之間的安全邊界以考慮不在每幀的基礎(chǔ)上對(duì)參考平面Zref (t)實(shí)行更新。
[0046]圖2中，在&到t2之間 參考平面Zref (t)被移位以避免主視頻流VS和覆蓋數(shù)據(jù)OD之間的深度沖突。然而，在12處，覆蓋數(shù)據(jù)Z0D，min(t)的最小深度與舒適區(qū)的最小深度Zcomfort，min相沖突。為了不超過該舒適區(qū)，將用于呈現(xiàn)覆蓋圖形的深度范圍減小到參考平面Zref (t)和舒適區(qū)的最小深度Zcomfort, min之間的可用深度。因此,在t2到t3之間，用于呈現(xiàn)覆蓋圖形OD的深度范圍被平滑(flatten)到一個(gè)較低的深度，而在〖3處，解決了呈現(xiàn)覆蓋圖形OD和最小舒適區(qū)Zcomfort，min之間的深度沖突并且覆蓋圖形可以返回到其原始的深度。在丨4處，主視頻流VS的深度退回到參考平面Zref (t)的后面并且對(duì)覆蓋圖形OD的呈現(xiàn)返回其原始的深度。
[0047]對(duì)于動(dòng)態(tài)深度調(diào)節(jié)，可以以各種方式通過相應(yīng)的應(yīng)用程序或通過用于重放立體三維視頻信息的相應(yīng)的再現(xiàn)設(shè)備來取得必要的數(shù)據(jù)。媒體時(shí)間，即，主視頻的運(yùn)行時(shí)間或時(shí)間碼，通常是可通過應(yīng)用編程接口(API)來取得的。Z-空間中參考平面的位置也可通過應(yīng)用程序運(yùn)行時(shí)間的API取得或可通過數(shù)據(jù)文件被提供給應(yīng)用程序。沖突間隔的列表可以被移交給再現(xiàn)單元。對(duì)于主視頻流的某一運(yùn)行時(shí)間，如果，例如，用戶請(qǐng)求呈現(xiàn)三維菜單，則再現(xiàn)設(shè)備檢查沖突間隔的列表。如果必須要避免深度沖突，則執(zhí)行合適的對(duì)策。[0048]圖3示出了本發(fā)明的另一實(shí)施例。開始的情形是與圖1所示的情況相似的，即，參考平面Zref和呈現(xiàn)覆蓋數(shù)據(jù)OD的深度范圍是不變的。在之前，沒有發(fā)生呈現(xiàn)視頻流VS和覆蓋數(shù)據(jù)OD之間的深度沖突。然而，在^和t2之間的某一時(shí)間段內(nèi)將會(huì)有深度沖突。為了避免該沖突，視頻流VS只被顯示為平面(二維)視頻。如果主視頻流VS的深度信息，即，沖突間隔的列表，表示當(dāng)前深度沖突間隔結(jié)束，也就是在t2處的情況，則呈現(xiàn)模式被切換回三維模式。當(dāng)然，同樣地也可能將覆蓋圖形OD的呈現(xiàn)模式切換到平面二維模式。為了這個(gè)目的，再現(xiàn)設(shè)備優(yōu)選地向相應(yīng)的應(yīng)用程序提供API以切換其呈現(xiàn)模式。顯然，在tjPt2之間，例如，可通過內(nèi)容創(chuàng)建者的選擇來在屏幕深度Zscreen和舒適區(qū)的最小深度Zcomfort, min之間自由地選擇參考平面Zref的位置。優(yōu)選地，它是不隨時(shí)間變化的并且被設(shè)置為接近屏幕深度Zscreen。優(yōu)選地,h和t2被定義為Zv, min (t)等于Zref (t)的時(shí)間。然而,也可以更小地選擇h和更大地地選擇t2。
[0049]根據(jù)圖3的實(shí)施例具有易于實(shí)現(xiàn)的優(yōu)點(diǎn)，因?yàn)椴恍枰耑-空間中參考平面的位置Zref。無需調(diào)節(jié)交互應(yīng)用程序的三維深度。
[0050]圖4示出了本發(fā)明的另一實(shí)施例，其中，覆蓋圖形OD是所謂的彈出菜單。在時(shí)間tpopjp處由用戶操作觸發(fā)-視頻流VS仍以三維模式播放-期望打開彈出菜單。然而，如圖4所明顯看出，這將導(dǎo)致主視頻流VS和覆蓋圖形OD之間的深度沖突。根據(jù)該實(shí)施例，將用戶命令延遲時(shí)間tdelay，在所述時(shí)間tdelay期間，可向用戶顯示圖形指示符、計(jì)時(shí)沙漏等等來表示掛起用戶命令。這個(gè)延遲時(shí)間在解決了深度沖突的時(shí)間A到期。換句話說，選擇延遲時(shí)間tdelay足夠大以防止深度沖突。在沖突間隔結(jié)束時(shí)以三維來呈現(xiàn)彈出菜單。
[0051]根據(jù)本發(fā)明的另一方面，通過參照?qǐng)D5和6來描述兩個(gè)進(jìn)一步的實(shí)施例。圖5顯示類似于圖1和2的情形。在h和t2之間，出現(xiàn)了主視頻流VS和覆蓋圖形OD之間的深度沖突。為了解決該深度沖突，使得該覆蓋圖形的至少一部分成為透明的。優(yōu)選地，只有導(dǎo)致與主視頻流的深度沖突的該覆蓋圖形的相應(yīng)部分或像素是透明的。在圖5中，這是通過VS的區(qū)域U1和t2之間)和表示對(duì)覆蓋圖形OD的呈現(xiàn)的虛線區(qū)域之間的交叉來示出的。優(yōu)選地，所述覆蓋圖形或它的一部分被設(shè)置為完全透明以便不干擾主視頻流VS的可見性。換句話說，覆蓋數(shù)據(jù)部分或全部消失。`對(duì)主視頻流VS的呈現(xiàn)具有優(yōu)先權(quán)?？商鎿Q地，取代以完全透明的方式表現(xiàn)覆蓋圖形信息0D，可以決定完全刪除三維圖形輸出的相應(yīng)部分。
[0052]根據(jù)圖6，在&和〖4之間，有呈現(xiàn)主視頻流VS和呈現(xiàn)覆蓋圖形OD之間的沖突。在七2和t3之間發(fā)生特殊沖突。例如，由于所希望的特殊效果，主視頻流VS侵犯了舒適區(qū)的最小深度Zcomfort, min。因此,沒有剩余一點(diǎn)空間用于呈現(xiàn)覆蓋圖形0D。因此,可將呈現(xiàn)覆蓋圖形OD的深度減小到平面二維呈現(xiàn),優(yōu)選地位于舒適區(qū)的最小深度Zcomfort, min處?？商鎿Q地，在相應(yīng)的時(shí)間間隔中覆蓋圖形OD可以是透明的。
[0053]雖然在上面已經(jīng)參考特定的實(shí)施例描述了本發(fā)明，但其并不限于該實(shí)施例，并且毫無疑問，本領(lǐng)域技術(shù)人員將想到進(jìn)一步的替代物屬于所要求的本發(fā)明的范圍之內(nèi)。
【權(quán)利要求】
1.一種用于顯示包含三維視頻流和三維覆蓋圖形的立體三維視頻信息的方法，所述方法包括以下步驟: a)從包含三維視頻流和三維覆蓋圖形的媒體源取得與三維視頻流相關(guān)聯(lián)的一組沖突間隔，其中，與立體三維視頻信息一起提供所述一組沖突間隔，并且其中，沖突間隔表示對(duì)于三維視頻流的某些時(shí)間碼，存在三維視頻流和三維覆蓋圖形的參考平面之間的深度沖突或三維覆蓋圖形和在創(chuàng)建過程中定義的舒適區(qū)之間的深度沖突，以及 b)對(duì)于位于沖突間隔之一中的三維視頻流的時(shí)間碼，調(diào)整三維視頻流的呈現(xiàn)或調(diào)整三維覆蓋圖形的呈現(xiàn)以解決相應(yīng)的深度沖突。
2.根據(jù)權(quán)利要求1所述的方法，其中，調(diào)整三維覆蓋圖形的呈現(xiàn)的步驟包括改變?nèi)S覆蓋圖形的Z-空間擴(kuò)展使得能夠解決三維覆蓋圖形和舒適區(qū)之間的深度沖突。
3.根據(jù)權(quán)利要求1所述的方法，其中，調(diào)整三維覆蓋圖形的呈現(xiàn)的步驟包括將三維覆蓋圖形或三維視頻流的呈現(xiàn)模式從立體三維模式切換到平面二維模式。
4.根據(jù)權(quán)利要求1所述的方法，其中，調(diào)整三維覆蓋圖形的呈現(xiàn)的步驟包括調(diào)整該三維覆蓋圖形的至少一部分的透明度值。
5.根據(jù)權(quán)利要求4所述的方法，其中，對(duì)導(dǎo)致深度沖突的三維覆蓋圖形的部分調(diào)整透明度值。
6.根據(jù)權(quán)利要求1所述的方法，其中，調(diào)整三維覆蓋圖形的呈現(xiàn)的步驟包含延遲用戶對(duì)于呈現(xiàn)三維覆蓋數(shù)據(jù)的請(qǐng)求直到?jīng)_突間隔結(jié)束。
7.一種用于顯示包含三維視頻流和三維覆蓋圖形的立體三維視頻信息的再現(xiàn)設(shè)備，其中，所述再現(xiàn)設(shè)備被配置為: a)從包含三維視頻流和三維覆蓋圖形的媒體源取得與三維視頻流相關(guān)聯(lián)的一組沖突間隔，其中，與立體三維視頻信息一起提供所述一組沖突間隔，并且其中，沖突間隔表示對(duì)于三維視頻流的某些時(shí)間碼，存在三維視頻流和三維覆蓋圖形的參考平面之間的深度沖突或三維覆蓋圖形和在創(chuàng)建過程中定義的舒適區(qū)之間的深度沖突，以及 b)對(duì)于位于沖突間隔之一中的三維視頻流的時(shí)間碼，調(diào)整三維視頻流的呈現(xiàn)或調(diào)整三維覆蓋圖形的呈現(xiàn)以解決相應(yīng)的深度沖突。
8.一種用于創(chuàng)建包含三維視頻流和三維覆蓋圖形的立體三維視頻信息的方法，所述方法包括以下步驟: a)為多個(gè)時(shí)間碼確定Z-空間中用于立體呈現(xiàn)三維視頻流的深度范圍， b)確定Z-空間中用于放置三維覆蓋圖形的參考平面使得減少三維視頻和該參考平面之間的深度沖突， c)定義圍繞顯示屏幕平面并包含所述參考平面的舒適區(qū)，其中，所述舒適區(qū)指定Z-空間中用于優(yōu)選地呈現(xiàn)立體三維視頻信息的深度范圍， d)對(duì)于相應(yīng)的時(shí)間碼確定是否仍有參考平面和三維視頻流之間的深度沖突和/或?qū)τ谙鄳?yīng)的時(shí)間碼確定在舒適區(qū)和三維覆蓋圖形之間是否存在深度沖突， e)確定由相應(yīng)的時(shí)間碼所定義的一組沖突間隔，對(duì)于所述相應(yīng)的時(shí)間碼，參考平面和三維視頻流之間仍有深度沖突和/或舒適區(qū)和三維覆蓋圖形之間存在深度沖突，以及 f)在包含三維視頻流和三維覆蓋圖形的媒體源上存儲(chǔ)所述一組沖突間隔。
9.根據(jù)權(quán)利要求8所述的方法，其中，如果三維視頻流的任何特征在Z-空間中的深度與Z-空間中的參考平面相沖突，則三維覆蓋圖形和參考平面之間存在深度沖突。
10.根據(jù)權(quán)利要求8或9所述的方法，其中，如果三維覆蓋圖形的任何特征在Z-空間中與面對(duì)觀眾的舒適區(qū)的上部閾值相沖突，則舒適區(qū)和三維覆蓋圖形之間存在深度沖突。
11.一種用于創(chuàng)建包含三維視頻流和三維覆蓋圖形的立體三維視頻信息的裝置，其中，所述裝置被配置為: a)為多個(gè)時(shí)間碼確定Z-空間中用于立體呈現(xiàn)三維視頻流的深度范圍， b)確定Z-空間中用于放置三維覆蓋圖形的參考平面使得減少三維視頻和該參考平面之間的深度沖突， c)定義圍繞顯示屏幕平面并包含所述參考平面的舒適區(qū)，其中，所述舒適區(qū)指定Z-空間中用于優(yōu)選地呈現(xiàn)立體三維視頻信息的深度范圍， d)對(duì)于相應(yīng)的時(shí)間碼確定是否仍有參考平面和三維視頻流之間的深度沖突和/或?qū)τ谙鄳?yīng)的時(shí)間碼確定在舒適區(qū)和三維覆蓋圖形之間是否存在深度沖突， e)確定由相應(yīng)的時(shí)間碼所定義的一組沖突間隔，對(duì)于所述相應(yīng)的時(shí)間碼，參考平面和三維視頻流之間仍有深度沖突和/或舒適區(qū)和三維覆蓋圖形之間存在深度沖突，以及 f)在包含三維視頻流和三維覆蓋圖形的媒體源上存儲(chǔ)所述一組沖突間隔。
12.一種包括三維視頻流和三維覆蓋圖形的媒體源，其特征在于，所述媒體源進(jìn)一步包括與三維視頻流相關(guān)聯(lián)的一組沖突間隔，其中，在創(chuàng)建過程中確定所述一組沖突間隔，并且其中，所述沖突間隔表示對(duì)于三維視頻流的某些時(shí)間碼，存在三維視頻流和三維覆蓋圖形的參考平面之間的深度沖突或三 維覆蓋圖形和在創(chuàng)建過程中定義的舒適區(qū)之間的深度沖突。
【文檔編號(hào)】H04N13/04GK103503445SQ201280021474
【公開日】2014年1月8日 申請(qǐng)日期:2012年2月17日 優(yōu)先權(quán)日:2011年3月1日
【發(fā)明者】J.霍爾倫特魯普 申請(qǐng)人:湯姆遜許可公司