專利名稱：聯(lián)合深度估計的制作方法
技術(shù)領(lǐng)域：
描述涉及編碼系統(tǒng)的實現(xiàn)方式。多種具體的實現(xiàn)方式涉及聯(lián)合深度估計。
背景技術(shù)：
三維視頻(3DV)是針對在接收器側(cè)產(chǎn)生高質(zhì)量3D呈現(xiàn)的框架。這使能了利用自動立體顯示器、自由視點應(yīng)用、和立體顯示器進(jìn)行3D視覺體驗。在3DV應(yīng)用中，由于在傳輸帶寬中的限制和/或存儲約束而傳送或存儲降低數(shù)量的視頻視圖和對應(yīng)的深度圖(典型地被稱為多視圖加深度(MVD))。在接收器側(cè)，使用可用的視圖和深度圖來呈現(xiàn)附加的視圖。

發(fā)明內(nèi)容
根據(jù)總的方面，估計用于第一視圖中的位置的第一視圖深度指示值，以及估計用于第二視圖中的對應(yīng)位置的第二視圖深度指示值。基于約束來進(jìn)行第一視圖深度指示值和第二視圖深度指示值中的一個或多個的估計。該約束提供了用于對應(yīng)位置的第一視圖深度指示值和第二視圖深度指示值之間的關(guān)系。在附圖和以下描述中提出了一種或多種實現(xiàn)方式的細(xì)節(jié)。即使以一種特定方式描述，也應(yīng)清楚可以以多種方式來配置或體現(xiàn)多種實現(xiàn)方式。例如，可以將實現(xiàn)方式執(zhí)行為方法、或者可以將其體現(xiàn)為裝置(諸如，例如被配置為執(zhí)行一組操作的裝置、或存儲用于執(zhí)行一組操作的指令的裝置)、或者可以將其體現(xiàn)在信號中。結(jié)合附圖和權(quán)利要求書來考慮以下描述，其它方面和特征將變得明顯。


圖1是來自左參考視圖的左深度圖的示例。圖2是來自右參考視圖的右深度圖的示例。圖3是深度估計器的實現(xiàn)方式的圖。圖4是視頻傳輸系統(tǒng)的實現(xiàn)方式的圖。圖5是視頻接收系統(tǒng)的實現(xiàn)方式的圖。圖6是視頻處理設(shè)備的實現(xiàn)方式的圖。圖7是第一深度估計處理的實現(xiàn)方式的圖。圖8是第二深度估計處理的實現(xiàn)方式的圖。
具體實施方式
在許多3DV應(yīng)用中，可以產(chǎn)生中間視圖(虛擬視圖)，并且這樣的產(chǎn)生典型地被稱為呈現(xiàn)?？梢允褂美缁谏疃葓D像的呈現(xiàn)(DIBR)技術(shù)來執(zhí)行呈現(xiàn)，所述基于深度圖像的呈現(xiàn)(DIBR)技術(shù)采用所傳送/所存儲的視圖(參考視圖)和相關(guān)聯(lián)的每像素深度圖作為輸入。這樣的輸入例如可以由MVD格式來提供。可以使用多種技術(shù)中的任一種來捕獲深度。 然而，經(jīng)常僅提供視頻，而估計深度。為了獲得深度圖，經(jīng)常使用深度估計技術(shù)來找到各不同視圖之間的對應(yīng)性。尤其在使用深度估計來獲得輸入深度圖時，生成虛擬視圖可能是有挑戰(zhàn)的任務(wù)。 即，由于所估計的深度圖可能是有噪聲的(不準(zhǔn)確的)，并且可能沒有其它的場景信息(諸如，場景的3D表面屬性)可用。有噪聲的深度圖可能是不準(zhǔn)確的，這是因為它們不具有正確的深度值。另外，有噪聲的深度圖的序列可能具有不是一致性地(consistently)不準(zhǔn)確的不準(zhǔn)確值。例如，處于恒定實際深度處的對象可能在第一畫面中利用低深度被不準(zhǔn)確地估計，而在第二畫面中利用高深度被不準(zhǔn)確地估計。如果更多參考視圖可用于DIBR，則典型地可以實現(xiàn)較佳的視圖呈現(xiàn)質(zhì)量。例如，可以使用兩個參考視圖來呈現(xiàn)中間視圖。在多參考視圖的情況下，如果不是已經(jīng)知道每個參考視圖的深度圖，則估計每個參考視圖的深度圖。然而，不同視圖的多深度圖典型地是被彼此獨立地估計的。如所提及的，DIBR方法的挑戰(zhàn)之一在于以下事實在各視圖間所估計的深度圖經(jīng)常不一致。在利用兩個或多個不一致的深度圖來呈現(xiàn)虛擬視圖時，這可能導(dǎo)致差的呈現(xiàn)質(zhì)量。在至少一種實現(xiàn)方式中，我們提出利用聯(lián)合深度估計來估計參考視圖的深度圖。 聯(lián)合深度估計在聯(lián)合處理中而不是獨立地執(zhí)行對于多參考視圖的深度估計。聯(lián)合深度估計獲得更一致的不同視圖的深度圖，導(dǎo)致了在DIBR呈現(xiàn)的視圖中較佳的質(zhì)量。在至少一種實現(xiàn)方式中，基于中間視圖產(chǎn)生兩個深度圖。該實現(xiàn)方式發(fā)展了以下約束提供兩個深度圖中對應(yīng)位置之間的關(guān)系。可以以多種方式使用該約束來提供兩個深度圖之間的一致性。在至少一種實現(xiàn)方式中，聯(lián)合深度估計涉及對用于兩個或多個視圖中對應(yīng)像素位置之間的視差的各視差估計成本(失真)執(zhí)行的求和操作。在至少一種實現(xiàn)方式中，聯(lián)合深度估計涉及使用基于照相機距離的求和操作。在至少一種實現(xiàn)方式中，基于照相機距離來對求和操作進(jìn)行加權(quán)。圖1示出了根據(jù)本原理實施例的為與被已知為“Leavingjaptop”的MPEG測試序列對應(yīng)的左參考視圖產(chǎn)生的示例的左深度圖，可以向其應(yīng)用本原理。圖2示出了根據(jù)本原理實施例的為與被已知為“Leavingjaptop”的MPEG測試序列對應(yīng)的右參考視圖產(chǎn)生的示例的右深度圖，可以向其應(yīng)用本原理。盡管依據(jù)所述圖不是顯而易見的，但是可以觀察到 對于一些具體區(qū)域，深度圖對中的深度級可能有很大區(qū)別。具體地，在圖1和2的示例中，區(qū)別可能大于40。在這些情況下，理想的區(qū)別是零，但是所觀察到的區(qū)別為例如大于40。這是不具有一致的深度圖的視圖的示例。關(guān)于估計一個深度圖所需的輸入視圖的數(shù)量，可以典型地將深度估計算法劃分為以下種類單視圖；立體視圖；以及多視圖。所有這三種種類都假設(shè)深度圖是未知的，并且都使用來自一個或多個視圖的視頻來產(chǎn)生深度圖。在典型實現(xiàn)方式中，在僅一個單視圖作為輸入的情況下，照相機焦距被考慮為深度估計的平均?？梢允褂帽环Q為“依據(jù)焦距的深度(cbpth from focus)”的方法，基于散焦或模糊的量來估計深度。該方法可能不是非常可靠，這是因為例如焦距估計經(jīng)常不會提供很好的結(jié)果。立體視圖方法可以使用一對視圖作為輸入來估計用于所述視圖之一的深度圖。對于基于區(qū)域的立體匹配方法，這樣的方法典型地在兩個圖像之間匹配一窗口內(nèi)的相鄰像素值。選擇適當(dāng)?shù)拇翱诖笮〉湫偷厥顷P(guān)鍵的。在一些應(yīng)用中，可以基于局部亮度變化和當(dāng)前深度估計來迭代地改變窗口大小和形狀。可以應(yīng)用一些全局約束來產(chǎn)生稠密深度圖，即，具有唯一值并且?guī)缀踉谌魏挝恢枚歼B續(xù)的深度圖。隨著出現(xiàn)多視圖內(nèi)容，已經(jīng)探索使用多視圖作為輸入來進(jìn)行深度估計。一種可能的方法是使用三個視圖作為輸入(左視圖、中間視圖、和右視圖)來估計用于中間視圖的深度。在本領(lǐng)域的典型方法中，目標(biāo)是產(chǎn)生單個稠密深度圖序列。當(dāng)需要估計多于一個深度圖序列時，無論深度估計算法是什么種類，都獨立地對每個目標(biāo)視圖執(zhí)行深度估計。因此，很有可能出現(xiàn)各視圖間的不一致性。圖3示出了依據(jù)本原理實施例的可以向其應(yīng)用本原理的示例性深度估計器300。 深度估計器300接收目標(biāo)視圖1、目標(biāo)視圖2、以及一個或多個參考視圖作為輸入。深度估計器300提供目標(biāo)視圖1的估計深度和目標(biāo)視圖2的估計深度作為輸出。下面將更詳細(xì)地描述深度估計器300的操作。更一般地，深度估計器300提供用于目標(biāo)視圖1的估計深度指示值和用于目標(biāo)視圖2的估計深度指示值。深度指示值可以是深度值、或整個深度圖。但是深度指示值可以替代地是例如視差值、或整個視差圖。在接下來的實現(xiàn)方式和描述中對深度的引用意圖包括其它深度指示值，諸如例如視差。深度指示值可以提供用于例如整個目標(biāo)視圖或目標(biāo)視圖中一位置的深度指示。該位置可以是例如具體像素、部分、子宏塊、宏塊、碼片或場。圖4示出了依據(jù)本發(fā)明實現(xiàn)方式的可以向其應(yīng)用本原理的示例視頻傳輸系統(tǒng) 400。視頻傳輸系統(tǒng)400可以是例如用于使用多種介質(zhì)(諸如例如衛(wèi)星、電纜、電話線、或地面廣播)中任一種來傳送信號的前端或傳輸系統(tǒng)?？梢栽谝蛱鼐W(wǎng)或某些其它網(wǎng)絡(luò)上提供傳輸。視頻傳輸系統(tǒng)400能夠產(chǎn)生并傳遞具有深度的壓縮視頻。這通過產(chǎn)生包括深度信息或能夠被用來在(可能例如具有解碼器的)接收器端合成深度信息的信息的(多個)編碼信號來實現(xiàn)。視頻傳輸系統(tǒng)400包括編碼器410和能夠傳送編碼信號的發(fā)射器420。編碼器410 接收視頻信息并且產(chǎn)生具有深度的(多個)編碼信號。編碼器410可以包括子模塊，包括例如用于接收并組裝多個信息為用于存儲或傳輸?shù)臉?gòu)造格式的組裝單元。多個信息可以包括例如編碼或未編碼的視頻、編碼或未編碼的深度信息、以及編碼或未編碼的元素(諸如例如運動向量、編碼模式指示值、和語法元素)。發(fā)射器420可以例如被適配為傳送具有一個或多個比特流的節(jié)目信號，其表示編碼畫面和/或與其有關(guān)的信息。典型的發(fā)射器執(zhí)行以下功能中的一個或多個，諸如例如提供糾錯編碼、將數(shù)據(jù)交織在信號中、將信號中的能量隨機化、以及將信號調(diào)制到一個或多個載波上。發(fā)射器可以包括天線(未示出)、或者與天線(未示出)接口。相應(yīng)地，發(fā)射器420的實現(xiàn)方式可以包括或被限于調(diào)制器。視頻傳輸系統(tǒng)400還可以被全部或部分地包括在多種用戶設(shè)備中。這樣的設(shè)備包括例如蜂窩電話、膝上型或其它計算機、和攝像機。圖5示出了依據(jù)本原理實施例的可以向其應(yīng)用本原理的示例性視頻接收系統(tǒng) 500。視頻接收系統(tǒng)500可以被配置為在多種介質(zhì)(諸如例如衛(wèi)星、電纜、電話線、或地面廣播)上接收信號。可以在因特網(wǎng)或某些其它網(wǎng)絡(luò)上接收信號。視頻接收系統(tǒng)500可以是例如蜂窩電話、計算機、機頂盒、電視機、或接收編碼視頻并提供例如解碼視頻以供向用戶顯示或存儲的其它設(shè)備。因此，視頻接收系統(tǒng)500可以將其輸出提供至例如電視機的屏幕、計算機監(jiān)視器、計算機(以供存儲、處理、或顯示)、或者某些其它存儲、處理或顯示設(shè)備。視頻接收系統(tǒng)500能夠接收并處理包括視頻信息的視頻內(nèi)容。視頻接收系統(tǒng)500 包括能夠接收編碼信號(諸如例如在本申請實現(xiàn)方式中描述的信號)的接收器510、以及能夠解碼所接收的信號的解碼器520。接收器510可以例如被配置為接收具有多個比特流的節(jié)目信號，其表示編碼畫面。典型的接收器執(zhí)行以下功能中的一個或多個，諸如例如接收調(diào)制且編碼的數(shù)據(jù)信號、從一個或多個載波中解調(diào)數(shù)據(jù)信號、將信號中的能量去隨機化、將信號中的數(shù)據(jù)去交織、以及對信號進(jìn)行糾錯解碼。接收器510可以包括天線(未示出)、或者可以與天線(未示出)接口。接收器510的實現(xiàn)方式可以包括或被限于解調(diào)器。解碼器520輸出包括例如視頻信息和深度信息的視頻信號。圖6示出了依據(jù)本原理實施例的可以向其應(yīng)用本原理的示例性視頻處理設(shè)備 600。視頻處理設(shè)備600可以是例如機頂盒、或接收編碼視頻并提供例如解碼視頻以供向用戶顯示或存儲的其它設(shè)備。因此，視頻處理設(shè)備600可以將其輸出提供到電視機、計算機監(jiān)視器、或者計算機或其它處理設(shè)備。視頻處理設(shè)備600包括前端(FE)設(shè)備605和解碼器610。前端設(shè)備605可以是例如被適配為接收具有多個表示編碼畫面的比特流的節(jié)目信號、并從多個比特流中選擇要解碼的一個或多個比特流的接收器。典型的接收器執(zhí)行以下功能中的一個或多個，諸如例如接收調(diào)制且編碼的數(shù)據(jù)信號、解調(diào)數(shù)據(jù)信號、對數(shù)據(jù)信號的一個或多個編碼(例如，信道編碼和/或源編碼)進(jìn)行解碼、以及/或者對信號進(jìn)行糾錯。前端設(shè)備605可以從例如天線 (未示出)接收節(jié)目信號。前端設(shè)備605將所接收的數(shù)據(jù)信號提供至解碼器610。解碼器610接收數(shù)據(jù)信號620。數(shù)據(jù)信號620可以包括例如一個或多個兼容高級視頻編碼(AVC)、可縮放視頻編碼(SVC)、或多視圖視頻編碼(MVC)的流。AVC更具體地指代現(xiàn)有的國際標(biāo)準(zhǔn)化組織/國際電工委員會(IS0/IEC)運動畫面專家組-4(MPEG-4)第10部分高級視頻編碼(AVC)標(biāo)準(zhǔn)/國際電信聯(lián)盟電信分部(ITU-T) H. 264建議(以下稱為“H. 264/MPEG-4AVC標(biāo)準(zhǔn)”或其變型，諸如“AVC標(biāo)準(zhǔn)”或簡單地 “AVC”)。MVC更具體地指代AVC標(biāo)準(zhǔn)的多視圖視頻編碼(“MVC” )擴展(附錄H)，被稱為 H. 264/MPEG-4AVC MVC 擴展(“MVC 擴展”或簡單地 “MVC，，)。SVC更具體地指代AVC標(biāo)準(zhǔn)的可縮放視頻編碼(“SVC” )擴展(附錄G)，被稱為 H. 264/MPEG-4AVC SVC 擴展(“SVC 擴展”或簡單地 “SVC”)。
解碼器610對所接收的信號620的全部或部分進(jìn)行解碼，并且提供解碼視頻信號 630作為輸出。解碼視頻630被提供給選擇器650。設(shè)備600還包括接收用戶輸入670的用戶接口 660。用戶接口 660基于用戶輸入670將畫面選擇信號680提供給選擇器650。畫面選擇信號680和用戶輸入670指示用戶期望顯示多畫面、序列、可縮放版本、視圖、或可用解碼數(shù)據(jù)的其它選擇中的哪個。選擇器650提供所選擇的畫面作為輸出690。選擇器650 使用畫面選擇信號680來選擇提供解碼視頻630中的哪個畫面作為輸出690。在各種實現(xiàn)方式中，選擇器650包括用戶接口 660，而在其它實現(xiàn)方式中，由于選擇器650直接接收用戶輸入670而不執(zhí)行單獨的接口功能，因而不需要用戶接口 660。例如，選擇器650可以以軟件形式實現(xiàn)，或者可以實現(xiàn)為集成電路。在一種實現(xiàn)方式中，選擇器650與解碼器610合并，而在另一實現(xiàn)方式中，解碼器610、選擇器650和用戶接口 660全部被集成。在一個應(yīng)用中，前端605接收各種電視節(jié)目(show)的廣播，并選擇一個用于處理。 一個節(jié)目的選擇基于期望觀看頻道的用戶輸入。盡管在圖6中未示出對前端設(shè)備605的用戶輸入，但前端設(shè)備605接收用戶輸入670。前端設(shè)備605接收廣播，并且通過解調(diào)廣播頻譜的相關(guān)部分并對解調(diào)節(jié)目的任何外部編碼進(jìn)行解碼來處理期望節(jié)目。前端設(shè)備605將解碼節(jié)目提供給解碼器610。解碼器610是包括設(shè)備660和650的集成單元。因此，解碼器610接收用戶輸入，該用戶輸入是用戶提供的對節(jié)目中期望觀看的視圖的指示。解碼器 610對所選擇的視圖進(jìn)行解碼，以及從其它視圖中解碼任何需要的參考畫面，并且提供解碼視圖690以供在電視(未示出)上顯示。繼續(xù)以上應(yīng)用，用戶可能期望切換被顯示的視圖，并且然后可能向解碼器610提供新的輸入。在從用戶接收到“視圖改變”之后，解碼器610解碼老視圖和新視圖兩者、以及介于老視圖和新視圖之間的任何視圖。即，解碼器610對從物理地位于拍攝老視圖的照相機和拍攝新視圖的照相機之間的照相機拍攝的任何視圖進(jìn)行解碼。前端設(shè)備605還接收標(biāo)識老視圖、新視圖、以及中間視圖的信息。這種信息可以由例如具有關(guān)于各視圖的位置的信息的控制器(圖6中未示出)、或者解碼器610來提供。其它實現(xiàn)方式可以使用具有與前端設(shè)備集成在一起的控制器的前端設(shè)備。解碼器610提供所有這些解碼視圖作為輸出690。后處理器(圖6中未示出)在各視圖之間進(jìn)行內(nèi)插以便提供從老視圖到新視圖的平滑過渡，并且向用戶顯示該過渡。在過渡到新視圖之后，后處理器(通過未示出的一個或多個通信鏈路)向解碼器610和前端設(shè)備605通知僅需要新視圖。此后，解碼器610僅提供新視圖作為輸出690?？梢允褂孟到y(tǒng)600來接收圖像序列的多視圖，呈現(xiàn)用于顯示的單個視圖，并且以平滑的方式在多個視圖之間進(jìn)行切換。平滑的方式可以包含在各視圖之間進(jìn)行內(nèi)插以便移到另一視圖。另外，系統(tǒng)600可以允許用戶旋轉(zhuǎn)對象或場景、或者不同地看到對象或場景的三維表示。對象的旋轉(zhuǎn)例如可以對應(yīng)于從一視圖移到另一視圖、以及在各視圖之間進(jìn)行內(nèi)插以便獲得各視圖之間的平滑過渡或簡單地獲得三維表示。即，用戶可以“選擇”內(nèi)插視圖作為要顯示的“視圖”。在至少一種所描述的實現(xiàn)方式中，提出了以聯(lián)合方式而不是獨立地執(zhí)行用于目標(biāo)視圖的深度估計。對于照相機幾何學(xué)，使用以下公式可轉(zhuǎn)換兩個視圖之間的視差(d)和對象深度
權(quán)利要求
1.一種方法，包括估計用于第一視圖中的位置的第一視圖深度指示值、以及用于第二視圖中的對應(yīng)位置的第二視圖深度指示值，基于提供了用于對應(yīng)位置的第一視圖深度指示值和第二視圖深度指示值之間的關(guān)系的約束來進(jìn)行第一視圖深度指示值和第二視圖深度指示值中的一個或多個的估計。
2.如權(quán)利要求1所述的方法，其中，該約束基于一個或多個照相機參數(shù)。
3.如權(quán)利要求2所述的方法，其中，一個或多個照相機參數(shù)包括以下至少一項第一視圖照相機的位置、第二視圖照相機的位置、第三視圖照相機的位置、第一視圖照相機的像主點偏移、第二視圖照相機的像主點偏移、或第三視圖照相機的像主點偏移。
4.如權(quán)利要求1所述的方法，其中，第一視圖深度指示值基于來自第一視圖的視頻和來自第三視圖的視頻，以及第二視圖深度指示值基于來自第二視圖的視頻和來自第三視圖的視頻。
5.如權(quán)利要求1所述的方法，其中，估計第一視圖深度指示值和第二視圖深度指示值包括確定用于第一視圖深度指示值的初始值；確定用于第二視圖深度指示值的初始值；以及在用于第一視圖深度指示值的初始值和用于第二視圖深度指示值的初始值在滿足該約束的給定閾值內(nèi)的情況下，基于該約束來更新第一視圖深度指示值和第二視圖深度指示值中的至少一個。
6.如權(quán)利要求5所述的方法，其中，確定用于第一視圖深度指示值的初始值包括執(zhí)行多個用于第一視圖的視頻和用于第三視圖的視頻的基于塊的比較，每個基于塊的比較基于用于第一視圖深度指示值的不同值并導(dǎo)致失真；在多個基于塊的比較中，確定在多個基于塊的比較中具有最低失真的基于塊的比較中導(dǎo)致用于第一視圖深度指示值的使失真最小化的值；以及將用于第一視圖深度指示值的初始值設(shè)置為所確定的使失真最小化的值。
7.如權(quán)利要求5所述的方法，其中，更新包括將第一視圖深度指示值設(shè)置為基于用于第一視圖深度指示值的初始值的幅度和用于第二視圖深度指示值的初始值的幅度的平均值而更新的值。
8.如權(quán)利要求1所述的方法，還包括比較第一視圖深度指示值和第二視圖深度指示值；以及基于該比較，向第一視圖深度指示值和第二視圖深度指示值分配置信度的測量，其中， 在深度指示值相似時置信度的測量較高，而在深度指示值不相似時置信度的測量較低。
9.如權(quán)利要求1所述的方法，其中，估計第一視圖深度指示值和第二視圖深度指示值包括依據(jù)由該約束提供的關(guān)系，確定各深度指示值具有相差多于深度指示值閾值的值；確定用于第一視圖深度指示值的第一視圖失真；確定用于第二視圖深度指示值的第二視圖失真；在第一視圖失真比第二視圖失真大失真閾值的情況下，將第一視圖中的位置標(biāo)記為孔洞；以及在第二視圖失真比第一視圖失真大該失真閾值的情況下，將第二視圖中的對應(yīng)位置標(biāo)記為孔洞。
10.如權(quán)利要求9所述的方法，還包括使用用于在與所標(biāo)記的位置相鄰的各位置中指示最大深度的、與所標(biāo)記的位置相鄰的位置的深度指示值來填充該孔洞。
11.如權(quán)利要求1所述的方法，其中，估計第一視圖深度指示值和第二視圖深度指示值包括確定用于第一視圖深度指示值的初始值；以及基于用于第一視圖深度指示值的初始值以及基于該約束，確定用于第二視圖深度指示值的初始值。
12.如權(quán)利要求11所述的方法，其中，對于用于第一視圖深度指示值的初始值和用于第二視圖深度指示值的初始值，確定聯(lián)合失真；以及基于該聯(lián)合失真，確定是否選擇用于第一視圖深度指示值的初始值作為所估計的第一視圖深度指示值、以及是否選擇用于第二視圖深度指示值的初始值作為所估計的第二視圖深度指示值。
13.如權(quán)利要求12所述的方法，其中，確定聯(lián)合失真包括將用于第一視圖深度指示值的初始值的失真和用于第二視圖深度指示值的初始值的失真求和。
14.如權(quán)利要求12所述的方法，其中，確定聯(lián)合失真包括計算用于第一視圖深度指示值的初始值的失真和用于第二視圖深度指示值的初始值的失真加權(quán)和，其中，權(quán)重基于包括第一視圖照相機、第二視圖照相機和第三視圖照相機的組中各照相機之間的至少一個距罔。
15.如權(quán)利要求1所述的方法，其中，該方法在視頻編碼器或視頻解碼器的至少一個中實現(xiàn)。
16.如權(quán)利要求1所述的方法，其中，第一視圖深度指示值包括以下的一個或多個用于第一視圖中位置的深度值、或用于第一視圖中位置和另一視圖中對應(yīng)位置之間的視差的視差值。
17.如權(quán)利要求1所述的方法，還包括基于第一視圖深度指示值或第二視圖深度指示值中的一個或多個，呈現(xiàn)附加視圖。
18.如權(quán)利要求1所述的方法，其中，第一視圖中的位置是以下之一第一視圖中的像素、第一視圖中的部分、第一視圖中的子宏塊、第一視圖中的宏塊、第一視圖中的碼片、或第一視圖中的場。
19.一種裝置，包括用于估計用于第一視圖中的位置的第一視圖深度指示值、以及用于第二視圖中的對應(yīng)位置的第二視圖深度指示值的部件，基于提供了用于對應(yīng)位置的第一視圖深度指示值和第二視圖深度指示值之間的關(guān)系的約束來進(jìn)行第一視圖深度指示值和第二視圖深度指示值中的一個或多個的估計。
20.一種在其中存儲了指令的處理器可讀介質(zhì)，所述指令用于使得處理器至少執(zhí)行以下操作估計用于第一視圖中的位置的第一視圖深度指示值、以及用于第二視圖中的對應(yīng)位置的第二視圖深度指示值，基于提供了用于對應(yīng)位置的第一視圖深度指示值和第二視圖深度指示值之間的關(guān)系的約束來進(jìn)行第一視圖深度指示值和第二視圖深度指示值中的一個或多個的估計。
21.一種包括處理器的裝置，該處理器被配置為至少執(zhí)行以下操作估計用于第一視圖中的位置的第一視圖深度指示值、以及用于第二視圖中的對應(yīng)位置的第二視圖深度指示值，基于提供了用于對應(yīng)位置的第一視圖深度指示值和第二視圖深度指示值之間的關(guān)系的約束來進(jìn)行第一視圖深度指示值和第二視圖深度指示值中的一個或多個的估計。
22.一種裝置，包括深度估計器，用于估計用于第一視圖中的位置的第一視圖深度指示值、以及用于第二視圖中的對應(yīng)位置的第二視圖深度指示值，基于提供了用于對應(yīng)位置的第一視圖深度指示值和第二視圖深度指示值之間的關(guān)系的約束來進(jìn)行第一視圖深度指示值和第二視圖深度指示值中的一個或多個的估計。
23.一種裝置，包括深度估計器，用于估計用于第一視圖中的位置的第一視圖深度指示值、以及用于第二視圖中的對應(yīng)位置的第二視圖深度指示值，基于提供了用于對應(yīng)位置的第一視圖深度指示值和第二視圖深度指示值之間的關(guān)系的約束來進(jìn)行第一視圖深度指示值和第二視圖深度指示值中的一個或多個的估計；以及調(diào)制器，用于調(diào)制包括第一視圖深度指示值或第二視圖深度指示值中的一個或多個的編碼的信號。
24.—種裝置，包括解調(diào)器，用于解調(diào)包括來自第一視圖的視頻和來自第二視圖的視頻的信號；以及深度估計器，用于估計用于第一視圖中的位置的第一視圖深度指示值、以及用于第二視圖中的對應(yīng)位置的第二視圖深度指示值，基于提供了用于對應(yīng)位置的第一視圖深度指示值和第二視圖深度指示值之間的關(guān)系的約束來進(jìn)行第一視圖深度指示值和第二視圖深度指示值中的一個或多個的估計。
25.一種方法，包括基于照相機位置，利用一個或多個約束來估計用于給定像素位置的一對深度，其中，使用來自第一視圖的視頻和來自第三視圖的視頻來估計用于第一視圖中給定像素位置的深度，而使用來自第二視圖的視頻和來自第三視圖的視頻來估計用于第二視圖中給定像素位置的深度。
全文摘要
描述了多種實現(xiàn)方式。幾種實現(xiàn)方式涉及對于多深度圖的聯(lián)合深度估計。在一種實現(xiàn)方式中，估計用于第一視圖中的位置的第一視圖深度指示值，并估計用于第二視圖中的對應(yīng)位置的第二視圖深度指示值?；诩s束來進(jìn)行第一視圖深度指示值和第二視圖深度指示值中的一個或多個的估計。該約束提供了用于對應(yīng)位置的第一視圖深度指示值和第二視圖深度指示值之間的關(guān)系。
文檔編號G06K9/36GK102272778SQ200980153983
公開日2011年12月7日 申請日期2009年12月16日 優(yōu)先權(quán)日2009年1月7日
發(fā)明者P-L.萊, 田棟 申請人:湯姆森特許公司