專利名稱：多視點視頻編碼/解碼方法和設備的制作方法
技術領域：
本發(fā)明的示范實施例涉及一種多視點(multi-View)視頻編碼/解碼方法和設備， 該方法和設備使用編碼和解碼的多視點視頻來對與所述多視點視頻對應的深度信息視頻進行編碼和解碼。
背景技術：
近年來，已經(jīng)進行了用于通過數(shù)字電視(DTV)來對多視點視頻進行廣播的研究。 為了對與利用人眼所看到的真實視頻相似的多視點視頻進行廣播，應該創(chuàng)建和傳送多視點視頻。然后，應該通過顯示設備來接收和再現(xiàn)所述多視點視頻。然而，由于多視點視頻具有大量的數(shù)據(jù)，所以難以按照在當前的數(shù)字廣播系統(tǒng)中使用的信道的帶寬來接收多視點視頻。相應地，正在對用于對多視點視頻進行編碼和解碼的技術進行研究。多視點視頻編碼(MVC)是一種以下技術，其對從具有不同視圖的多個相機獲取的多個視頻、以及與所述多個視頻對應的多個深度信息視頻(即，多視點視頻)進行編碼。針對同一對象，所述多個相機被布置為根據(jù)距離和方向上的預定規(guī)則而彼此間隔開。作為結果，在具有不同視圖并且組成多視點視頻的相應視頻之間存在高相關性。當恰當?shù)厥褂孟鄳曨l之間的高相關性時，可能顯著地改善MVC的編碼效率。然而，由于從同一對象反射的光可能取決于方向而彼此不同，所以可以考慮所述光以使編碼效率最大化。正在積極地進行其標準化的MVC基于H. 264/MPEG部分10高級視頻編碼(在下文中，稱作H. 264/AVC)，該H. 264/MPEG部分10高級視頻編碼是現(xiàn)有的國際運動圖像編碼標準。在MVC中，考慮多視點視頻的上述特性，以尋找一種用于改善編碼效率的方法。例如，將分級B畫面編碼處理應用于視圖內預測編碼，執(zhí)行該分級B畫面編碼處理以支持在H. 264/ AVC中定義的聯(lián)合可伸縮視頻編碼(JSVC)中的時間可伸縮性。此外，與視圖內預測編碼并排地(side by side)執(zhí)行視圖間預測編碼，以改善MVC中的編碼效率。相應地，研究三維 (3D)視頻的關聯(lián)團體正在對通過DTV廣播進行的3D視頻的接收和傳送進行大量研究。當前，該研究正針對高清晰度(HD)立體視頻的傳送和接收。HD立體視頻是指具有1920X1080 尺寸的隔行視頻或者具有10MX720尺寸的逐行視頻。圖1是解釋了傳統(tǒng)的多視點視頻編碼/解碼系統(tǒng)的框圖。參考圖1，傳統(tǒng)的多視點視頻編碼/解碼系統(tǒng)包括第一視頻編碼單元101、第一視頻解碼單元103、第一深度信息視頻編碼單元105、第一深度信息視頻解碼單元107、第二視頻編碼單元109、第二視頻解碼單元111、第二深度信息視頻編碼單元113、和第二深度視頻信息解碼單元115。分別將第一和第二視頻以及第一和第二深度信息視頻輸入到第一和第二視頻編碼單元101和109以及第一和第二深度信息視頻編碼單元105和113。第一和第二視頻具有彼此不同的視圖，并且第一和第二深度信息視頻分別對應于所述第一和第二視頻，并包括深度信息。在傳統(tǒng)的多視點視頻編碼/解碼系統(tǒng)中，可以使用兩個或更多視頻，并且深度信息視頻的數(shù)目可以對應于視頻的數(shù)目。此時，可以使用具有不同視圖的視頻來對多視點視頻進行編碼。即，在多視點視頻之間存在高相關性。因此，當首先對第一視頻進行編碼時， 第二視頻編碼單元109可以通過參考編碼的第一視頻來對第二視頻進行編碼?？梢园凑障嗤姆绞絹韺ι疃刃畔⒁曨l進行編碼。將相應的編碼的視頻輸入到第一和第二視頻解碼單元103和111以及第一和第二深度信息視頻解碼單元107和115，并然后進行解碼。二維QD)視頻是通過對編碼的第一或第二視頻進行解碼所獲得的視頻，而3D視頻是通過對編碼的第一和第二視頻以及編碼的第一深度信息視頻進行解碼所獲得的視頻。 第一視頻可以是具有參考視圖的視頻。多視點視頻是通過對編碼的第一和第二視頻以及編碼的第一和第二深度信息視頻進行解碼所獲得的視頻。S卩，在傳統(tǒng)的多視點視頻編碼/解碼系統(tǒng)中，獨立地執(zhí)行多視點視頻和深度信息視頻的編碼和解碼。

發(fā)明內容
技術問題本發(fā)明的實施例針對一種多視點視頻編碼/解碼方法和設備，該方法和設備有效地對與多視點視頻對應的深度信息視頻進行編碼和解碼，由此有效地對該多視點視頻進行編碼和解碼?？梢酝ㄟ^以下描述來理解本發(fā)明的其他目的和優(yōu)點，并且通過參考本發(fā)明的實施例，它們將變得明顯。同樣，對于本發(fā)明所屬技術領域的技術人員來說明顯的是，可以通過所要求保護的部件及其組合來實現(xiàn)本發(fā)明的目的和優(yōu)點。技術解決方案根據(jù)本發(fā)明的實施例，一種多視點視頻編碼方法包括通過執(zhí)行幀間預測(inter prediction)和幀內預測(intra prediction)來對多視點視頻進行編碼；以及根據(jù)幀間預測和幀內預測中的至少一個來對與該多視點視頻對應的深度信息視頻進行編碼。根據(jù)本發(fā)明的另一實施例，一種多視點視頻編碼方法包括控制與多視點視頻對應的第一和第二深度信息視頻的比例尺(scale)，從而使所述比例尺相同；以及通過參考其比例尺被控制的第一深度信息視頻來對其比例尺被控制的第二深度信息視頻進行編碼。根據(jù)本發(fā)明的另一實施例，一種多視點視頻編碼設備包括視頻編碼塊，被配置為通過幀間預測和幀內預測來對多視點視頻進行編碼；以及深度信息視頻編碼塊，被配置為使用該視頻編碼塊所生成的幀間預測信息和幀內預測信息中的一條或多條，來對與該多視點視頻對應的深度信息視頻進行編碼。根據(jù)本發(fā)明的另一實施例，一種多視點視頻編碼設備包括比例尺控制塊，被配置為控制與多視點視頻對應的第一和第二深度信息視頻的比例尺，從而使所述比例尺彼此相等；以及深度信息視頻編碼塊，被配置為通過參考其比例尺被控制的第一深度信息視頻來對其比例尺被控制的第二深度信息視頻進行編碼。根據(jù)本發(fā)明的另一實施例，一種多視點視頻解碼方法包括接收通過幀間預測和幀內預測所編碼的多視點視頻、以及通過使用根據(jù)幀間預測的預測信息和根據(jù)幀內預測的預測信息中的一條或多條所編碼的深度信息視頻；對編碼的多視點視頻進行解碼；以及使用在深度信息視頻編碼期間所使用的預測信息來對編碼的深度信息視頻進行解碼。
有益效果根據(jù)本發(fā)明的實施例，當對用于多視點視頻的深度信息視頻進行編碼時，可以通過使用在多視點視頻編碼期間所生成的預測信息來執(zhí)行該編碼，這使得可能增加編碼效率。此外，可以在深度信息視頻的解碼期間使用在多視點視頻解碼期間所使用的預測信息。 因此，可能增加用于多視點視頻的解碼效率。


圖1是解釋了傳統(tǒng)的多視點視頻編碼/解碼系統(tǒng)的框圖。圖2示出了用于解釋根據(jù)本發(fā)明實施例的多視點視頻編碼方法的構思的視頻。圖3是解釋了根據(jù)本發(fā)明另一實施例的多視點視頻編碼/解碼系統(tǒng)的圖。圖4是解釋了其中在根據(jù)本發(fā)明實施例的多視點視頻編碼設備301中使用預測信息的處理的圖。圖5圖示了根據(jù)本發(fā)明另一實施例的多視點視頻編碼設備301。圖6圖示了根據(jù)本發(fā)明另一實施例的多視點視頻編碼設備301。圖7圖示了根據(jù)本發(fā)明另一實施例的多視點視頻編碼方法。圖8圖示了根據(jù)本發(fā)明另一實施例的多視點視頻編碼方法。圖9圖示了根據(jù)本發(fā)明另一實施例的多視點視頻解碼方法。
具體實施例方式下面，將參考附圖來更加詳細地描述本發(fā)明的示范實施例。然而，本發(fā)明可以按照不同的形式來實施，并且不應被構造為限于在這里提出的實施例。相反地，提供這些實施例，使得本公開將是徹底和完全的，并將向本領域技術人員充分地傳達本發(fā)明的范圍。貫穿整個公開中，貫穿本發(fā)明的各個圖和實施例中，同樣的附圖標記表示同樣的部分。附圖不必按照比例尺，并且在一些實例中，可能已經(jīng)對比例進行了擴大，以便清楚地圖示所述實施例的特征。圖2示出了用于解釋根據(jù)本發(fā)明實施例的多視點視頻編碼方法的構思的視頻。在圖2中，第一深度信息視頻203對應于第一視頻201，而第二深度信息視頻207 對應于第二視頻205。第一和第二視頻201和205是由同一相機所拍攝的，并且是用于具有時間差的不同幀的視頻。參考圖2，在時間軸上，第一視頻201和第一深度信息視頻203以及第二視頻205 和第二深度信息視頻207分別在對象的輪廓和對象的運動上具有相似性。這是因為深度信息是通過表達圖中視頻的對象與相機之間的距離所獲得的，并且深度信息視頻表現(xiàn)了該深
度{曰息。具體地，編碼期間的視頻和深度信息視頻中的對象輪廓與根據(jù)幀內預測的幀中預測模式緊密相關，而對象運動與運動向量緊密相關。即，當對視頻和與該視頻對應的深度信息視頻進行編碼時，視頻中的預測模式和運動向量非常可能與深度信息視頻中的預測模式和運動向量相似。因此，并不獨立地執(zhí)行視頻和深度信息視頻的編碼，而是使用視頻與深度信息視頻之間的相似性來執(zhí)行該編碼，這使得可能增加編碼效率。即，當在對深度信息視頻進行編碼時、通過在視頻編碼期間所生成的預測信息來執(zhí)行多視點視頻的編碼時，整個編碼量可能降低，以增加編碼效率。預測信息包括預測模式和運動向量?？梢詫⒋嗽頂U展到多視點視頻。圖3是解釋了根據(jù)本發(fā)明另一實施例的多視點視頻編碼/解碼系統(tǒng)的圖。參考圖3，根據(jù)本發(fā)明實施例的多視點視頻編碼和解碼系統(tǒng)包括多視點視頻編碼設備301和多視點視頻解碼設備303。圖3圖示了以下情況，其中分別對第一和第二視頻以及與所述第一和第二視頻對應的第一和第二深度信息視頻進行編碼和解碼。多視點視頻編碼設備301接收并編碼第一和第二視頻以及第一和第二深度信息視頻。第一和第二視頻是由具有彼此不同視圖的相機所拍攝的多視點視頻，而第一和第二深度信息視頻可以通過立體匹配或深度相機來獲取。多視點視頻編碼設備301通過幀間預測和幀內預測來對多視點視頻(即，第一和第二視頻以及第一和第二深度信息視頻)進行編碼。此時，多視點視頻編碼設備301可以使用在視頻編碼期間生成的根據(jù)幀間預測的預測信息和根據(jù)幀內預測的預測信息中的一條或多條，來對與該視頻對應的深度信息視頻進行編碼。預測信息可以包括根據(jù)幀間預測的視頻的運動向量和根據(jù)幀內預測的視頻的預測模式。如上面在圖2中所描述的，視頻的運動向量和預測模式與深度信息視頻的運動向量和預測模式相似。因此，多視點視頻編碼設備301可以使用視頻的運動向量和預測模式中的一者或兩者來對深度信息視頻進行編碼。多視點視頻編碼設備301可以傳送編碼的視頻和編碼的深度信息視頻，作為一個比特流。多視點視頻解碼設備303從多視點視頻編碼設備301接收編碼的視頻和編碼的深度信息視頻，并然后對接收到的視頻進行解碼。多視點視頻解碼設備303使用在多視點視頻編碼期間所使用的預測信息來對編碼的深度信息視頻進行解碼。由于多視點視頻編碼設備301使用多視點視頻的預測信息來對深度信息視頻進行編碼，所以需要通過使用該多視點視頻的預測信息來對編碼的深度信息視頻進行解碼。在此情況下，在深度信息視頻的編碼期間使用了多視點視頻的預測信息的信息可以被包括在由多視點視頻編碼設備301所生成的比特流中并然后被提供到多視點視頻解碼設備303，或者被單獨地提供到多視點視頻解碼設備303。多視點視頻編碼設備301和多視點視頻解碼設備303兩者都可以根據(jù)H. 264/AVC 標準來分別執(zhí)行編碼和解碼。多視點視頻編碼/解碼系統(tǒng)可以包括分離器303。分離器303對解碼的第一和第二視頻以及解碼的第一和第二深度信息視頻進行分離，使得可以使用分離的視頻用于再現(xiàn) 2D、3D或多視點視頻。此外，多視點視頻編碼設備301可以使用先前編碼的視頻和深度信息視頻，來對與先前編碼的視頻和深度信息視頻具有不同視圖的視頻和深度信息視頻進行編碼。具體地，當通過參考先前編碼的深度信息視頻來對與先前編碼的深度信息視頻具有不同視圖的深度信息視頻進行編碼時，根據(jù)本發(fā)明實施例的多視點視頻編碼設備301可以通過控制深度信息視頻之間的比例尺來執(zhí)行該編碼。下面，將參考圖5來詳細地描述此內容。圖4是解釋了其中在根據(jù)本發(fā)明實施例的多視點視頻編碼設備301中使用預測信息的處理的圖。參考圖4，視頻和深度信息視頻包括I幀、P幀和B幀。在I幀中，執(zhí)行通過幀內預測的編碼?？梢酝ㄟ^I幀來執(zhí)行對于運動圖像的隨機訪問。在將先前編碼的I幀或P幀設置為參考視頻的情況下，P幀估計單一方向中的運動向量，并且B幀使用I幀、P幀和B幀來估計兩個方向中的運動向量。即，在P和B幀中，執(zhí)行通過幀間預測的編碼。在圖4中，箭頭指示出參考幀。幀內預測是基于單一幀中相鄰像素的灰度級之間的高相關性的編碼技術。在幀內預測中，并不使用參考幀來對當前幀的塊進行編碼，而是使用要編碼的當前幀的先前編碼區(qū)域來計算當前塊的預測值。將幀內預測模式劃分為4X4亮度(Iuma)幀內預測模式、8X8 亮度幀內預測模式、和16X16亮度幀內預測模式、以及色度幀內預測模式。取決于幀內預測模式的類別(即，各種尺寸和各種幀內預測方向)來對當前塊執(zhí)行幀內預測，并且根據(jù)從它們之中選擇的最佳幀內預測模式來生成預測值。當生成預測值時，對關于殘差(residue) 和預測模式的信息進行編碼，以增加視頻編碼的壓縮率。殘差是當前塊的像素值與預測值之間的差值。幀間預測是基于視頻序列中相繼幀之間的相似性的編碼技術。使用一個或多個參考幀來按照塊為單位估計和補償當前幀的運動，以便對視頻進行編碼。在參考幀中，搜索當前幀的相似塊，并且提取運動向量。對參考幀中當前塊與相似塊之間的殘差進行編碼，以便增加視頻編碼的壓縮率。此時，需要運動向量，以對根據(jù)幀間預測所編碼的視頻進行解碼。 因此，對運動向量一起進行編碼。根據(jù)本發(fā)明的實施例，當對深度信息視頻進行編碼時，使用根據(jù)視頻的編碼的預測信息。即，如圖4所圖示的，可以通過使用根據(jù)視頻的I幀的編碼的預測信息來對深度信息視頻的I幀進行編碼。此外，可以通過使用根據(jù)視頻B幀和P幀的編碼的預測信息來對深度信息視頻的B和P幀進行編碼。在此情況下，當對深度信息視頻進行編碼時，可以執(zhí)行該編碼，而無需包括關于預測模式或運動向量的信息。因此，編碼效率可以增加。即，當對深度信息視頻進行編碼時，插入標志比特，該標志比特包括使用根據(jù)視頻的編碼的預測信息的這種信息。然后，當對編碼的深度信息視頻進行解碼時，可以使用標志比特，以使用視頻的解碼信息。因此，可以不對根據(jù)深度信息視頻的編碼的預測模式和運動向量進行編碼。由于標志比特的信息量小于根據(jù)深度信息視頻的編碼的預測模式和運動向量的信息量，所以編碼效率可以增加。此時，可以在深度信息視頻之前對視頻進行編碼。此外，由于使用視頻與深度信息視頻之間的相似性，所以可以通過使用關于同一視圖和同一幀的預測信息來對深度信息視頻進行編碼。其間，如圖4中所圖示的，當對視頻進行編碼時，可以參考具有不同視圖的視頻的幀。此外，當對深度信息視頻進行編碼時，可以參考具有不同視圖的深度信息視頻的幀?？梢酝ㄟ^參考具有不同視圖的視頻的幀來對B幀和P幀進行編碼。例如，針對第二視頻的P 幀，可以通過參考第一視頻的I幀來執(zhí)行根據(jù)幀間預測的編碼。下面，將參考圖6來詳細地描述此內容。圖5圖示了根據(jù)本發(fā)明另一實施例的多視點視頻編碼設備301。參考圖5，根據(jù)本發(fā)明實施例的多視點視頻編碼設備301包括視頻編碼塊501和深度信息視頻解碼塊503。視頻編碼塊501執(zhí)行幀間預測和幀內預測，以對多視點視頻進行編碼。圖5圖示了以下情況，其中視頻編碼塊501對多視點視頻之中的第一視頻進行編碼。深度信息視頻編碼塊503使用根據(jù)幀間預測和幀內預測的預測信息中的一條或多條，來對與多視點視頻對應的深度信息視頻進行編碼。視頻編碼塊501對第一視頻進行編碼，而深度信息視頻編碼塊503對第一深度信息視頻進行編碼。如上所述，預測信息可以是根據(jù)幀間預測的視頻的運動向量、和根據(jù)幀內預測的視頻的預測模式。更具體地，深度信息視頻編碼塊503包括運動向量生成單元505、一致性 (identity)判斷單元507、標志比特編碼單元509和編碼單元511。運動向量生成單元505使用參考幀來生成用于第一深度信息視頻的當前幀的運動向量。如上所述，運動向量生成單元505在將B幀和P幀設置為當前幀的情況下，設置參考幀，并且生成運動向量。一致性判斷單元507判斷用于當前幀的運動向量是否與根據(jù)幀間預測的運動向量一致。即，一致性判斷單元507對視頻編碼塊501所生成的運動向量與運動向量生成單元505所生成的運動向量進行比較。作為結果，當確認了運動向量之間的一致性時，在深度信息視頻的編碼期間使用視頻編碼塊501所生成的運動向量。標志比特編碼單元509生成指示出一致性判斷單元507的一致性判斷結果的標志比特，并然后對生成的標志比特進行編碼。例如，當確認了一致性時，標志比特可以指示出 “1”。另一方面，當沒有確認一致性時，標志比特可以指示出“0”。編碼單元511取決于該標志比特來對包括了用于當前幀的運動向量的深度信息視頻進行編碼。即，當確認了一致性時，編碼單元511對包括了用于深度信息視頻的運動向量的深度信息視頻進行編碼。另一方面，當沒有確認一致性時，編碼單元511對排除了用于深度信息視頻的運動向量的深度信息視頻進行編碼。根據(jù)本發(fā)明的實施例，當確認了一致性時，可以僅僅對標志比特進行編碼，該標志比特比運動向量具有更少量的信息量。因此，編碼效率可以增加。此外，當判斷出視頻編碼塊501所生成的運動向量與運動向量生成單元505所生成的運動向量一致時，可以使用視頻編碼塊501所生成的運動向量來增加編碼的精度。在I幀中，并不生成運動向量，而是根據(jù)預測模式來執(zhí)行編碼。多視點視頻編碼設備301可以使用根據(jù)幀內模式的視頻的預測模式來對深度信息視頻進行編碼。更具體地， 標志比特編碼單元509可以進一步生成和編碼指示出視頻編碼塊501是否使用在幀內預測期間所使用的預測模式來對深度信息視頻進行編碼的標志比特。編碼單元511可以執(zhí)行根據(jù)預測模式的幀內預測，并且進一步對深度信息視頻的當前幀進行編碼。即，編碼單元511在第一視頻的I幀的預測模式與深度信息視頻的I幀的預測模式一致的前提下，使用第一視頻的I幀內的預測模式來對深度信息視頻進行編碼。因此，由于可以僅僅對比預測模式的信息具有更少信息量的標志比特進行編碼， 所以編碼效率增加。取決于該設計，多視點視頻編碼設備301可以使用預測模式和運動向量中的一者或兩者來對深度信息視頻進行編碼。此外，當深度信息視頻編碼塊503使用視頻編碼塊501的運動向量來對深度信息視頻進行編碼時，多視點視頻編碼設備301可以不判斷一致性，而是在確認了該一致性的前提下對深度信息視頻進行編碼?？梢匀Q于宏塊類型來執(zhí)行幀間預測和幀內預測。多視點視頻編碼設備301首先
9判斷宏塊類型之間的一致性。當確認了該一致性時，多視點視頻編碼設備301可以使用視頻編碼塊501的預測信息來對深度信息視頻進行編碼。其間，多視點視頻編碼設備301可以進一步包括未圖示的過濾器塊。過濾器塊取決于視頻與深度信息視頻之間的分辨率或幀頻的差異來控制預測信息，使得深度信息視頻編碼塊503可使用該預測信息。例如，當一致性判斷單元507判斷出運動向量之間的一致性時，過濾器塊可以控制輸入到一致性判斷單元507的運動向量的比例尺。即，當視頻的幀頻不同于深度信息視頻的幀頻時，過濾器塊可以執(zhí)行重采樣(sub sampling)，以控制運動向量的比例尺。替換地，當視頻的分辨率不同于深度信息視頻的分辨率時，過濾器塊可以執(zhí)行欠采樣(down sampling)，以控制運動向量的比例尺。圖6圖示了根據(jù)本發(fā)明另一實施例的多視點視頻編碼設備301。參考圖6，根據(jù)本發(fā)明實施例的多視點視頻編碼設備301包括比例尺控制塊601 和深度信息視頻編碼塊603。圖6圖示了以下情況，其中對第一和第二深度信息視頻進行編碼。第二深度信息視頻是對應于與第一深度信息視頻具有不同視圖的視頻的深度信息視頻。比例尺控制塊601控制與多視點視頻對應的第一和第二深度信息視頻的比例尺， 從而使所述比例尺彼此相同。如上所述，深度信息視頻包括深度信息，并且該深度信息是通過表達圖中視頻的對象與相機之間的距離所獲得的。因此，可能存在相對于同一對象的第一和第二深度信息視頻之間的深度值。即，可能存在比例尺上的差異。當在第二深度信息視頻編碼期間、參考第一深度信息視頻時，第一深度信息視頻與第二深度信息視頻之間的比例尺上的差異可能導致誤差。比例尺控制塊601可以基于第二深度信息視頻來控制第一深度信息視頻的比例尺，或者利用其平均值來控制第一和第二深度信息視頻的比例尺。深度信息視頻編碼塊603通過參考由比例尺控制塊601來控制其比例尺的第一深度信息深度圖像，來對其比例尺被控制的第二深度信息視頻進行編碼。參考圖4，當對于第二深度信息視頻的P幀執(zhí)行根據(jù)幀間預測的編碼時，可以參考第一深度信息視頻的I幀。盡管在圖4中未圖示，但是當對于第二深度信息視頻的B幀執(zhí)行根據(jù)幀間預測的編碼時，可以參考第一深度信息視頻的B幀。此時，深度信息視頻編碼塊603可以通過參考其比例尺被控制的第一深度信息視頻來對其比例尺被控制的第二深度信息視頻進行編碼。其間，多視點視頻可以由圖5中所圖示的視頻編碼塊501來進行編碼。此外，根據(jù)本發(fā)明實施例的包括比例尺控制塊601和深度信息視頻編碼塊603的多視點視頻編碼設備 301可以控制兩個或更多深度信息視頻的比例尺，并然后對所述深度信息視頻進行編碼。圖7圖示了根據(jù)本發(fā)明另一實施例的多視點視頻編碼方法。參考圖7，根據(jù)本發(fā)明實施例的多視點視頻編碼方法從步驟S701開始。在步驟 S701中，視頻編碼塊501執(zhí)行幀間預測和幀內預測，以對多視點視頻進行編碼。在步驟S703 中，深度信息視頻編碼塊503使用根據(jù)幀間預測和幀內預測的預測信息中的一條或多條， 來對與多視點視頻對應的深度信息視頻進行編碼。在下文中，將詳細地描述步驟S703。在步驟S705中，運動向量生成單元505使用參考幀來生成用于深度信息視頻的當前幀的運動向量。在步驟S707中，一致性判斷單元507判斷根據(jù)視頻編碼塊501的幀間預測的運動向量是否與用于當前幀的運動向量一致。此時，當在視頻與深度信息視頻之間存在幀頻或分辨率上的差異時，過濾器塊可以控制根據(jù)視頻編碼塊501的幀間預測的運動向量的比例尺。在步驟S709中，標志比特編碼單元509生成和編碼指示出一致性判斷結果的標志比特。在步驟S711中，編碼單元509取決于該標志比特來對包括用于當前幀的運動向量的深度信息視頻進行編碼。當在步驟S707中判斷出沒有確認運動向量之間的一致性時，在步驟S711中對包括了運動向量的深度信息視頻進行編碼。另一方面，當在步驟S707中判斷出確認了該一致性時，在步驟S711中對排除了運動向量的深度信息視頻進行編碼。根據(jù)本發(fā)明的實施例，可以通過使用在步驟S701中生成的根據(jù)幀內預測的預測模式來執(zhí)行深度信息視頻的編碼。更具體地，可以將在步驟S701中生成的根據(jù)幀內預測的預測模式傳輸?shù)綐酥颈忍鼐幋a單元509，并且標志比特編碼單元509使用該預測模式來生成和編碼指示出是否對深度信息視頻進行編碼的標志比特。編碼單元509執(zhí)行根據(jù)該預測模式的幀內預測，并然后，對深度信息視頻進行編碼。圖8圖示了根據(jù)本發(fā)明另一實施例的多視點視頻編碼方法。參考圖8，根據(jù)本發(fā)明實施例的多視點視頻編碼方法從步驟S801開始。在步驟S801中，比例尺控制塊601控制與多視點視頻對應的第一和第二深度信息視頻的比例尺，從而使所述比例尺彼此相同。這是因為當在第二深度信息視頻編碼期間、參考第一深度信息視頻時，第一深度信息視頻與第二深度信息視頻之間的比例尺上的差異可能導致誤差。在步驟S803中，深度信息視頻編碼塊603通過參考在步驟S801中控制其比例尺的第一深度信息視頻來對第二深度信息視頻進行編碼。在步驟S801中，可以控制兩個或更多深度信息視頻的比例尺。在步驟S803中，可以對其比例尺被控制的兩個或更多深度信息視頻進行編碼。圖9圖示了根據(jù)本發(fā)明另一實施例的多視點視頻解碼方法。參考圖9，根據(jù)本發(fā)明實施例的多視點視頻解碼方法從步驟S901開始。在步驟S901中，接收通過幀間預測和幀內預測所編碼的多視點視頻、以及通過使用根據(jù)幀間預測和幀內預測的預測信息中的一條或多條所編碼的深度信息視頻。即，在步驟S901中接收根據(jù)本發(fā)明上述實施例所編碼的視頻和深度信息視頻。可以作為一個比特流來傳送所編碼的多視點視頻和所編碼的深度信息視頻。在步驟S903中，對編碼的多視點視頻進行解碼。然后，在步驟S905中，使用在深度信息視頻編碼期間所使用的預測信息來對編碼的深度信息視頻進行解碼。由于在深度信息視頻的編碼處理中使用了根據(jù)多視點視頻的編碼的預測信息，所以可以在步驟S905中使用根據(jù)多視點視頻的編碼的預測信息。在步驟S905中，可以通過參考在深度信息視頻的編碼處理中生成的標志比特，來使用根據(jù)多視點視頻的編碼的預測信息。此外，可以根據(jù)H. 264/AVC標準來執(zhí)行在步驟S903和S905中的解碼。同樣，可以將上述的多視點視頻編碼/解碼方法和設備實施為計算機程序。本發(fā)明所屬技術領域的計算機程序員可以容易地詮釋出用于構成該程序的代碼和代碼段。此外，可以將創(chuàng)建的程序存儲在計算機可讀記錄介質或數(shù)據(jù)存儲介質中，并且可以通過計算機來讀出和運行。計算機可讀記錄介質的示例包括任何計算機可讀記錄介質，例如，諸如載波之類的無形介質、以及諸如CD或DVD之類的有形介質。
盡管已經(jīng)針對特定實施例而描述了本發(fā)明，但是對于本領域技術人員將顯而易見的是，可以做出各種改變和修改，而不脫離由以下權利要求限定的本發(fā)明的精神和范圍。
權利要求
1.一種多視點視頻編碼方法，包括通過執(zhí)行幀間預測和幀內預測來對多視點視頻進行編碼；以及使用根據(jù)幀間預測和幀內預測的預測信息中的至少一個，來對與該多視點視頻對應的深度信息視頻進行編碼。
2.根據(jù)權利要求1的多視點視頻編碼方法，其中根據(jù)幀間預測的預測信息包括根據(jù)幀間預測的運動向量，并且根據(jù)幀內預測的預測信息包括根據(jù)幀內預測的幀中預測模式。
3.根據(jù)權利要求2的多視點視頻編碼方法，其中所述使用根據(jù)幀間預測和幀內預測的預測信息中的一條或多條、來對與該多視點視頻對應的深度信息視頻進行編碼的步驟包括使用參考幀來生成用于該深度信息視頻的當前幀的運動向量，并且判斷所述當前幀的運動向量是否與根據(jù)幀間預測的運動向量一致；生成指示出一致性判斷結果的標志比特，并且對該標志比特進行編碼；以及取決于該標志比特，來對包括所述當前幀的運動向量的深度信息視頻進行編碼。
4.根據(jù)權利要求3的多視點視頻編碼方法，其中在所述使用參考幀來生成用于該深度信息視頻的當前幀的運動向量、并且判斷所述當前幀的運動向量是否與根據(jù)幀間預測的運動向量一致的步驟中，取決于該視頻與該深度信息視頻之間的分辨率或幀頻上的差異，來控制根據(jù)幀間預測的運動向量的比例尺。
5.根據(jù)權利要求2的多視點視頻編碼方法，其中所述使用根據(jù)幀間預測和幀內預測的預測信息中的一條或多條、來對與該多視點視頻對應的深度信息視頻進行編碼的步驟包括使用該預測模式，來生成指示出是否對該深度信息視頻進行編碼的標志比特，并且對該標志比特進行編碼；以及通過執(zhí)行根據(jù)該預測模式的幀內預測，來對該深度信息視頻進行編碼。
6.一種多視點視頻編碼方法，包括控制與多視點視頻對應的第一和第二深度信息視頻的比例尺，從而使所述比例尺相同；以及通過參考其比例尺被控制的第一深度信息視頻，來對其比例尺被控制的第二深度信息視頻進行編碼。
7.一種多視點視頻編碼設備，包括視頻編碼塊，被配置為通過幀間預測和幀內預測來對多視點視頻進行編碼；以及深度信息視頻編碼塊，被配置為使用該視頻編碼塊所生成的幀間預測信息和幀內預測信息中的一條或多條，來對與該多視點視頻對應的深度信息視頻進行編碼。
8.根據(jù)權利要求7的多視點視頻編碼設備，其中該深度信息視頻編碼塊包括運動向量生成單元，被配置為使用參考幀來生成用于該深度信息視頻的當前幀的運動向量；一致性判斷單元，被配置為判斷所述當前幀的運動向量是否與根據(jù)幀間預測的運動向量一致；標志比特編碼單元，被配置為生成指示出一致性判斷結果的標志比特，并且對該標志比特進行編碼；以及編碼單元，被配置為取決于該標志比特，來對包括所述當前幀的運動向量的深度信息視頻進行編碼。
9.一種多視點視頻編碼設備，包括比例尺控制塊，被配置為控制與多視點視頻對應的第一和第二深度信息視頻的比例尺，從而使所述比例尺彼此相等；以及深度信息視頻編碼塊，被配置為通過參考其比例尺被控制的第一深度信息視頻，來對其比例尺被控制的第二深度信息視頻進行編碼。
10.一種多視點視頻解碼方法，包括接收通過幀間預測和幀內預測所編碼的多視點視頻、以及通過使用根據(jù)幀間預測的預測信息和根據(jù)幀內預測的預測信息中的一條或多條所編碼的深度信息視頻； 對編碼的多視點視頻進行解碼；以及使用在深度信息視頻編碼期間所使用的預測信息，來對所編碼的深度信息視頻進行解碼。
全文摘要
提供了一種多視點視頻編碼/解碼方法和設備，該方法和設備使用編碼和解碼的多視點視頻來對與所述多視點視頻(301)對應的深度信息視頻進行編碼和解碼。該多視點視頻編碼方法包括控制與多視點視頻對應的第一(503)和第二深度信息視頻的比例尺，從而使所述比例尺相同；以及通過參考其比例尺被控制的第一深度信息視頻(503)來對其比例尺被控制的第二深度信息視頻進行編碼。
文檔編號H04N7/50GK102308585SQ200980156340
公開日2012年1月4日 申請日期2009年12月8日 優(yōu)先權日2008年12月8日
發(fā)明者嚴基紋, 張恩榮, 方健, 李壽寅, 許南淏, 金泰源, 金鎮(zhèn)雄 申請人:韓國電子通信研究院