用于切片標(biāo)頭預(yù)測(cè)的切片標(biāo)頭三維視頻擴(kuò)展的制作方法
【專(zhuān)利摘要】在一個(gè)實(shí)例中，視頻譯碼器經(jīng)配置以：對(duì)表示視頻數(shù)據(jù)的幀的至少一部分的紋理信息的一個(gè)或一個(gè)以上視頻數(shù)據(jù)塊進(jìn)行譯碼；處理相關(guān)聯(lián)的當(dāng)前視圖的紋理視圖分量的紋理切片，所述紋理切片包括所述經(jīng)譯碼的一個(gè)或一個(gè)以上塊以及紋理切片標(biāo)頭，所述紋理切片標(biāo)頭包括表示所述紋理切片的特性的一組語(yǔ)法元素；對(duì)表示所述幀的至少所述部分的深度值的深度信息進(jìn)行譯碼；以及處理對(duì)應(yīng)于所述視圖的所述紋理視圖分量的深度視圖分量的深度切片，所述深度切片包括所述經(jīng)譯碼的深度信息以及深度切片標(biāo)頭，所述深度切片標(biāo)頭包括表示所述深度切片的特性的一組語(yǔ)法元素，其中處理所述紋理切片或所述深度切片包括預(yù)測(cè)至少一個(gè)語(yǔ)法元素。
【專(zhuān)利說(shuō)明】用于切片標(biāo)頭預(yù)測(cè)的切片標(biāo)頭三維視頻擴(kuò)展
[0001]本申請(qǐng)案主張2011年7月22日申請(qǐng)的第61 / 510，738號(hào)美國(guó)臨時(shí)申請(qǐng)案、2011年8月11日申請(qǐng)的第61 / 522，584號(hào)美國(guó)臨時(shí)申請(qǐng)案、2011年11月26日申請(qǐng)的第61 /563，772號(hào)美國(guó)臨時(shí)申請(qǐng)案、2012年2月6日申請(qǐng)的第61 / 595，612號(hào)美國(guó)臨時(shí)申請(qǐng)案、2012年4月13日申請(qǐng)的第61 / 624，031號(hào)美國(guó)臨時(shí)申請(qǐng)案以及2012年4月23日申請(qǐng)的第61 / 637，212號(hào)美國(guó)臨時(shí)申請(qǐng)案的權(quán)益，所述臨時(shí)申請(qǐng)案中的每一者以全文引用的方式并入本文中。
【技術(shù)領(lǐng)域】
[0002]本發(fā)明涉及視頻譯碼領(lǐng)域，例如，對(duì)三維視頻數(shù)據(jù)進(jìn)行譯碼。
【背景技術(shù)】
[0003]數(shù)字視頻能力可并入到大范圍的裝置中，包含數(shù)字電視、數(shù)字直播系統(tǒng)、例如無(wú)線(xiàn)電電話(huà)手持機(jī)等無(wú)線(xiàn)通信裝置、無(wú)線(xiàn)廣播系統(tǒng)、個(gè)人數(shù)字助理(PDA)、膝上型或桌上型計(jì)算機(jī)、數(shù)碼相機(jī)、數(shù)字記錄裝置、視頻游戲裝置、視頻游戲控制臺(tái)等。數(shù)字視頻裝置實(shí)施例如MPEG-2、MPEG-4或H.264 / MPEG-4第10部分高級(jí)視頻譯碼(AVC)的視頻壓縮技術(shù)以更有效地發(fā)射和接收數(shù)字視頻。視頻壓縮技術(shù)執(zhí)行空間和時(shí)間預(yù)測(cè)以減少或移除視頻序列中固有的冗余。
[0004]視頻壓縮技術(shù)執(zhí)行空間預(yù)測(cè)和/或時(shí)間預(yù)測(cè)以減少或移除視頻序列中固有的冗余。對(duì)于基于塊的視頻譯碼，可將一視頻幀或切片分割成若干宏塊。可進(jìn)一步分割每一宏塊。使用關(guān)于相鄰宏塊的空間預(yù)測(cè)編碼經(jīng)幀內(nèi)譯碼的(I)幀或切片中的宏塊。經(jīng)幀間譯碼的(P或B)幀或切片中的宏塊可使用關(guān)于同一幀或切片中的相鄰宏塊的空間預(yù)測(cè)或關(guān)于其它參考幀的時(shí)間預(yù)測(cè)。
[0005]在已將視頻數(shù)據(jù)編碼之后，可將所述視頻數(shù)據(jù)包化以用于發(fā)射或存儲(chǔ)?？蓪⑺鲆曨l數(shù)據(jù)組配為對(duì)應(yīng)于多種標(biāo)準(zhǔn)中的任一者的視頻文件，例如國(guó)際標(biāo)準(zhǔn)化組織(ISO)基礎(chǔ)媒體文件格式及其擴(kuò)展形式，例如AVC。
[0006]已經(jīng)作出努力開(kāi)開(kāi)發(fā)基于H.264 / AVC的新視頻譯碼標(biāo)準(zhǔn)。一種此類(lèi)標(biāo)準(zhǔn)是可縮放視頻譯碼(SVC)標(biāo)準(zhǔn)，其為對(duì)H.264 / AVC的可縮放擴(kuò)展。另一標(biāo)準(zhǔn)是多視圖視頻譯碼(MVC)，其已變?yōu)閷?duì)H.264 / AVC的多視圖擴(kuò)展。在2008年7月德國(guó)的漢諾威的第28屆JVT會(huì)議的JVT-AB204 “多視圖視頻譯碼聯(lián)合草案8.0 (Joint Draft8.0on MultiviewVideo Coding) ” 中描述了 MVC 的聯(lián)合草案，這在 http: / / wftp3.1tu.1nt / av-arch/jvt-site / 2008_07_Hannover / JVT-AB204.zip 處可以獲得。在 2009 年 2 月瑞士的日內(nèi)瓦的第 30 屆 JVT 會(huì)議的 JVT-AD007 “對(duì) ITU-T Rec.H.264 | ISO / IEC14496-10 高級(jí)視頻譯碼的編輯者的草案修訂-為ITU-T SG16AAP達(dá)成一致做準(zhǔn)備(以整合形式)(Editors' draft revision to ITU-T Rec.Η.2641ISO / IEC14496_10Advanced VideoCoding—in preparation for ITU-T SG16AAP Consent (in integrated form))，，中描述了 AVC 標(biāo)準(zhǔn)的版本，這在 http: / / wftp3.1tu.1nt / av-arch/jvt—site / 2009_01_Geneva / JVT-AD007.zip處可以獲得。此文獻(xiàn)將SVC和MVC整合于AVC規(guī)格中。

【發(fā)明內(nèi)容】

[0007]一般來(lái)說(shuō)，本發(fā)明描述用于支持三維(3D)視頻再現(xiàn)的技術(shù)。具體來(lái)說(shuō)，本發(fā)明的技術(shù)涉及對(duì)3D視頻內(nèi)容進(jìn)行譯碼和解碼。本發(fā)明還提出用于視頻數(shù)據(jù)的經(jīng)譯碼塊單元的信令技術(shù)。舉例來(lái)說(shuō)，本發(fā)明提出將包含于紋理視圖分量的切片標(biāo)頭中的語(yǔ)法元素再用于對(duì)應(yīng)的深度視圖分量，且反之亦然。另外，本發(fā)明提出將深度視圖分量的標(biāo)頭信息(例如，切片標(biāo)頭信息)中的語(yǔ)法元素再用于紋理視圖分量。
[0008]在3D編解碼器中，特定時(shí)刻中的視頻解碼的每一視圖的視圖分量可包含紋理視圖分量和深度視圖分量。紋理視圖分量可包含明度⑴分量和色度(Cb和Cr)分量。明度(亮度)和色度(色彩)分量在本文統(tǒng)稱(chēng)為“紋理”分量。深度視圖分量可來(lái)自圖像的深度圖。在3D圖像再現(xiàn)中，深度圖包含表示例如用于對(duì)應(yīng)的紋理分量的深度值深度分量。深度視圖分量可用于從給定的觀看角度產(chǎn)生虛擬視圖。
[0009]深度分量和紋理分量的語(yǔ)法元素可與經(jīng)譯碼塊單元一起用信號(hào)發(fā)送。經(jīng)譯碼塊單元(在本發(fā)明中還被簡(jiǎn)稱(chēng)為“經(jīng)譯碼塊”)可對(duì)應(yīng)于ITU-T H.264 / AVC(高級(jí)視頻譯碼)中的宏塊或高效率視頻譯碼(HEVC)的譯碼單元。
[0010]在一個(gè)方面中，一種對(duì)視頻數(shù)據(jù)進(jìn)行譯碼的方法包含對(duì)表示視頻數(shù)據(jù)的幀的至少一部分的紋理信息的一個(gè)或一個(gè)以上視頻數(shù)據(jù)塊進(jìn)行譯碼。所述方法進(jìn)一步包含處理與存取單元相關(guān)聯(lián)的當(dāng)前視圖的紋理視圖分量的紋理切片，所述紋理切片包括所述經(jīng)譯碼的一個(gè)或一個(gè)以上塊以及紋理切片標(biāo)頭，所述紋理切片標(biāo)頭包括表示所述紋理切片的特性的一組語(yǔ)法元素。所述方法還包含對(duì)表示所述幀的至少所述部分的深度值的深度信息進(jìn)行譯碼。所述方法進(jìn)一步包含處理對(duì)應(yīng)于所述視圖的所述紋理視圖分量的深度視圖分量的深度切片，所述深度切片包括所述經(jīng)譯碼的深度信息以及深度切片標(biāo)頭，所述深度切片標(biāo)頭包括表示所述深度切片的特性的一組語(yǔ)法元素。處理所述紋理切片或所述深度切片可進(jìn)一步包含分別從參考切片標(biāo)頭預(yù)測(cè)表示所述紋理切片的特性的所述組語(yǔ)法元素和表示所述深度切片的特性的所述組語(yǔ)法元素中的至少一者的至少一個(gè)語(yǔ)法元素，其中所述參考切片標(biāo)頭是來(lái)自相同存取單元的視圖分量。
[0011]在另一方面中，本發(fā)明描述一種用于對(duì)數(shù)據(jù)進(jìn)行譯碼的裝置。所述裝置包含視頻譯碼器，所述視頻譯碼器經(jīng)配置以:對(duì)表示視頻數(shù)據(jù)的幀的至少一部分的紋理信息的一個(gè)或一個(gè)以上視頻數(shù)據(jù)塊進(jìn)行譯碼；處理與存取單元相關(guān)聯(lián)的當(dāng)前視圖的紋理視圖分量的紋理切片，所述紋理切片包括所述經(jīng)譯碼的一個(gè)或一個(gè)以上塊以及紋理切片標(biāo)頭，所述紋理切片標(biāo)頭包括表示所述紋理切片的特性的一組語(yǔ)法元素；對(duì)表示所述幀的至少所述部分的深度值的深度信息進(jìn)行譯碼；以及處理對(duì)應(yīng)于所述視圖的所述紋理視圖分量的深度視圖分量的深度切片，所述深度切片包括所述經(jīng)譯碼的深度信息以及深度切片標(biāo)頭，所述深度切片標(biāo)頭包括表示所述深度切片的特性的一組語(yǔ)法元素，其中處理所述紋理切片或所述深度切片包括分別從參考切片標(biāo)頭預(yù)測(cè)表示所述紋理切片的特性的所述組語(yǔ)法元素和表示所述深度切片的特性的所述組語(yǔ)法元素中的至少一者的至少一個(gè)語(yǔ)法元素，其中所述參考切片標(biāo)頭是來(lái)自相同存取單元的視圖分量。
[0012]在又一方面中，本發(fā)明描述一種計(jì)算機(jī)程序產(chǎn)品，所述計(jì)算機(jī)程序產(chǎn)品可經(jīng)配置以執(zhí)行所描述的技術(shù)中的一者或一者以上。所述計(jì)算機(jī)程序產(chǎn)品包含計(jì)算機(jī)可讀存儲(chǔ)媒體，所述計(jì)算機(jī)可讀存儲(chǔ)媒體具有存儲(chǔ)于其上的指令，所述指令在被執(zhí)行時(shí)致使視頻譯碼裝置的處理器對(duì)表示視頻數(shù)據(jù)的幀的至少一部分的紋理信息的一個(gè)或一個(gè)以上視頻數(shù)據(jù)塊進(jìn)行譯碼。所述指令進(jìn)一步致使所述處理器處理與存取單元相關(guān)聯(lián)的當(dāng)前視圖的紋理視圖分量的紋理切片，所述紋理切片包括所述經(jīng)譯碼的一個(gè)或一個(gè)以上塊以及紋理切片標(biāo)頭，所述紋理切片標(biāo)頭包括表示所述紋理切片的特性的一組語(yǔ)法元素。所述指令進(jìn)一步致使所述處理器對(duì)表示所述幀的至少所述部分的深度值的深度信息進(jìn)行譯碼。而且，所述指令進(jìn)一步致使所述處理器處理對(duì)應(yīng)于所述視圖的所述紋理視圖分量的深度視圖分量的深度切片，所述深度切片包括所述經(jīng)譯碼的深度信息以及深度切片標(biāo)頭，所述深度切片標(biāo)頭包括表示所述深度切片的特性的一組語(yǔ)法元素，其中處理所述紋理切片或所述深度切片包括分別從參考切片標(biāo)頭預(yù)測(cè)表示所述紋理切片的特性的所述組語(yǔ)法元素和表示所述深度切片的特性的所述組語(yǔ)法元素中的至少一者的至少一個(gè)語(yǔ)法元素，其中所述參考切片標(biāo)頭是來(lái)自相同存取單元的視圖分量。
[0013]在另一方面中，描述一種用于處理視頻數(shù)據(jù)的裝置，所述裝置包含用于對(duì)表示視頻數(shù)據(jù)的幀的至少一部分的紋理信息的一個(gè)或一個(gè)以上視頻數(shù)據(jù)塊進(jìn)行譯碼的裝置。所述裝置進(jìn)一步包含:用于處理與存取單元相關(guān)聯(lián)的當(dāng)前視圖的紋理視圖分量的紋理切片的裝置，所述紋理切片包括所述經(jīng)譯碼的一個(gè)或一個(gè)以上塊以及紋理切片標(biāo)頭，所述紋理切片標(biāo)頭包括表示所述紋理切片的特性的一組語(yǔ)法元素；以及用于對(duì)表示所述幀的至少所述部分的深度值的深度信息進(jìn)行譯碼的裝置。所述裝置進(jìn)一步包含用于處理對(duì)應(yīng)于所述視圖的所述紋理視圖分量的深度視圖分量的深度切片的裝置，所述深度切片包括所述經(jīng)譯碼的深度信息以及深度切片標(biāo)頭，所述深度切片標(biāo)頭包括表示所述深度切片的特性的一組語(yǔ)法元素，其中用于處理所述紋理切片或所述深度切片的裝置包括用于分別從參考切片標(biāo)頭預(yù)測(cè)表示所述紋理切片的特性的所述組語(yǔ)法元素和表示所述深度切片的特性的所述組語(yǔ)法元素中的至少一者的至少一個(gè)語(yǔ)法元素的裝置，其中所述參考切片標(biāo)頭是來(lái)自相同存取單元的視圖分量。
[0014]本發(fā)明中所描述的技術(shù)可以硬件、軟件、固件或其任一組合來(lái)實(shí)施。如果以軟件實(shí)施，則軟件可執(zhí)行于處理器中，其可指一個(gè)或一個(gè)以上處理器，例如微處理器、專(zhuān)用集成電路(ASIC)、現(xiàn)場(chǎng)可編程門(mén)陣列(FPGA)或數(shù)字信號(hào)處理器(DSP)或其它等效集成或離散邏輯電路。最初可將包括用以執(zhí)行所述技術(shù)的指令的軟件存儲(chǔ)于計(jì)算機(jī)可讀媒體中且由處理器加載及執(zhí)行。
[0015]本發(fā)明還預(yù)期包括用以致使處理器執(zhí)行本發(fā)明中所描述的多種技術(shù)中的任一者的指令的計(jì)算機(jī)可讀媒體。在一些情況下，計(jì)算機(jī)可讀媒體可形成可售賣(mài)給制造商且/或用于裝置中的計(jì)算機(jī)程序產(chǎn)品的部分。所述計(jì)算機(jī)程序產(chǎn)品可包含計(jì)算機(jī)可讀媒體，且在某些情況下，還可包含封裝材料。
[0016]本發(fā)明的一個(gè)或一個(gè)以上方面的細(xì)節(jié)在附圖及以下描述中陳述。從描述和圖式并從權(quán)利要求書(shū)將明白本發(fā)明中所描述的技術(shù)的其它特征、目的和優(yōu)點(diǎn)。
【專(zhuān)利附圖】

【附圖說(shuō)明】
[0017]圖1是說(shuō)明根據(jù)本發(fā)明的技術(shù)的視頻編碼和解碼系統(tǒng)的一個(gè)實(shí)例的框圖。[0018]圖2是進(jìn)一步詳細(xì)地說(shuō)明根據(jù)本發(fā)明的技術(shù)的圖1的視頻編碼器的一實(shí)例的框圖。
[0019]圖3是說(shuō)明根據(jù)本發(fā)明的技術(shù)的實(shí)例性多視圖解碼次序的概念圖。
[0020]圖4是根據(jù)本發(fā)明的技術(shù)的用于多視圖視頻譯碼的MVC預(yù)測(cè)結(jié)構(gòu)的一個(gè)實(shí)例的圖。
[0021]圖5是進(jìn)一步詳細(xì)地說(shuō)明根據(jù)本發(fā)明的技術(shù)的圖1的視頻解碼器的一實(shí)例的框圖。
[0022]圖6是說(shuō)明根據(jù)本發(fā)明的技術(shù)的視頻譯碼器的實(shí)例性操作的流程圖。
【具體實(shí)施方式】
[0023]本發(fā)明描述在視頻編碼或解碼過(guò)程的至少幀間預(yù)測(cè)階段期間編碼器可應(yīng)用且解碼器可使用的技術(shù)。所描述的技術(shù)涉及三維(“3D”)視頻內(nèi)容的譯碼。可將所述3D視頻內(nèi)容例如表示為多視圖視頻加深度(“MVD”)經(jīng)譯碼塊。也就是說(shuō)，可應(yīng)用這些技術(shù)對(duì)類(lèi)似于多視圖視頻譯碼(MVC)位流的位流進(jìn)行編碼或解碼，其中MVC位流的任何或所有視圖可進(jìn)一步包含深度信息。如本文中所描述，信令發(fā)生在經(jīng)譯碼位流中。
[0024]更具體來(lái)說(shuō)，根據(jù)本發(fā)明的一些技術(shù)涉及接收至少一個(gè)具有紋理視圖分量和深度視圖分量的二維圖像。一些紋理視圖分量和深度視圖分量可一起被編碼為單個(gè)經(jīng)譯碼塊或單獨(dú)的塊?？蓪D像分解為若干圖像切片。可在切片標(biāo)頭中用信號(hào)發(fā)送用于對(duì)紋理視圖分量進(jìn)行譯碼的語(yǔ)法元素。可從紋理視圖分量的對(duì)應(yīng)于深度視圖分量的語(yǔ)法元素來(lái)預(yù)測(cè)深度視圖分量的一些語(yǔ)法元素。本發(fā)明的技術(shù)涉及對(duì)用于基于二維視頻數(shù)據(jù)的所估計(jì)的深度圖數(shù)據(jù)從二維視頻數(shù)據(jù)再現(xiàn)三維視頻數(shù)據(jù)的數(shù)據(jù)的編碼、解碼和信令。在一些實(shí)例中，使用與用于對(duì)深度信息進(jìn)行編碼的技術(shù)不同的技術(shù)對(duì)紋理視圖分量進(jìn)行編碼。在本發(fā)明中，術(shù)語(yǔ)“譯碼”可指編碼和解碼中的任一者或兩者。
[0025]基于深度估計(jì)和虛擬視圖合成的視頻轉(zhuǎn)換用于產(chǎn)生3D圖像，例如用于3D視頻應(yīng)用。具體來(lái)說(shuō)，可使用場(chǎng)景的虛擬視圖來(lái)產(chǎn)生場(chǎng)景的3D視圖。常規(guī)上通過(guò)在合成場(chǎng)景的虛擬視圖之前估計(jì)對(duì)象深度值而實(shí)現(xiàn)基于場(chǎng)景的現(xiàn)有視圖產(chǎn)生所述虛擬視圖。深度估計(jì)是從立體對(duì)或單視場(chǎng)內(nèi)容估計(jì)對(duì)象與相機(jī)平面之間的絕對(duì)或相對(duì)距離的過(guò)程。如本文中所使用，深度信息包含有用于處理三維視頻的信息，例如深度圖(例如，基于每個(gè)像素的深度值)或取景視差圖(例如，基于每個(gè)像素的水平視差)。
[0026]所估計(jì)的深度信息(通用通過(guò)灰度級(jí)圖表示)可用于使用基于深度圖像的再現(xiàn)(DIBR)技術(shù)來(lái)產(chǎn)生任意角度的虛擬視圖。與其中多視圖序列面臨著高效的視圖間壓縮的挑戰(zhàn)的傳統(tǒng)三維電視(3DTV)系統(tǒng)相比，基于深度圖的系統(tǒng)可通過(guò)傳輸可被高效編碼的僅一個(gè)或數(shù)個(gè)視圖以及深度圖而減少帶寬的使用。在將深度圖用于視圖合成中之前，用于基于深度圖的轉(zhuǎn)換中的深度圖可為可由終端用戶(hù)控制的(例如，通過(guò)縮放)。可產(chǎn)生具有不同量的感知深度的自定義虛擬視圖。而且，可使用單視場(chǎng)視頻來(lái)執(zhí)行對(duì)深度的估計(jì)，其中僅一個(gè)視圖2D內(nèi)容可用。
[0027]將參考H.264 / AVC (高級(jí)視頻譯碼)標(biāo)準(zhǔn)的多視圖視頻譯碼(MVC)擴(kuò)展來(lái)描述本發(fā)明的一些技術(shù)。在2009年I到2月瑞士的日內(nèi)瓦的第30屆JVT會(huì)議的JVT-AD007 “對(duì)ITU-T Rec.H.264 | ISO / IEC14496-10高級(jí)視頻譯碼的編輯者的草案修訂(Editors' draft revision to ITU-T Rec.H.2641ISO / IEC14496_10Advanced VideoCoding) ” 中描述了 MVC 的最新聯(lián)合版本，這在 http: / / wftp3.1tu.1nt / av—arch /ivt—site / 2009 01 Geneva / TVT-AD007處可以獲得，其以引用的方式并入本f中。雖然以下描述將依據(jù)H.264 / AVC，但應(yīng)理解，本發(fā)明的技術(shù)可適用于與其它多視圖視頻譯碼過(guò)程一起使用，或與未來(lái)的多視圖ο到當(dāng)前提出的視頻譯碼標(biāo)準(zhǔn)一起使用。
[0028]在H.264 / AVC中，每一網(wǎng)絡(luò)抽象層(NAL)單元在含有經(jīng)譯碼視頻數(shù)據(jù)的情況下具有切片標(biāo)頭。所述切片標(biāo)頭可含有以下信息:切片地址、開(kāi)始宏塊的位置、切片類(lèi)型、將使用的圖片參數(shù)集(PPS)、以及切片的初始QP與在PPS中用信號(hào)發(fā)送的QP之間的增量量化參數(shù)(QP)、參考圖片的次序(frame_num)，以及當(dāng)前圖片(POC)的顯示次序(例如，圖片次序計(jì)數(shù)(POC))、參考圖片列表建構(gòu)相關(guān)的語(yǔ)法元素、存儲(chǔ)器管理控制操作相關(guān)的語(yǔ)法元素、經(jīng)加權(quán)的預(yù)測(cè)相關(guān)的語(yǔ)法元素。
[0029]可應(yīng)用本文中所描述的技術(shù)從存儲(chǔ)于同一視圖的位于同一地點(diǎn)的紋理視圖分量的切片標(biāo)頭中的語(yǔ)法元素來(lái)預(yù)測(cè)深度視圖分量的語(yǔ)法元素。舉例來(lái)說(shuō)，深度切片和紋理切片所共同的語(yǔ)法元素的值可包含于紋理視圖分量的切片標(biāo)頭中，而不包含于相關(guān)聯(lián)的深度視圖分量的切片中。也就是說(shuō)，視頻編碼器或解碼器可對(duì)紋理視圖分量的切片標(biāo)頭中的不存在于深度視圖分量的切片標(biāo)頭中的深度切片和紋理切片所共同的語(yǔ)法元素進(jìn)行譯碼。舉例來(lái)說(shuō)，可為紋理視圖分量的切片標(biāo)頭中的第一語(yǔ)法元素定義第一值。深度視圖分量的切片標(biāo)頭也共享第一語(yǔ)法元素，從而意味著所述第一語(yǔ)法元素對(duì)于紋理切片標(biāo)頭和深度切片標(biāo)頭來(lái)說(shuō)是共同的。深度視圖分量的第一語(yǔ)法元素具有第二值。然而，深度視圖分量的切片標(biāo)頭不包含所述第一語(yǔ)法元素。根據(jù)本文中所描述的技術(shù)，可從所述第一值預(yù)測(cè)所述第一語(yǔ)法元素的第二值。
[0030]本發(fā)明呈現(xiàn)用于切片標(biāo)頭預(yù)測(cè)的以下技術(shù)。根據(jù)本發(fā)明的一個(gè)實(shí)例，在切片標(biāo)頭層級(jí)處控制預(yù)測(cè)，且可將參考切片標(biāo)頭定義為與當(dāng)前視圖相同的存取單元的相同視圖或與當(dāng)前視圖相同的存取單元的AVC相容的基礎(chǔ)視圖紋理中的視圖分量。
[0031]在另一實(shí)例中，深度視圖分量的參考切片標(biāo)頭可為相同視圖中的紋理視圖分量的切片標(biāo)頭，或解碼次序中的第一視圖的深度視圖分量的切片標(biāo)頭。在另一實(shí)例中，可用信號(hào)發(fā)送增量視圖次序索引id以指示從相同的存取單元中的哪一視圖預(yù)測(cè)切片標(biāo)頭。
[0032]在一些實(shí)例中，可用信號(hào)發(fā)送旗標(biāo)以指示參考切片標(biāo)頭是來(lái)自特定視圖的深度視圖分量還是紋理視圖分量。在另一實(shí)例中，切片標(biāo)頭擴(kuò)展中的語(yǔ)法元素(如果在切片標(biāo)頭中存在)可以不同于AVC切片標(biāo)頭中的切片標(biāo)頭語(yǔ)法元素的方式重新排序。
[0033]在又另一實(shí)例中，可選擇性地預(yù)測(cè)語(yǔ)法元素slice_type、num_ref_idx_10_active_minusl、num_ref_idx_ll_active_minusl以及參考圖片列表修改。也就是說(shuō)，它們可以基于或可以不基于每一切片標(biāo)頭3DV擴(kuò)展中的控制旗標(biāo)來(lái)預(yù)測(cè)。當(dāng)啟用對(duì)參考圖片列表修改的預(yù)測(cè)時(shí)，可以有可能基于新引入的參考圖片列表擴(kuò)展或插入語(yǔ)法表來(lái)提煉參考圖片列表修改。
[0034]在本發(fā)明的另一實(shí)例中，在指示深度視圖分量或紋理視圖分量之后，可進(jìn)一步用信號(hào)發(fā)送存取單元中的給定視圖分量的切片的切片ID。在一些實(shí)例中，包括給定視圖分量的切片的存取單元可為對(duì)應(yīng)于深度或紋理視圖分量的相同存取單元。
[0035]在本發(fā)明的另一實(shí)例中，可用信號(hào)發(fā)送每一視圖分量的每一切片的切片ID?？稍谇衅瑯?biāo)頭中或在NAL單元標(biāo)頭中用信號(hào)發(fā)送切片ID。此外，可在切片標(biāo)頭3DV擴(kuò)展中用信號(hào)發(fā)送以上指示。
[0036]本發(fā)明的技術(shù)可利用基于塊的幀間譯碼?；趬K的幀間譯碼是依賴(lài)于時(shí)間預(yù)測(cè)來(lái)減少或移除視頻序列的連續(xù)經(jīng)譯碼單元的視頻塊之間的時(shí)間冗余的譯碼技術(shù)。經(jīng)譯碼單元可包括視頻幀、視頻幀的切片、圖片群組，或經(jīng)編碼視頻塊的另一經(jīng)定義單元。對(duì)于幀間譯碼，視頻編碼器執(zhí)行運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償以估計(jì)一個(gè)或一個(gè)以上鄰近的經(jīng)譯碼單元的視頻塊之間的運(yùn)動(dòng)。通過(guò)使用用于運(yùn)動(dòng)估計(jì)的技術(shù)，視頻編碼器產(chǎn)生運(yùn)動(dòng)向量，所述運(yùn)動(dòng)向量指示視頻塊相對(duì)于一個(gè)或一個(gè)以上參考幀或其它經(jīng)譯碼單元中的對(duì)應(yīng)預(yù)測(cè)視頻塊的移位。通過(guò)使用用于運(yùn)動(dòng)補(bǔ)償?shù)募夹g(shù)，視頻編碼器使用運(yùn)動(dòng)向量從一個(gè)或一個(gè)以上參考幀或其它經(jīng)譯碼單元產(chǎn)生預(yù)測(cè)視頻塊。在運(yùn)動(dòng)補(bǔ)償之后，視頻編碼器通過(guò)從正被譯碼的原始視頻塊減去預(yù)測(cè)視頻塊來(lái)計(jì)算殘余視頻塊。
[0037]參考視圖分量(RVC)可包含多個(gè)紋理或深度切片。在其中參考視圖分量包括多個(gè)切片的一些實(shí)例中，在確定當(dāng)前切片的語(yǔ)法元素時(shí)可使用位于同一地點(diǎn)的切片。或者，可使用RVC中的第一切片來(lái)確定當(dāng)前切片的語(yǔ)法元素。在其它實(shí)例中,可使用RVC中的另一切片來(lái)確定當(dāng)前切片的共同語(yǔ)法元素。
[0038]圖1是說(shuō)明根據(jù)本發(fā)明的技術(shù)的視頻編碼和解碼系統(tǒng)10的一個(gè)實(shí)例的框圖。如圖1的實(shí)例中所示，系統(tǒng)10包含源裝置12，所述源裝置經(jīng)由鏈路15將經(jīng)編碼的視頻發(fā)射到目的地裝置16。鏈路15可包括能夠?qū)⒔?jīng)編碼的視頻數(shù)據(jù)從源裝置12移動(dòng)到目的地裝置16的任何類(lèi)型的媒體或裝置。在一個(gè)實(shí)例中，鏈路15包括用以使得源裝置12能夠?qū)崟r(shí)地將經(jīng)編碼的視頻數(shù)據(jù)直接發(fā)射到目的地裝置16的通信媒體?？筛鶕?jù)例如無(wú)線(xiàn)通信協(xié)議等通信標(biāo)準(zhǔn)來(lái)調(diào)制經(jīng)編碼的視頻數(shù)據(jù)，且將其發(fā)射到目的地裝置16。所述通信媒體可包括任何無(wú)線(xiàn)或有線(xiàn)通信媒體，例如射頻(RF)頻譜或一條或一條以上物理傳輸線(xiàn)。通信媒體可形成例如局域網(wǎng)、廣域網(wǎng)或例如因特網(wǎng)的全球網(wǎng)絡(luò)的基于包的網(wǎng)絡(luò)的部分。通信媒體可包含可用于促進(jìn)從源裝置12到目的地裝置16的通信的路由器、交換器、基站或任何其它設(shè)備。
[0039]源裝置12及目的地裝置16可包括廣泛范圍的裝置中的任一者。在一些實(shí)例中，源裝置12和目的地裝置16可包括無(wú)線(xiàn)通信裝置，例如無(wú)線(xiàn)手持機(jī)、所謂的蜂窩式或衛(wèi)星無(wú)線(xiàn)電電話(huà)，或可在鏈路15上(在此情況下，鏈路15是無(wú)線(xiàn)的)傳送視頻信息的任何無(wú)線(xiàn)裝置。然而，涉及對(duì)包含紋理信息和深度信息兩者的視頻數(shù)據(jù)的塊進(jìn)行譯碼的本發(fā)明的技術(shù)不一定受限于無(wú)線(xiàn)應(yīng)用或環(huán)境。所述技術(shù)還可用于廣泛范圍的其它環(huán)境和裝置，包含經(jīng)由物理電線(xiàn)、光纖或其它物理或無(wú)線(xiàn)媒體進(jìn)行通信的裝置。另外，所述編碼或解碼技術(shù)還可應(yīng)用于不一定與任何其它裝置進(jìn)行通信的獨(dú)立裝置中。舉例來(lái)說(shuō)，視頻解碼器28可駐留于數(shù)字媒體播放器或其它裝置中，且經(jīng)由流式傳輸、下載或存儲(chǔ)媒體接收經(jīng)編碼的視頻數(shù)據(jù)。因此，出于對(duì)實(shí)例性實(shí)施方案的說(shuō)明的目的來(lái)描述源裝置12和目的地裝置16彼此通信的描繪，且不應(yīng)視為對(duì)本發(fā)明中所描述的技術(shù)進(jìn)行限制，所述技術(shù)可通常適用于多種環(huán)境、應(yīng)用或?qū)嵤┓桨钢械囊曨l譯碼。
[0040]或者，可從輸出接口 24將經(jīng)編碼數(shù)據(jù)輸出到存儲(chǔ)裝置17。類(lèi)似地，可通過(guò)視頻解碼器28從存儲(chǔ)裝置17存取經(jīng)編碼數(shù)據(jù)。存儲(chǔ)裝置17可包含多種分布式或本地存取的數(shù)據(jù)存儲(chǔ)媒體中的任一者，例如硬盤(pán)驅(qū)動(dòng)器、藍(lán)光光盤(pán)、DVD、CD-ROM、快閃存儲(chǔ)器、易失性或非易失性存儲(chǔ)器，或用于存儲(chǔ)經(jīng)編碼視頻數(shù)據(jù)的任何其它合適的數(shù)字存儲(chǔ)媒體。在進(jìn)一步的實(shí)例中，存儲(chǔ)裝置17可對(duì)應(yīng)于文件服務(wù)器或可保留由源裝置12產(chǎn)生的經(jīng)編碼視頻的另一中間存儲(chǔ)裝置。目的地裝置16可經(jīng)由流式傳輸或下載而存取來(lái)自存儲(chǔ)裝置17的所存儲(chǔ)的視頻數(shù)據(jù)。文件服務(wù)器可為能夠存儲(chǔ)經(jīng)編碼視頻數(shù)據(jù)和將所述經(jīng)編碼視頻數(shù)據(jù)發(fā)射到目的地裝置16的任何類(lèi)型的服務(wù)器。實(shí)例性文件服務(wù)器包含網(wǎng)絡(luò)服務(wù)器(例如，用于網(wǎng)站)、FTP服務(wù)器、網(wǎng)絡(luò)附接式存儲(chǔ)(NAS)裝置，或本地磁盤(pán)驅(qū)動(dòng)器。目的地裝置16可通過(guò)任何標(biāo)準(zhǔn)的數(shù)據(jù)連接(包含因特網(wǎng)連接)來(lái)存取經(jīng)編碼視頻數(shù)據(jù)。此可包含無(wú)線(xiàn)信道(例如，W1-Fi連接)、有線(xiàn)連接(例如，DSL、纜線(xiàn)調(diào)制解調(diào)器，等等)，或適合于存取存儲(chǔ)于文件服務(wù)器上的經(jīng)編碼視頻數(shù)據(jù)的以上兩者的組合。經(jīng)編碼視頻數(shù)據(jù)從存儲(chǔ)裝置17的傳輸可為流式傳輸、下載傳輸，或兩者的組合。
[0041]在圖1的實(shí)例中，源裝置12包含視頻源20、深度處理單元21、視頻編碼器22和輸出接口 24。目的地裝置16包含輸入接口 26、視頻解碼器28和顯示裝置30。根據(jù)本發(fā)明，源裝置12的視頻編碼器22可經(jīng)配置以應(yīng)用本發(fā)明的技術(shù)中的一者或一者以上以作為視頻編碼過(guò)程的部分。類(lèi)似地，目的地裝置16的視頻解碼器28可經(jīng)配置以應(yīng)用本發(fā)明的技術(shù)中的一者或一者以上以作為視頻解碼過(guò)程的部分。
[0042]視頻編碼器22還可應(yīng)用變換、量化和熵譯碼過(guò)程以進(jìn)一步減小與殘余塊的通信相關(guān)聯(lián)的位率。變換技術(shù)可包括離散余弦變換(DCT)或概念上類(lèi)似的過(guò)程。或者，可使用小波變換、整數(shù)變換或其它類(lèi)型的變換。在DCT過(guò)程中，作為一實(shí)例，將一組像素值轉(zhuǎn)換為表示頻域中的像素值的能量的變換系數(shù)。視頻編碼器22還可量化變換系數(shù)，其可一般涉及減少與對(duì)應(yīng)的變換系數(shù)相關(guān)聯(lián)的位數(shù)目的過(guò)程。熵譯碼可包含共同地壓縮數(shù)據(jù)以供輸出到位流的一個(gè)或一個(gè)以上過(guò)程，其中經(jīng)壓縮的數(shù)據(jù)可包含(例如)譯碼模式、運(yùn)動(dòng)信息、經(jīng)譯碼塊模式和經(jīng)量化變換系數(shù)的序列。熵譯碼的實(shí)例包含(但不限于)上下文自適應(yīng)可變長(zhǎng)度譯碼(CAVLC)和上下文自適應(yīng)二進(jìn)制算術(shù)譯碼(CABAC)。
[0043]經(jīng)譯碼視頻塊可由可用于創(chuàng)建或識(shí)別預(yù)測(cè)塊的預(yù)測(cè)信息以及可應(yīng)用于預(yù)測(cè)塊以重新創(chuàng)建原始?jí)K的殘余數(shù)據(jù)塊表示。預(yù)測(cè)信息可包括用以識(shí)別預(yù)測(cè)數(shù)據(jù)塊的一個(gè)或一個(gè)以上運(yùn)動(dòng)向量。通過(guò)使用所述運(yùn)動(dòng)向量，視頻解碼器28可能夠重構(gòu)曾用于對(duì)殘余塊進(jìn)行譯碼的預(yù)測(cè)塊。因此，給定一組殘余塊和一組運(yùn)動(dòng)向量(以及可能一些額外語(yǔ)法)，視頻解碼器28可重構(gòu)曾最初被編碼的視頻幀?；趲g譯碼的運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償可在不具有過(guò)多的數(shù)據(jù)損失的情況下實(shí)現(xiàn)相對(duì)高的壓縮量，因?yàn)檫B續(xù)的視頻幀或其它類(lèi)型的經(jīng)譯碼單元常常是類(lèi)似的。經(jīng)編碼視頻序列可包括殘余數(shù)據(jù)塊、運(yùn)動(dòng)向量(當(dāng)被幀間預(yù)測(cè)編碼時(shí))、用于幀內(nèi)預(yù)測(cè)的幀內(nèi)預(yù)測(cè)模式的指示，以及語(yǔ)法元素。
[0044]視頻編碼器22還可利用幀內(nèi)預(yù)測(cè)技術(shù)相對(duì)于共同幀或切片的相鄰視頻塊而對(duì)視頻塊進(jìn)行編碼。以此方式，視頻編碼器22在空間上預(yù)測(cè)塊。視頻編碼器22可用多種幀內(nèi)預(yù)測(cè)模式進(jìn)行配置，所述多種幀內(nèi)預(yù)測(cè)模式一般對(duì)應(yīng)于各種空間預(yù)測(cè)方向。與運(yùn)動(dòng)估計(jì)一樣，視頻編碼器22可經(jīng)配置以基于塊的明度分量來(lái)選擇幀內(nèi)預(yù)測(cè)模式，隨后再用所述幀內(nèi)預(yù)測(cè)模式對(duì)塊的深度分量進(jìn)行編碼。另外，根據(jù)本發(fā)明的技術(shù)，視頻編碼器22可再用幀內(nèi)預(yù)測(cè)模式對(duì)塊的深度分量進(jìn)行編碼。
[0045]通過(guò)再用運(yùn)動(dòng)和幀內(nèi)預(yù)測(cè)模式信息對(duì)塊的深度分量進(jìn)行編碼，這些技術(shù)可簡(jiǎn)化編碼深度圖的過(guò)程。另外，本文中所描述的技術(shù)可提高位流效率。也就是說(shuō)，所述位流僅需要指示一次處于紋理視圖分量的切片標(biāo)頭中的一些語(yǔ)法元素，而不是用信號(hào)發(fā)送深度視圖分量的切片的切片標(biāo)頭中的額外的語(yǔ)法元素。
[0046]任選地，紋理視圖分量可以相同方式再用其對(duì)應(yīng)的深度視圖分量。
[0047]再者，圖1的所說(shuō)明的系統(tǒng)10僅是一個(gè)實(shí)例?？赏ㄟ^(guò)支持基于塊的預(yù)測(cè)編碼的任何編碼裝置，或通過(guò)支持基于塊的預(yù)測(cè)解碼的任何解碼裝置來(lái)執(zhí)行本發(fā)明的各種技術(shù)。源裝置12及目的地裝置16僅為此些譯碼裝置的實(shí)例，其中源裝置12產(chǎn)生用于發(fā)射到目的地裝置16的經(jīng)譯碼視頻數(shù)據(jù)。在一些情況下，裝置12和16可以大體上對(duì)稱(chēng)的方式操作，以使得裝置12和16中的每一者包含視頻編碼和解碼組件。因此，系統(tǒng)10可支持視頻裝置12和16之間的單向或雙向視頻發(fā)射，例如用于視頻流式傳輸、視頻回放、視頻廣播或視頻電話(huà)。
[0048]源裝置12的視頻源20包含視頻俘獲裝置，例如攝像機(jī)、含有先前所俘獲的視頻的視頻存檔，或來(lái)自視頻內(nèi)容提供者的視頻饋入?；蛘撸曨l源20可產(chǎn)生基于計(jì)算機(jī)圖形的數(shù)據(jù)作為源視頻，或直播視頻(live video)、經(jīng)存檔視頻和/或計(jì)算機(jī)產(chǎn)生的視頻的組合。在一些情況下，如果視頻源20是攝像機(jī)，那么源裝置12和目的地裝置16可形成所謂的相機(jī)電話(huà)或視頻電話(huà)，或經(jīng)配置以操縱視頻數(shù)據(jù)的其它移動(dòng)裝置，例如平板計(jì)算裝置。在每一情況下，視頻編碼器22可對(duì)所俘獲、所預(yù)俘獲或計(jì)算機(jī)產(chǎn)生的視頻進(jìn)行編碼。視頻源20俘獲視圖且將視圖轉(zhuǎn)發(fā)給深度處理單元21。
[0049]視頻源20將視圖2發(fā)送到深度處理單元21以用于計(jì)算視圖2中的對(duì)象的深度圖像。在一些實(shí)例中，視圖2包括一個(gè)以上視圖。可針對(duì)由視頻源20俘獲的視圖2中的對(duì)象來(lái)確定深度圖像。深度處理單元21經(jīng)配置以自動(dòng)計(jì)算視圖2的圖像中的對(duì)象的深度值。舉例來(lái)說(shuō)，深度處理單元21基于明度信息來(lái)計(jì)算對(duì)象的深度值。在一些實(shí)例中，深度處理單元21經(jīng)配置以從用戶(hù)接收深度信息。在一些實(shí)例中，視頻源20可以不同角度俘獲場(chǎng)景的兩個(gè)視圖，且基于兩個(gè)視圖中的對(duì)象之間的視差來(lái)計(jì)算場(chǎng)景中的對(duì)象的深度信息。在各種實(shí)例中，視頻源20可包括標(biāo)準(zhǔn)的二維相機(jī)、提供場(chǎng)景的立體視圖的二相機(jī)系統(tǒng)、俘獲場(chǎng)景的多個(gè)視圖的相機(jī)陣列，或俘獲一個(gè)視圖加上深度信息的相機(jī)。
[0050]深度處理單元21將紋理視圖分量4和深度視圖分量6發(fā)送到視頻編碼器22。深度處理單元21還可將視圖2直接發(fā)送到視頻解碼器22。深度信息6包括視圖2的深度圖圖像。深度圖可包括與將顯示的區(qū)域(例如，塊、切片或幀)相關(guān)聯(lián)的每一像素區(qū)的深度值的圖。像素區(qū)包含單個(gè)像素或一個(gè)或一個(gè)以上像素的群組。深度圖的一些實(shí)例針對(duì)每個(gè)像素具有一個(gè)深度分量。在其它實(shí)例中，每個(gè)像素存在多個(gè)深度分量?？梢詫?shí)質(zhì)上類(lèi)似于紋理數(shù)據(jù)的方式，例如相對(duì)于其它先前經(jīng)譯碼深度數(shù)據(jù)而使用幀內(nèi)預(yù)測(cè)或幀間預(yù)測(cè)，來(lái)對(duì)深度圖進(jìn)行譯碼。在其它實(shí)例中，以不同于紋理數(shù)據(jù)被譯碼的方式對(duì)深度圖進(jìn)行譯碼。
[0051]在一些實(shí)例中可估計(jì)深度圖。當(dāng)一個(gè)以上視圖存在時(shí)，可使用立體匹配來(lái)估計(jì)深度圖。然而，在2D到3D的轉(zhuǎn)換中，估計(jì)深度可更困難。盡管如此，可使用通過(guò)各種方法估計(jì)的深度圖來(lái)用于根據(jù)基于深度圖像的再現(xiàn)(DIBR)的3D再現(xiàn)。
[0052]雖然視頻源20可包含場(chǎng)景的多個(gè)視圖，且深度處理單元21可基于所述多個(gè)視圖來(lái)計(jì)算深度信息，但源裝置12可一般針對(duì)場(chǎng)景的每一視圖發(fā)射一個(gè)視圖加上深度信息。
[0053]當(dāng)視圖2是數(shù)字靜態(tài)圖片時(shí)，視頻編碼器22可經(jīng)配置以將視圖2編碼為(例如)聯(lián)合照片專(zhuān)家組(JPEG)圖像。當(dāng)視圖2是視頻數(shù)據(jù)的幀時(shí)，視頻編碼器22經(jīng)配置以根據(jù)視頻譯碼標(biāo)準(zhǔn)對(duì)第一視圖50進(jìn)行編碼，所述視頻譯碼標(biāo)準(zhǔn)例如為運(yùn)動(dòng)圖片專(zhuān)家組(MPEG)、國(guó)際標(biāo)準(zhǔn)化組織(ISO) /國(guó)際電工委員會(huì)(IEC)MPEG — I視覺(jué)、ISO / IEC MPEG-2視覺(jué)、ISO /IEC MPEG-4 視覺(jué)、國(guó)際電信聯(lián)盟(ITU)H.261、ITU-T H.262、ITU-T H.263、ITU-T H.264 /MPEG-4, H.264高級(jí)視頻譯碼(AVC)、即將到來(lái)的高效率視頻譯碼(HEVC)標(biāo)準(zhǔn)(還被稱(chēng)作H.265)，或其它視頻編碼標(biāo)準(zhǔn)。視頻編碼器22可包含深度信息6以及經(jīng)編碼的圖像以形成經(jīng)譯碼塊8，所述經(jīng)譯碼塊包含經(jīng)編碼的圖像數(shù)據(jù)以及深度信息6。視頻編碼器22將經(jīng)譯碼塊8傳遞到輸出接口 24?？山?jīng)由鏈路15在包含信令信息以及經(jīng)譯碼塊8的位流中將經(jīng)譯碼塊8傳遞到輸入接口 26。
[0054]經(jīng)編碼視頻信息包含紋理分量4以及深度信息6。紋理分量4可包含視頻信息的明度(Iuma)和色度(chroma)分量。明度分量一般描述亮度，而色度分量一般描述色調(diào)。深度處理單元21從視圖2的深度圖提取深度信息6。視頻編碼器22可將紋理視圖分量4和深度視圖分量6編碼為經(jīng)編碼視頻數(shù)據(jù)的單個(gè)經(jīng)譯碼塊8。同樣，視頻編碼器22可對(duì)塊進(jìn)行編碼以使得將明度分量的運(yùn)動(dòng)或幀內(nèi)預(yù)測(cè)模式信息再用于色度分量和深度分量。用于紋理視圖分量的語(yǔ)法元素可用于預(yù)測(cè)深度視圖分量的類(lèi)似語(yǔ)法元素。
[0055]在一些實(shí)例中，可不使用視圖間預(yù)測(cè)技術(shù)對(duì)深度圖視圖分量進(jìn)行編碼，甚至在使用視圖間預(yù)測(cè)技術(shù)對(duì)對(duì)應(yīng)的紋理視圖分量進(jìn)行編碼時(shí)也如此。舉例來(lái)說(shuō)，當(dāng)使用視圖間預(yù)測(cè)來(lái)預(yù)測(cè)對(duì)應(yīng)的紋理視圖分量時(shí)，可使用視圖內(nèi)預(yù)測(cè)來(lái)預(yù)測(cè)深度圖視圖分量。舉例來(lái)說(shuō)，預(yù)測(cè)紋理視圖分量的視圖間會(huì)從作為對(duì)應(yīng)于所述紋理視圖分量的視圖的不同視圖的數(shù)據(jù)預(yù)測(cè)紋理視圖信息。相比而言，對(duì)深度視圖信息進(jìn)行視圖內(nèi)預(yù)測(cè)會(huì)從與對(duì)應(yīng)于所述深度視圖信息的視圖相同的視圖的數(shù)據(jù)預(yù)測(cè)深度信息。
[0056]盡管使用不同地預(yù)測(cè)技術(shù)，但可從對(duì)應(yīng)的紋理視圖分量的切片標(biāo)頭中的對(duì)應(yīng)的語(yǔ)法元素來(lái)預(yù)測(cè)深度圖視圖分量的一些語(yǔ)法元素，或反之亦然。然而，深度圖視圖分量的切片標(biāo)頭信息可含有與參考圖片列表建構(gòu)相關(guān)的信息。也就是說(shuō)，可在深度圖視圖分量的切片標(biāo)頭中用信號(hào)發(fā)送與參考圖片列表建構(gòu)相關(guān)的信息。舉例來(lái)說(shuō)，可在深度圖視圖分量的切片標(biāo)頭中用信號(hào)發(fā)送所使用的參考圖片的數(shù)目以及使用哪些參考圖片來(lái)預(yù)測(cè)深度圖視圖分量的指示。還可在對(duì)應(yīng)的紋理視圖分量的切片標(biāo)頭中用信號(hào)發(fā)送類(lèi)似的信息。
[0057]在一些實(shí)例中，源裝置12包含根據(jù)例如碼分多址(CDMA)或另一通信標(biāo)準(zhǔn)等通信標(biāo)準(zhǔn)來(lái)調(diào)制經(jīng)譯碼塊8的調(diào)制解調(diào)器。調(diào)制解調(diào)器可包含各種混頻器、濾波器、放大器或經(jīng)設(shè)計(jì)以用于信號(hào)調(diào)制的其它組件。輸出接口 24可包含經(jīng)設(shè)計(jì)以用于發(fā)射數(shù)據(jù)的電路，包含放大器、濾波器及一個(gè)或一個(gè)以上天線(xiàn)。經(jīng)由輸出接口 24和鏈路15將經(jīng)譯碼塊8發(fā)射到目的地裝置16。在一些實(shí)例中，不經(jīng)由通信信道進(jìn)行發(fā)射，源裝置12將包含具有紋理分量和深度分量的塊的經(jīng)編碼視頻數(shù)據(jù)存儲(chǔ)到存儲(chǔ)裝置32中，所述存儲(chǔ)裝置例如為數(shù)字視頻光盤(pán)(DVD)、藍(lán)光光盤(pán)、快閃驅(qū)動(dòng)器等。
[0058]目的地裝置16的輸入接口 26經(jīng)由鏈路15接收信息。在一些實(shí)例中，目的地裝置16包含將信息解調(diào)的調(diào)制解調(diào)器。與輸出接口 24類(lèi)似，輸入接口 26可包含經(jīng)設(shè)計(jì)以用于接收數(shù)據(jù)的電路，包含放大器、濾波器及一個(gè)或一個(gè)以上天線(xiàn)。在一些實(shí)例中，輸出接口 24和/或輸入接口 26可并入包含接收和發(fā)射電路的單個(gè)收發(fā)器組件內(nèi)。調(diào)制解調(diào)器可包含各種混頻器、濾波器、放大器或經(jīng)設(shè)計(jì)以用于信號(hào)解調(diào)的其它組件。在一些實(shí)例中，調(diào)制解調(diào)器可包含用于執(zhí)行調(diào)制和解調(diào)兩者的組件。
[0059]而且，由視頻編碼器22執(zhí)行的視頻編碼過(guò)程可在可包含運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償?shù)膸g預(yù)測(cè)編碼以及幀內(nèi)預(yù)測(cè)編碼期間實(shí)施本文中所描述的技術(shù)中的一者或一者以上。由視頻解碼器28執(zhí)行的視頻解碼過(guò)程還可在解碼過(guò)程的運(yùn)動(dòng)補(bǔ)償階段期間執(zhí)行此些技術(shù)。
[0060]術(shù)語(yǔ)“譯碼器”在本文中用于指代執(zhí)行視頻編碼或視頻解碼的專(zhuān)用計(jì)算機(jī)裝置或設(shè)備。術(shù)語(yǔ)“譯碼器”一般指代任何視頻編碼器、視頻解碼器，或組合式編碼器/解碼器(編解碼器)。術(shù)語(yǔ)“譯碼”指代編碼或解碼。術(shù)語(yǔ)“經(jīng)譯碼塊”、“經(jīng)譯碼塊單元”或“經(jīng)譯碼單元”可指代視頻幀的任何可獨(dú)立解碼的單元，例如完整的幀、幀的切片、視頻數(shù)據(jù)塊，或根據(jù)所使用的譯碼技術(shù)界定的另一可獨(dú)立解碼的單元。
[0061]顯示裝置30向用戶(hù)顯示經(jīng)解碼的視頻數(shù)據(jù)，且可包括多種一個(gè)或一個(gè)以上顯示裝置中的任一者，例如陰極射線(xiàn)管(CRT)、液晶顯示器(IXD)、等離子體顯示器、有機(jī)發(fā)光二極管(OLED)顯示器或另一類(lèi)型的顯示裝置。在一些實(shí)例中，顯示裝置30對(duì)應(yīng)于能夠進(jìn)行三維回放的裝置。舉例來(lái)說(shuō)，顯示裝置30可包括立體顯示器，所述立體顯示器與觀看者佩戴的眼睛佩戴物結(jié)合使用。所述眼睛佩戴物可包括主動(dòng)式眼鏡，在此情況下，顯示裝置30與主動(dòng)式眼鏡的鏡片的交替快門(mén)同步地在不同視圖的圖像之間快速交替?；蛘撸鲅劬ε宕魑锟砂ū粍?dòng)式眼鏡，在此情況下，顯示裝置30同時(shí)顯示來(lái)自不同視圖的圖像，且被動(dòng)式眼鏡可包含偏光鏡片，所述偏光鏡片一般在正交方向上偏光以在不同視圖之間進(jìn)行濾波。
[0062]在圖1的實(shí)例中，鏈路15可包括任一無(wú)線(xiàn)或有線(xiàn)通信媒體，例如，射頻(RF)頻譜或一個(gè)或一個(gè)以上物理傳輸線(xiàn)、或無(wú)線(xiàn)和有線(xiàn)媒體的任一組合。鏈路15可形成例如局域網(wǎng)、廣域網(wǎng)或例如因特網(wǎng)的全球網(wǎng)絡(luò)的基于包的網(wǎng)絡(luò)的部分。鏈路15—般表示用于將視頻數(shù)據(jù)從源裝置12發(fā)射到目的地裝置16的任何合適的通信媒體或不同通信媒體的集合。鏈路15可包含可用于促進(jìn)從源裝置12到目的地裝置16的通信的路由器、交換器、基站或任何其它設(shè)備。
[0063]視頻編碼器22和視頻解碼器28可根據(jù)例如ITU-T H.264標(biāo)準(zhǔn)(或者被描述為MPEG-4第10部分，高級(jí)視頻譯碼(AVC))的視頻壓縮標(biāo)準(zhǔn)而操作?？捎梢曨l編碼器22和視頻解碼器28使用的基于ITU H.264 / AVC標(biāo)準(zhǔn)的額外視頻壓縮標(biāo)準(zhǔn)包含可縮放視頻譯碼(SVC)標(biāo)準(zhǔn)，其為對(duì)ITU H.264 / AVC標(biāo)準(zhǔn)的可縮放擴(kuò)展。視頻編碼器22和視頻解碼器28可根據(jù)其而操作的另一標(biāo)準(zhǔn)包含多視圖視頻譯碼(MVC)標(biāo)準(zhǔn)，其為對(duì)ITUH.264 / AVC標(biāo)準(zhǔn)的多視圖擴(kuò)展。然而，本發(fā)明的技術(shù)不限于任何特定視頻譯碼標(biāo)準(zhǔn)。
[0064]在一些方面中，視頻編碼器22及視頻解碼器28可各自與音頻編碼器及解碼器集成，且可包含適當(dāng)?shù)腗UX-DEMUX單元或其它硬件及軟件，以處置對(duì)共同數(shù)據(jù)流或單獨(dú)數(shù)據(jù)流中的音頻與視頻兩者的編碼。如果適用，MUX-DEMUX單元可遵照ITU H.223多路復(fù)用器協(xié)議或例如用戶(hù)數(shù)據(jù)報(bào)協(xié)議(UDP)等其它協(xié)議。
[0065]視頻編碼器22及視頻解碼器28各自可經(jīng)實(shí)施為一個(gè)或一個(gè)以上微處理器、數(shù)字信號(hào)處理器(DSP)、專(zhuān)用集成電路(ASIC)、現(xiàn)場(chǎng)可編程門(mén)陣列(FPGA)、離散邏輯、軟件、硬件、固件或其任何組合。當(dāng)以軟件實(shí)施本發(fā)明的技術(shù)中的任一者或全部時(shí)，實(shí)施裝置可進(jìn)一步包含用于存儲(chǔ)和/或執(zhí)行用于軟件的指令的硬件，例如用于存儲(chǔ)指令的存儲(chǔ)器以及用于執(zhí)行指令的一個(gè)或一個(gè)以上處理單元。視頻編碼器22和視頻解碼器28中的每一者可包含在一個(gè)或一個(gè)以上編碼器或解碼器中，其任一者可作為包含編碼和解碼能力的組合式編解碼器的部分集成在相應(yīng)的移動(dòng)裝置、訂戶(hù)裝置、廣播裝置、服務(wù)器等中。
[0066]視頻序列通常包含一連串視頻幀(還被稱(chēng)作視頻圖片)。視頻編碼器22對(duì)個(gè)別視頻幀內(nèi)的視頻塊進(jìn)行操作以便編碼視頻數(shù)據(jù)。所述視頻塊可具有固定的或變化的大小，且可根據(jù)指定的譯碼標(biāo)準(zhǔn)而大小不同。每一視頻幀包含一連串一個(gè)或一個(gè)以上切片。在ITU-TH.264標(biāo)準(zhǔn)中，舉例來(lái)說(shuō)，每一切片包含一連串宏塊，所述宏塊可布置到子塊中。H.264標(biāo)準(zhǔn)支持:以用于二維(2D)視頻編碼的各種塊大小進(jìn)行的幀內(nèi)預(yù)測(cè)，例如，針對(duì)明度分量的16乘16、8乘8或4乘4以及針對(duì)色度分量的8乘8 ;以及以各種塊大小進(jìn)行的幀間預(yù)測(cè)，例如，針對(duì)明度分量的16乘16、16乘8、8乘16、8乘8、8乘4、4乘8和4乘4以及針對(duì)色度分量的對(duì)應(yīng)經(jīng)縮放大小。視頻塊可包括像素?cái)?shù)據(jù)塊，或例如在例如離散余弦變換(DCT)或概念上類(lèi)似的變換過(guò)程等變換過(guò)程之后的變換系數(shù)塊。這些技術(shù)可擴(kuò)展到3D視頻。
[0067]通過(guò)將來(lái)自深度圖或取景視差圖的深度信息連同用于那個(gè)視頻幀或切片的相關(guān)聯(lián)的明度和色度分量(即，紋理分量)進(jìn)行編碼，ITU-T H.264的2D宏塊可擴(kuò)展到3D。取景視差映射(還被稱(chēng)作虛擬位移映射或偏移映射)基于在一像素位置處的視圖角度和高度圖的函數(shù)來(lái)移位所述像素位置處的紋理視圖分量。視頻編碼器22可將深度信息編碼為單色視頻。
[0068]為了編碼視頻塊(例如，經(jīng)譯碼塊)，視頻編碼器22執(zhí)行幀內(nèi)預(yù)測(cè)或幀間預(yù)測(cè)以產(chǎn)生一個(gè)或一個(gè)以上預(yù)測(cè)塊。視頻編碼器22從將被編碼的原始視頻塊中減去預(yù)測(cè)塊以產(chǎn)生殘余塊。因此，殘余塊可表示正被譯碼的塊與預(yù)測(cè)塊之間的逐像素差。視頻編碼器22可對(duì)殘余塊執(zhí)行變換以產(chǎn)生變換系數(shù)塊。在基于幀內(nèi)或幀間的預(yù)測(cè)譯碼和變換技術(shù)之后，視頻編碼器22可量化變換系數(shù)。量化一般指代其中將系數(shù)量化以可能地減少用于表示系數(shù)的數(shù)據(jù)量的過(guò)程。在量化之后，可根據(jù)例如上下文自適應(yīng)可變長(zhǎng)度譯碼(CAVLC)或上下文自適應(yīng)二進(jìn)制算術(shù)譯碼(CABAC)等熵譯碼方法來(lái)執(zhí)行熵譯碼。下文關(guān)于圖2來(lái)描述由視頻編碼器22執(zhí)行的編碼過(guò)程的額外細(xì)節(jié)。
[0069]當(dāng)前正在努力開(kāi)發(fā)新的視頻譯碼標(biāo)準(zhǔn)(當(dāng)前被稱(chēng)作高效視頻譯碼(HEVC))。即將到來(lái)的標(biāo)準(zhǔn)還被稱(chēng)作H.265。標(biāo)準(zhǔn)化努力是基于被稱(chēng)作HEVC測(cè)試模型(HM)的視頻譯碼裝置模型。HM假設(shè)視頻譯碼裝置有優(yōu)于根據(jù)(例如)ITU-T H.264 / AVC的裝置的若干能力。舉例來(lái)說(shuō)，盡管H.264包含九種幀內(nèi)預(yù)測(cè)編碼模式，但HM包含多達(dá)三十三種幀內(nèi)預(yù)測(cè)編碼模式。HEVC可經(jīng)擴(kuò)展以支持如本文中所描述的切片標(biāo)頭信息技術(shù)。
[0070]HM將視頻數(shù)據(jù)塊稱(chēng)作譯碼單元(CU)。位流內(nèi)的語(yǔ)法數(shù)據(jù)可定義最大譯碼單元(LCU)，其為在像素?cái)?shù)目方面的最大譯碼單元。一般來(lái)說(shuō)，CU具有與H.264的宏塊類(lèi)似的用途，只不過(guò)⑶不具有大小區(qū)別。根據(jù)HM標(biāo)準(zhǔn)，經(jīng)譯碼塊可為⑶。因此，⑶可被分裂為若干子CU。一般來(lái)說(shuō)，在本發(fā)明中對(duì)CU的參考可涉及圖片的最大譯碼單元(LCU)或LCU的子CU。LCU可被分裂成若干子CU，且每一子CU可被分裂成若干子CU。位流的語(yǔ)法數(shù)據(jù)可定義LCU可被分裂的最大倍數(shù)，被稱(chēng)作CU深度。因此，位流還可定義最小譯碼單元(SCU)。本發(fā)明還使用術(shù)語(yǔ)“塊”來(lái)指代CU、預(yù)測(cè)單元(PU)或變換單元(TU)中的任一者。
[0071]IXU可與四叉樹(shù)數(shù)據(jù)結(jié)構(gòu)相關(guān)聯(lián)。一般來(lái)說(shuō)，四叉樹(shù)數(shù)據(jù)結(jié)構(gòu)每個(gè)⑶包含一個(gè)節(jié)點(diǎn)，其中根節(jié)點(diǎn)對(duì)應(yīng)于LCU。如果將CU分裂為四個(gè)子CU，那么對(duì)應(yīng)于CU的節(jié)點(diǎn)包含四個(gè)葉節(jié)點(diǎn)，所述四個(gè)葉節(jié)點(diǎn)中的每一者對(duì)應(yīng)于子CU中的一者。所述四叉樹(shù)數(shù)據(jù)結(jié)構(gòu)的每一節(jié)點(diǎn)可包含對(duì)應(yīng)CU的語(yǔ)法數(shù)據(jù)。舉例來(lái)說(shuō)，四叉樹(shù)中的節(jié)點(diǎn)可包含分裂旗標(biāo)，從而指示對(duì)應(yīng)于所述節(jié)點(diǎn)的CU是否被分裂為子CU。可遞歸地定義CU的語(yǔ)法元素，且所述語(yǔ)法元素可取決于CU是否被分裂為子CU。[0072]未分裂的⑶可包含一個(gè)或一個(gè)以上預(yù)測(cè)單元(PU)。一般來(lái)說(shuō)，I3U表示對(duì)應(yīng)⑶的全部或一部分，且包含用于檢索PU的參考樣本的數(shù)據(jù)。舉例來(lái)說(shuō)，在對(duì)進(jìn)行幀內(nèi)模式編碼時(shí)，可包含描述的幀內(nèi)預(yù)測(cè)模式的數(shù)據(jù)。作為另一實(shí)例，在對(duì)進(jìn)行幀間模式編碼時(shí)，PU可包含界定PU的運(yùn)動(dòng)向量的數(shù)據(jù)。界定運(yùn)動(dòng)向量的數(shù)據(jù)可描述(例如)運(yùn)動(dòng)向量的水平分量、運(yùn)動(dòng)向量的垂直分量、運(yùn)動(dòng)向量的分辨率(例如，四分之一像素精度或八分之一像素精度)、運(yùn)動(dòng)向量指向的參考幀，和/或運(yùn)動(dòng)向量的參考列表(例如，列表O或列表I)。還可將運(yùn)動(dòng)向量處理為具有用于紋理視圖分量和深度視圖分量的不同分辨率。界定PU的CU的數(shù)據(jù)還可描述(例如)將CU分割為一個(gè)或一個(gè)以上ro。分割模式在CU未被譯碼、被幀內(nèi)預(yù)測(cè)模式編碼還是被幀間預(yù)測(cè)模式編碼之間可不同。
[0073]具有一個(gè)或一個(gè)以上I3U的⑶還可包含一個(gè)或一個(gè)以上變換單元(TU)。在使用PU進(jìn)行預(yù)測(cè)之后，視頻編碼器22可計(jì)算CU的對(duì)應(yīng)于的部分的殘余值。可變換、掃描和量化所述殘余值。TU不一定受限于PU的大小。因此，TU可比同一⑶的對(duì)應(yīng)PU更大或更小。在一些實(shí)例中，TU的最大大小可對(duì)應(yīng)于對(duì)應(yīng)CU的大小。
[0074]如上文所述，幀內(nèi)預(yù)測(cè)包含從一圖片的先前經(jīng)譯碼⑶來(lái)預(yù)測(cè)同一圖片的當(dāng)前⑶的PU。更具體來(lái)說(shuō)，視頻編碼器22可使用特定幀內(nèi)預(yù)測(cè)模式來(lái)對(duì)圖片的當(dāng)前CU進(jìn)行幀內(nèi)預(yù)測(cè)。HM編碼器可被配置有多達(dá)三十三種幀內(nèi)預(yù)測(cè)模式。因此，為了支持方向性幀內(nèi)預(yù)測(cè)模式與方向性變換之間的一對(duì)一映射，HM編碼器和解碼器將需要針對(duì)每一所支持的變換大小來(lái)存儲(chǔ)66個(gè)矩陣。此外，針對(duì)其而支持所有三十三種幀內(nèi)預(yù)測(cè)模式的塊大小可為相對(duì)大的塊，例如32 X 32像素、64 X 64像素，或更大。
[0075]在目的地裝置16中，視頻解碼器28接收經(jīng)編碼視頻數(shù)據(jù)8。視頻解碼器28根據(jù)例如CAVLC或CABAC等熵譯碼方法對(duì)例如經(jīng)譯碼塊等所接收的經(jīng)編碼視頻數(shù)據(jù)8進(jìn)行熵解碼，以獲得經(jīng)量化系數(shù)。視頻解碼器28應(yīng)用反量化(解量化)和反變換功能以在像素域中重構(gòu)殘余塊。視頻解碼器28還基于經(jīng)編碼視頻數(shù)據(jù)中所包含的控制信息或語(yǔ)法信息(例如，譯碼模式、運(yùn)動(dòng)向量、界定濾波器系數(shù)的語(yǔ)法等)而產(chǎn)生預(yù)測(cè)塊。視頻解碼器28計(jì)算預(yù)測(cè)塊與經(jīng)重構(gòu)的殘余塊的總和以產(chǎn)生用于顯示的經(jīng)重構(gòu)視頻塊。下文關(guān)于圖5來(lái)描述由視頻解碼器28執(zhí)行的實(shí)例性解碼過(guò)程的額外細(xì)節(jié)。
[0076]如本文中所描述，Y可表示明度，Cb和Cr可表示三維YCbCr色彩空間(例如，藍(lán)色和紅色色調(diào))的色度的兩個(gè)不同值，且D可表示深度信息。在一些實(shí)例中，每一像素位置可實(shí)際上界定用于三維色彩空間的三個(gè)像素值以及用于像素位置的深度的一個(gè)像素值。在其它實(shí)例中，每個(gè)色度分量可存在不同數(shù)目的明度分量。舉例來(lái)說(shuō)，每個(gè)深度分量可存在四個(gè)明度分量。另外，深度分量和紋理分量可具有不同的分辨率。在此實(shí)例中，在紋理視圖分量(例如，明度分量)與深度視圖分量之間可能不是一對(duì)一的關(guān)系。然而，本發(fā)明的技術(shù)可為了簡(jiǎn)單起見(jiàn)而涉及關(guān)于一個(gè)維度的預(yù)測(cè)。在關(guān)于一個(gè)維度上的像素值來(lái)描述技術(shù)的程度上，類(lèi)似技術(shù)可擴(kuò)展到其它維度。具體來(lái)說(shuō)，根據(jù)本發(fā)明的一個(gè)方面，視頻編碼器22和/或視頻解碼器28可獲得像素塊，其中像素塊包含紋理視圖分量和深度視圖分量。
[0077]在一些實(shí)例中，視頻編碼器22和視頻解碼器28可在運(yùn)動(dòng)補(bǔ)償期間使用一種或一種以上內(nèi)插濾波技術(shù)。也就是說(shuō)，視頻編碼器22和/或視頻解碼器28可應(yīng)用內(nèi)插濾波器來(lái)對(duì)包括多組全整數(shù)像素位置的支持進(jìn)行濾波。
[0078]目的地裝置16的視頻解碼器28連同包含與紋理視圖分量相關(guān)的語(yǔ)法信息的額外信息一起接收一個(gè)或一個(gè)以上經(jīng)譯碼塊以作為經(jīng)編碼視頻位流的部分。視頻編碼器28可基于經(jīng)譯碼塊8和語(yǔ)法元素來(lái)再現(xiàn)視頻數(shù)據(jù)以供3D回放。根據(jù)本發(fā)明的技術(shù)，且如下文更詳細(xì)地論述，針對(duì)紋理視圖分量4用信號(hào)發(fā)送的語(yǔ)法元素可用于預(yù)測(cè)深度視圖分量6的語(yǔ)法元素。可在紋理視圖分量4的切片標(biāo)頭中用信號(hào)發(fā)送語(yǔ)法元素?？蓮募y理視圖分量4的相關(guān)語(yǔ)法元素來(lái)確定深度視圖分量6的對(duì)應(yīng)語(yǔ)法元素。
[0079]可在紋理視圖分量4的切片標(biāo)頭中用信號(hào)發(fā)送深度視圖分量6的一些語(yǔ)法元素?；蛘撸稍谏疃纫晥D分量6的切片標(biāo)頭中用信號(hào)發(fā)送紋理視圖分量4的一些語(yǔ)法元素。在一些實(shí)例中，源裝置12的視頻編碼器22可經(jīng)配置以從參考切片標(biāo)頭來(lái)預(yù)測(cè)當(dāng)前視圖的切片標(biāo)頭的語(yǔ)法元素，且基于所預(yù)測(cè)的語(yǔ)法元素對(duì)當(dāng)前視圖進(jìn)行譯碼。在本發(fā)明的另一實(shí)例中，目的地裝置16的視頻解碼器30可經(jīng)配置以從參考切片標(biāo)頭來(lái)預(yù)測(cè)當(dāng)前視圖的切片標(biāo)頭的語(yǔ)法元素，且基于所預(yù)測(cè)的語(yǔ)法元素對(duì)當(dāng)前視圖進(jìn)行譯碼。
[0080]本發(fā)明的技術(shù)描述切片標(biāo)頭3DV擴(kuò)展?？蓱?yīng)用所述技術(shù)從存儲(chǔ)于同一視圖以及同一存取單元的位于同一地點(diǎn)的紋理視圖分量的切片標(biāo)頭中的語(yǔ)法元素來(lái)預(yù)測(cè)深度視圖分量的語(yǔ)法元素。所述存取單元可為包含紋理視圖分量和對(duì)應(yīng)的深度視圖分量的網(wǎng)絡(luò)抽象層(NAL)單元?？稍谇衅瑯?biāo)頭層級(jí)處控制對(duì)語(yǔ)法元素的預(yù)測(cè)?？蓮膮⒖记衅瑯?biāo)頭預(yù)測(cè)深度視圖分量或紋理視圖分量的切片標(biāo)頭中的一些語(yǔ)法元素。
[0081]在一個(gè)實(shí)例中，參考切片標(biāo)頭是來(lái)自與所預(yù)測(cè)的語(yǔ)法元素相同的存取單元的相同視圖中的視圖分量，或來(lái)自相同的存取單元的高級(jí)視頻譯碼(AVC)相容的基礎(chǔ)視圖紋理?；蛘?，深度視圖分量的參考切片標(biāo)頭是相同視圖的紋理視圖分量的切片標(biāo)頭，或解碼次序中的第一視圖的深度視圖分量的切片標(biāo)頭。可用信號(hào)發(fā)送增量視圖次序索引ID以指示從相同的存取單元中預(yù)測(cè)切片標(biāo)頭。在進(jìn)一步的實(shí)例中，可用信號(hào)發(fā)送指示是從深度視圖分量還是紋理視圖分量來(lái)預(yù)測(cè)參考切片標(biāo)頭的旗標(biāo)。還可在經(jīng)譯碼位流中用信號(hào)發(fā)送特定視圖。
[0082]對(duì)切片標(biāo)頭預(yù)測(cè)的其它擴(kuò)展可包含以與用于AVC切片標(biāo)頭中的切片標(biāo)頭語(yǔ)法元素的次序不同的次序來(lái)布置切片標(biāo)頭的語(yǔ)法元素。在其它實(shí)例中，每一切片標(biāo)頭3DV擴(kuò)展中的控制旗標(biāo)可指不是否預(yù)測(cè) slice_type、num_ref_idx_10active_minusl> num_ref_idx_ll_active_minusl以及參考圖片列表修改。在一些技術(shù)中，當(dāng)啟用對(duì)參考圖片列表修改的預(yù)測(cè)時(shí)，可基于新引入的參考圖片列表擴(kuò)展或插入語(yǔ)法表來(lái)提煉參考圖片列表修改。
[0083]在一些實(shí)例中，僅在切片標(biāo)頭3DV擴(kuò)展中用信號(hào)發(fā)送上文所描述的旗標(biāo)或其它指示。在指示深度視圖分量或紋理視圖分量之后，可進(jìn)一步用信號(hào)發(fā)送存取單元中的給定視圖分量的切片的切片ID。此外，可在切片標(biāo)頭中或在對(duì)應(yīng)的網(wǎng)絡(luò)抽象層(NAL)單元標(biāo)頭中用信號(hào)發(fā)送每一視圖分量的每一切片的切片ID。
[0084]圖2是進(jìn)一步詳細(xì)地說(shuō)明圖1的視頻編碼器22的一實(shí)例的方框圖。與本發(fā)明的技術(shù)一致地，視頻編碼器22對(duì)用信號(hào)發(fā)送可用于預(yù)測(cè)深度視圖分量的語(yǔ)法元素的紋理視圖分量的語(yǔ)法元素的塊單元進(jìn)行編碼。視頻編碼器22是在本文被稱(chēng)作“譯碼器”的專(zhuān)用視頻計(jì)算機(jī)裝置或設(shè)備的一個(gè)實(shí)例。如圖2中所示，視頻編碼器22對(duì)應(yīng)于源裝置12的視頻編碼器22。然而，在一個(gè)實(shí)例中，視頻編碼器22可對(duì)應(yīng)于不同的裝置。在進(jìn)一步的實(shí)例中，其它單元(例如，其它編碼器/解碼器(CODECS))也可執(zhí)行與由視頻編碼器22執(zhí)行的技術(shù)類(lèi)似的技術(shù)。[0085]視頻編碼器22可執(zhí)行對(duì)視頻幀內(nèi)的塊的幀內(nèi)譯碼或幀間譯碼中的至少一者，但為了便于說(shuō)明，在圖2中未展示幀內(nèi)譯碼組件。幀內(nèi)譯碼依賴(lài)于空間預(yù)測(cè)以減少或移除給定視頻幀內(nèi)的視頻中的空間冗余。幀間譯碼依賴(lài)于時(shí)間預(yù)測(cè)以減少或移除視頻序列的鄰近幀內(nèi)的視頻中的時(shí)間冗余。幀內(nèi)模式(I模式)可指代基于空間的壓縮模式。例如預(yù)測(cè)(P模式)或雙向(B模式)等幀間模式可指代基于時(shí)間的壓縮模式。本發(fā)明的技術(shù)在幀間譯碼和幀內(nèi)譯碼期間適用。然而，為了說(shuō)明的簡(jiǎn)明和便利，在圖2中未說(shuō)明例如空間預(yù)測(cè)單元等幀內(nèi)譯碼單元。
[0086]如圖2中所示，視頻編碼器22接收待編碼視頻幀內(nèi)的視頻塊。在一個(gè)實(shí)例中，視頻編碼器22接收紋理視圖分量4和深度視圖分量6。在另一實(shí)例中，視頻編碼器從視頻源20接收視圖2。
[0087]在圖2的實(shí)例中，視頻編碼器22包含預(yù)測(cè)處理單元32、預(yù)測(cè)譯碼單元(MCU)、多視圖視頻加上深度(MVD)單元33、存儲(chǔ)器34、第一加法器48、變換處理單元38、量化單元40和熵譯碼單元46。為了視頻塊重構(gòu)，視頻編碼器22還包含反量化單元42、反變換處理單元
44、第二加法器51和解塊單元43。解塊單元43是對(duì)塊邊界進(jìn)行濾波以從經(jīng)重構(gòu)的視頻移除成塊性假影的解塊濾波器。如果包含于視頻編碼器22中，那么解塊單元43將通常對(duì)第二加法器51的輸出進(jìn)行濾波。解塊單元43可確定一個(gè)或一個(gè)以上紋理視圖分量的解塊信息。解塊單元43還可確定深度圖分量的解塊信息。在一些實(shí)例中，一個(gè)或一個(gè)以上紋理分量的解塊信息可不同于深度圖分量的解塊信息。在一個(gè)實(shí)例中，如圖2中所示，變換處理單元38表示與依據(jù)HEVC的“TU”相對(duì)的功能塊。
[0088]多視圖視頻加上深度(MVD)單元33接收包括紋理分量和深度信息(例如，紋理視圖分量4和深度視圖分量6)的一個(gè)或一個(gè)以上視頻塊(圖2中標(biāo)記為“視頻塊”)。MVD單元33向視頻編碼器22提供對(duì)塊單元中的深度分量進(jìn)行編碼的功能性。MVD單元33以使得預(yù)測(cè)處理單元32能夠處理深度信息的格式向預(yù)測(cè)處理單元32組合地或單獨(dú)地發(fā)送紋理視圖分量和深度視圖分量。MVD單兀33還可向變換處理單兀38用信號(hào)通知深度視圖分量與視頻塊包含在一起。在其它實(shí)例中，視頻編碼器22的每一單元(例如，預(yù)測(cè)處理單元32、變換處理單元38、量化單元40、熵譯碼單元46等)包括用以處理除了紋理視圖分量之外的深度信息的功能性。
[0089]一般來(lái)說(shuō)，視頻編碼器22以類(lèi)似于色度信息的方式對(duì)深度信息進(jìn)行編碼，原因在于運(yùn)動(dòng)補(bǔ)償單元37經(jīng)配置以在計(jì)算一塊的深度分量的預(yù)測(cè)值時(shí)會(huì)再用針對(duì)同一塊的明度分量所計(jì)算的運(yùn)動(dòng)向量。類(lèi)似地，視頻編碼器22的幀內(nèi)預(yù)測(cè)單元可經(jīng)配置以在使用幀內(nèi)預(yù)測(cè)編碼深度視圖分量時(shí)使用針對(duì)明度分量(即，基于對(duì)明度分量的分析)所選擇的幀內(nèi)預(yù)測(cè)模式。
[0090]預(yù)測(cè)處理單元32包含運(yùn)動(dòng)估計(jì)(ME)單元35和運(yùn)動(dòng)補(bǔ)償(MC)單元37。預(yù)測(cè)處理單元32預(yù)測(cè)像素位置的深度信息以及紋理分量。一個(gè)或一個(gè)以上內(nèi)插濾波器39 (在本文被稱(chēng)作“濾波器39”)可包含于預(yù)測(cè)處理單元32中且可由ME單元35和MC單元37中的一者或兩者調(diào)用來(lái)執(zhí)行內(nèi)插以作為運(yùn)動(dòng)估計(jì)和/或運(yùn)動(dòng)補(bǔ)償?shù)牟糠?。?nèi)插濾波器39可實(shí)際上表示用以促進(jìn)眾多不同類(lèi)型的內(nèi)插和內(nèi)插類(lèi)型的濾波的多個(gè)不同濾波器。因此，預(yù)測(cè)處理單元32可包含多個(gè)內(nèi)插或類(lèi)內(nèi)插濾波器。
[0091]在編碼過(guò)程期間，視頻編碼器22接收將被譯碼的視頻塊(圖2中標(biāo)記為“視頻塊”)，且預(yù)測(cè)處理單元32執(zhí)行幀間預(yù)測(cè)譯碼以產(chǎn)生預(yù)測(cè)塊(圖2中標(biāo)記為“預(yù)測(cè)塊”)。預(yù)測(cè)塊包含紋理視圖分量和深度視圖信息兩者。具體來(lái)說(shuō)，ME單元35可執(zhí)行運(yùn)動(dòng)估計(jì)來(lái)識(shí)別存儲(chǔ)器34中的預(yù)測(cè)塊，且MC單元37可執(zhí)行運(yùn)動(dòng)補(bǔ)償來(lái)產(chǎn)生預(yù)測(cè)塊。
[0092]運(yùn)動(dòng)估計(jì)通常被視為產(chǎn)生估計(jì)視頻塊的運(yùn)動(dòng)的運(yùn)動(dòng)向量的過(guò)程。運(yùn)動(dòng)向量(例如)可指示預(yù)測(cè)或參考幀(或其它經(jīng)譯碼單元，例如切片)內(nèi)的預(yù)測(cè)塊相對(duì)于當(dāng)前幀(或其它經(jīng)譯碼單元)內(nèi)將被譯碼的塊的位移。運(yùn)動(dòng)向量可具有全整數(shù)或子整數(shù)像素精度。舉例來(lái)說(shuō)，運(yùn)動(dòng)向量的水平分量和垂直分量?jī)烧呖删哂邢鄳?yīng)的全整數(shù)分量和子整數(shù)分量。參考幀(或幀的部分)可在時(shí)間上位于當(dāng)前視頻塊所屬的視頻幀(或視頻幀的部分)之前或之后。運(yùn)動(dòng)補(bǔ)償通常被視為從存儲(chǔ)器34獲取預(yù)測(cè)塊或產(chǎn)生預(yù)測(cè)塊的過(guò)程，所述過(guò)程可包含基于由運(yùn)動(dòng)估計(jì)確定的運(yùn)動(dòng)向量來(lái)內(nèi)插或以其它方式產(chǎn)生預(yù)測(cè)數(shù)據(jù)。
[0093]ME單元35通過(guò)將視頻塊與一個(gè)或一個(gè)以上參考幀(例如，前一和/或后一幀)的參考?jí)K進(jìn)行比較來(lái)計(jì)算將被譯碼的視頻塊的至少一個(gè)運(yùn)動(dòng)向量。參考幀的數(shù)據(jù)可存儲(chǔ)于存儲(chǔ)器34中。ME單元35可執(zhí)行具有分?jǐn)?shù)像素精度的運(yùn)動(dòng)估計(jì)，其有時(shí)被稱(chēng)作分?jǐn)?shù)像素(fractional pixel)、分?jǐn)?shù)像素(fractional pel)、子整數(shù)或子像素運(yùn)動(dòng)估計(jì)。在分?jǐn)?shù)像素運(yùn)動(dòng)估計(jì)中，ME單元35計(jì)算指示到除了整數(shù)像素位置之外的位置的位移的運(yùn)動(dòng)向量。因此，運(yùn)動(dòng)向量可具有分?jǐn)?shù)像素精度，例如，二分之一像素精度、四分之一像素精度、八分之一像素精度，或其它分?jǐn)?shù)像素精度。以此方式，分?jǐn)?shù)像素運(yùn)動(dòng)估計(jì)允許預(yù)測(cè)處理單元32估計(jì)具有比整數(shù)像素(或全像素)位置高的精度的運(yùn)動(dòng)，且因此，預(yù)測(cè)處理單元32產(chǎn)生更準(zhǔn)確的預(yù)測(cè)塊。分?jǐn)?shù)像素運(yùn)動(dòng)估計(jì)允許預(yù)測(cè)處理單元32以第一分辨率預(yù)測(cè)深度信息，且以第二分辨率預(yù)測(cè)紋理分量。舉例來(lái)說(shuō)，將紋理分量預(yù)測(cè)為全像素精度，而將深度信息預(yù)測(cè)為二分之一像素精度。在其它實(shí)例中，可使用運(yùn)動(dòng)向量的其它分辨率來(lái)用于深度信息和紋理分量。
[0094]ME單元35可調(diào)用一個(gè)或一個(gè)以上濾波器39來(lái)用于運(yùn)動(dòng)估計(jì)過(guò)程期間的任何必要的內(nèi)插。在一些實(shí)例中，存儲(chǔ)器34可存儲(chǔ)子整數(shù)像素的經(jīng)內(nèi)插值，所述經(jīng)內(nèi)插值可由(例如)加法器51使用濾波器39來(lái)計(jì)算。舉例來(lái)說(shuō)，加法器51可將濾波器39應(yīng)用于將存儲(chǔ)于存儲(chǔ)器34中的經(jīng)重構(gòu)塊。
[0095]一旦預(yù)測(cè)處理單元32已產(chǎn)生預(yù)測(cè)塊，視頻編碼器22便通過(guò)從正被譯碼的原始視頻塊減去預(yù)測(cè)塊來(lái)形成殘余視頻塊(圖2中標(biāo)記為“殘余塊”)。此減法可發(fā)生在原始視頻塊中的紋理分量與預(yù)測(cè)塊中的紋理分量之間，以及針對(duì)原始視頻塊中的深度信息或來(lái)自預(yù)測(cè)塊中的深度信息的深度圖而發(fā)生。加法器48表示執(zhí)行此減法運(yùn)算的組件。
[0096]變換處理單元38可對(duì)殘余塊應(yīng)用變換(例如，離散余弦變換(DCT)或概念上類(lèi)似的變換)，從而產(chǎn)生包括殘余變換塊系數(shù)的視頻塊。應(yīng)理解，變換處理單元38表示將變換應(yīng)用于視頻數(shù)據(jù)塊的殘余系數(shù)(與如由HEVC定義的CU的TU形成對(duì)比)的視頻編碼器22的組件。變換處理單元38可例如執(zhí)行概念上類(lèi)似于DCT的其它變換，例如由H.264標(biāo)準(zhǔn)定義的變換。此些變換包含(例如)方向性變換(例如，卡胡南-羅孚(Karhunen-Loeve)法則變換)，小波變換、整數(shù)變換、子帶變換，或其它類(lèi)型的變換。在任何情況下，變換處理單元38對(duì)殘余塊應(yīng)用所述變換，從而產(chǎn)生殘余變換系數(shù)塊。變換處理單元38可將相同類(lèi)型的變換應(yīng)用于對(duì)應(yīng)的殘余塊中的紋理分量和深度信息兩者。將存在每一紋理和深度分量的單獨(dú)殘余塊。所述變換將殘余信息從像素域轉(zhuǎn)換為頻域。
[0097]量化單元40量化殘余變換系數(shù)以進(jìn)一步減小位率。量化過(guò)程可減小與系數(shù)中的一些或全部相關(guān)聯(lián)的位深度。量化單元40可量化深度圖像譯碼殘余值。在量化之后，熵譯碼單元46對(duì)經(jīng)量化變換系數(shù)進(jìn)行熵譯碼。舉例來(lái)說(shuō)，熵譯碼單元46可執(zhí)行CAVLC、CABAC或另一熵譯碼方法。
[0098]熵譯碼單元46還可對(duì)從預(yù)測(cè)處理單元32或視頻編碼器22的其它組件(例如，量化單元40)獲得的一個(gè)或一個(gè)以上運(yùn)動(dòng)向量和支持信息進(jìn)行譯碼。一個(gè)或一個(gè)以上預(yù)測(cè)語(yǔ)法元素可包含譯碼模式、一個(gè)或一個(gè)以上運(yùn)動(dòng)向量的數(shù)據(jù)(例如，水平分量和垂直分量、參考列表識(shí)別符、列表索引，和/或運(yùn)動(dòng)向量分辨率信令信息)、所使用的內(nèi)插技術(shù)的指示、一組濾波器系數(shù)、深度圖像與明度分量的分辨率的相對(duì)分辨率的指示、深度圖像譯碼殘余值的量化矩陣、深度圖像的解塊信息，或與預(yù)測(cè)塊的產(chǎn)生相關(guān)聯(lián)的其它信息?？稍谛蛄袑蛹?jí)中或在圖片層級(jí)中包含這些預(yù)測(cè)語(yǔ)法元素。
[0099]所述一個(gè)或一個(gè)以上語(yǔ)法元素還可包含明度分量與深度分量之間的量化參數(shù)(QP)差。所述QP差可在切片層級(jí)處用信號(hào)發(fā)送，且可包含于紋理視圖分量的切片標(biāo)頭中。還可在經(jīng)譯碼塊單元層級(jí)處用信號(hào)發(fā)送其它語(yǔ)法元素，包含深度視圖分量的經(jīng)譯碼塊模式、深度視圖分量的增量QP、運(yùn)動(dòng)向量差，或與預(yù)測(cè)塊的產(chǎn)生相關(guān)聯(lián)的其它信息。可將運(yùn)動(dòng)向量差作為目標(biāo)運(yùn)動(dòng)向量與紋理分量的運(yùn)動(dòng)向量之間的增量值，或作為目標(biāo)運(yùn)動(dòng)向量(即，正被譯碼的塊的運(yùn)動(dòng)向量)與來(lái)自塊(例如，CU的PU)的相鄰運(yùn)動(dòng)向量的預(yù)測(cè)符之間的增量值而用信號(hào)發(fā)送。在熵譯碼單元46進(jìn)行的熵譯碼之后，可將經(jīng)編碼視頻和語(yǔ)法元素發(fā)射到另一裝置或加以存檔(例如，存檔在存儲(chǔ)器34中)以用于稍后發(fā)射或檢索。
[0100]反量化單元42和反變換處理單元44分別應(yīng)用反量化和反變換，以在像素域中重構(gòu)殘余塊，(例如)以用于稍后用作參考?jí)K。經(jīng)重構(gòu)殘余塊(在圖2中標(biāo)記為“經(jīng)重構(gòu)殘余塊”)可表示發(fā)送到變換處理單元38的殘余塊的經(jīng)重構(gòu)版本。歸因于量化和反量化操作而導(dǎo)致的細(xì)節(jié)的損失，經(jīng)重構(gòu)殘余塊可能不同于由加法器48產(chǎn)生的殘余塊。加法器51將所述經(jīng)重構(gòu)的殘余塊與由預(yù)測(cè)處理單元32產(chǎn)生的經(jīng)運(yùn)動(dòng)補(bǔ)償?shù)念A(yù)測(cè)塊相加，以產(chǎn)生用于存儲(chǔ)在存儲(chǔ)器34中的經(jīng)重構(gòu)視頻塊?？捎深A(yù)測(cè)處理單元32將所述經(jīng)重構(gòu)視頻塊用作參考?jí)K，所述參考?jí)K可用于隨后對(duì)后續(xù)視頻幀或后續(xù)經(jīng)譯碼單元中的塊單元進(jìn)行譯碼。
[0101]以此方式，視頻編碼器22表示視頻編碼器的實(shí)例，其經(jīng)配置以:接收包括指示圖像的視圖的視圖分量的經(jīng)譯碼塊單元，其中所述視圖分量包括一個(gè)或一個(gè)以上紋理視圖分量和深度視圖分量；產(chǎn)生包含紋理語(yǔ)法元素的一個(gè)或一個(gè)以上紋理視圖分量的紋理切片標(biāo)頭，其中可從紋理切片標(biāo)頭中的紋理語(yǔ)法元素來(lái)確定深度視圖分量的深度語(yǔ)法元素。
[0102]在一些情況下，可將關(guān)于對(duì)紋理視圖分量和深度視圖分量的譯碼的信息指示為包含于經(jīng)譯碼位流中的一個(gè)或一個(gè)以上語(yǔ)法元素。在一些實(shí)例中，深度切片標(biāo)頭包括包含以下各者中的至少一者的語(yǔ)法元素:開(kāi)始宏塊的切片地址位置、切片類(lèi)型、將使用的圖片參數(shù)集(PPS)、切片的初始QP與在PPS中用信號(hào)發(fā)送的QP之間的增量QP、參考圖片的次序(表示為frame_num)，以及當(dāng)前圖片(POC)的顯示次序。深度切片標(biāo)頭還可包括以下各者中的至少一者:參考圖片列表建構(gòu)和相關(guān)的語(yǔ)法元素、存儲(chǔ)器管理控制操作和相關(guān)的語(yǔ)法元素，以及經(jīng)加權(quán)的預(yù)測(cè)和相關(guān)的語(yǔ)法元素。
[0103]圖3是說(shuō)明根據(jù)本發(fā)明的技術(shù)的實(shí)例性多視圖解碼次序的概念圖。在圖3中展示典型的MVC解碼次序(S卩，位流次序)。所述解碼次序布置被稱(chēng)作時(shí)間優(yōu)先譯碼。將每一存取單元界定為含有一個(gè)輸出時(shí)刻處的所有視圖的經(jīng)譯碼圖片。應(yīng)注意，存取單元的解碼次序可不等同于輸出或顯示次序。
[0104]圖4是用于多視圖視頻譯碼的MVC(MVC)預(yù)測(cè)結(jié)構(gòu)的一個(gè)實(shí)例的圖。MVC是H.264 / AVC的擴(kuò)展。圖4說(shuō)明用于多視圖視頻譯碼的典型MVC預(yù)測(cè)結(jié)構(gòu)(包含每一視圖內(nèi)的圖片間預(yù)測(cè)以及視圖間預(yù)測(cè))。MVC預(yù)測(cè)結(jié)構(gòu)包含每一視圖內(nèi)的圖片間預(yù)測(cè)以及視圖間預(yù)測(cè)兩者。在圖4中，預(yù)測(cè)由箭頭指示，其中指向?qū)ο笫褂脤?duì)指對(duì)象來(lái)用于預(yù)測(cè)參考。圖4的MVC預(yù)測(cè)結(jié)構(gòu)可與時(shí)間優(yōu)先解碼次序布置結(jié)合使用。在時(shí)間優(yōu)先解碼次序中，可將每一存取單元界定成含有一個(gè)輸出時(shí)刻處的所有視圖的經(jīng)譯碼圖片。存取單元的解碼次序可不等同于輸出或顯示次序。
[0105]在MVC中，視圖間預(yù)測(cè)受到視差運(yùn)動(dòng)補(bǔ)償支持，所述視差運(yùn)動(dòng)補(bǔ)償使用H.264 /AVC運(yùn)動(dòng)補(bǔ)償?shù)恼Z(yǔ)法，但允許將不同視圖中的圖片作為參考圖片。對(duì)兩個(gè)視圖的譯碼也可受到MVC支持。MVC編碼器可將兩個(gè)以上視圖用作3D視頻輸入，且MVC解碼器可解碼多視圖表示。具有MVC解碼器的再現(xiàn)器可解碼具有多個(gè)視圖的3D視頻內(nèi)容。
[0106]相同存取單元(即，具有相同時(shí)刻)中的圖片可在MVC中被視圖間預(yù)測(cè)。當(dāng)對(duì)非基礎(chǔ)視圖中的一者中的圖片進(jìn)行譯碼時(shí)，如果圖片處于不同視圖中但具有相同時(shí)刻，那么可將所述圖片添加到參考圖片中。可將視圖間預(yù)測(cè)參考圖片置于參考圖片列表的任何位置中，正如任何幀間預(yù)測(cè)參考圖片一樣。
[0107]如圖4中所不,視圖分量可使用其它視圖中的視圖分量以用于參考。在MVC中,可如同另一視圖中的視圖分量是幀間預(yù)測(cè)參考一般實(shí)現(xiàn)視圖間預(yù)測(cè)?？稍谛蛄袇?shù)集(SPS)MVC擴(kuò)展中用信號(hào)發(fā)送潛在的視圖間參考?？赏ㄟ^(guò)參考圖片列表建構(gòu)過(guò)程來(lái)修改潛在的視圖間參考，所述參考圖片列表建構(gòu)過(guò)程實(shí)現(xiàn)對(duì)幀間預(yù)測(cè)或視圖間預(yù)測(cè)參考的靈活排序。下表I展示實(shí)例性SPS MVC擴(kuò)展。
[0108]
【權(quán)利要求】
1.一種對(duì)視頻數(shù)據(jù)進(jìn)行譯碼的方法，所述方法包括: 對(duì)表示所述視頻數(shù)據(jù)的幀的至少一部分的紋理信息的一個(gè)或一個(gè)以上視頻數(shù)據(jù)塊進(jìn)行譯碼； 處理與存取單元相關(guān)聯(lián)的當(dāng)前視圖的紋理視圖分量的紋理切片，所述紋理切片包括所述經(jīng)譯碼的一個(gè)或一個(gè)以上塊以及紋理切片標(biāo)頭，所述紋理切片標(biāo)頭包括表示所述紋理切片的特性的一組語(yǔ)法元素； 對(duì)表示所述幀的至少所述部分的深度值的深度信息進(jìn)行譯碼；以及處理對(duì)應(yīng)于所述視圖的所述紋理視圖分量的深度視圖分量的深度切片，所述深度切片包括所述經(jīng)譯碼的深度信息以及深度切片標(biāo)頭，所述深度切片標(biāo)頭包括表示所述深度切片的特性的一組語(yǔ)法元素； 其中處理所述紋理切片或所述深度切片包括分別從參考切片標(biāo)頭預(yù)測(cè)表示所述紋理切片的特性的所述組語(yǔ)法元素和表示所述深度切片的特性的所述組語(yǔ)法元素中的至少一者的至少一個(gè)語(yǔ)法元素，其中所述參考切片標(biāo)頭是來(lái)自相同存取單元的視圖分量。
2.根據(jù)權(quán)利要求1所述的方法，其中所述參考切片標(biāo)頭包括所述紋理視圖分量或所述深度視圖分量中的一者。
3.根據(jù)權(quán)利要求1所述的方法，其中所述參考切片標(biāo)頭包括所述相同存取單元的高級(jí)視頻譯碼AVC相容的基礎(chǔ)紋理視圖。
4.根據(jù)權(quán)利要求1所述的方法，其進(jìn)一步包括: 以不同于AVC切片標(biāo)頭次序的次序來(lái)布置表示所述紋理切片的特性的所述組語(yǔ)法元素以及表示所述深度切片的特性的所述組語(yǔ)法元素。
5.根據(jù)權(quán)利要求1所述的方法，其中基于所述所預(yù)測(cè)的語(yǔ)法元素對(duì)所述當(dāng)前視圖進(jìn)行譯碼包括對(duì)所述當(dāng)前視圖進(jìn)行解碼，其中處理所述紋理切片包括接收所述紋理切片，且其中處理所述深度切片包括接收深度切片。
6.根據(jù)權(quán)利要求1所述的方法，其進(jìn)一步包括: 接收指示所述參考切片標(biāo)頭的索引。
7.根據(jù)權(quán)利要求6所述的方法，其中所述索引包括增量視圖次序，其中所述增量視圖次序指示所述參考切片標(biāo)頭相對(duì)于所述當(dāng)前視圖的位置，且其中所述參考切片標(biāo)頭與和所述當(dāng)前視圖相同的存取單元中的另一視圖相關(guān)聯(lián)。
8.根據(jù)權(quán)利要求6所述的方法，其進(jìn)一步包括: 接收指示所述參考切片標(biāo)頭是對(duì)應(yīng)于所述深度視圖分量還是所述紋理視圖分量的旗標(biāo)。
9.根據(jù)權(quán)利要求8所述的方法，其進(jìn)一步包括: 分別接收所述所指示的深度或紋理視圖分量的所述深度切片或所述紋理切片的切片ID0
10.根據(jù)權(quán)利要求8所述的方法，其進(jìn)一步包括: 接收所述深度切片和所述紋理切片的切片ID，其中在所述視圖分量的所述切片標(biāo)頭或網(wǎng)絡(luò)抽象層NAL單元的NAL單元標(biāo)頭中的至少一者中用信號(hào)發(fā)送所述切片ID。
11.根據(jù)權(quán)利要求8所述的方法，其進(jìn)一步包括: 接收所述深度切片和所述紋理切片的切片ID，其中分別在包含所述深度視圖分量和所述紋理視圖分量的網(wǎng)絡(luò)抽象層NAL單元的存取單元中用信號(hào)發(fā)送所述切片ID。
12.根據(jù)權(quán)利要求1所述的方法，其進(jìn)一步包括: 在切片標(biāo)頭擴(kuò)展中接收所述語(yǔ)法元素。
13.根據(jù)權(quán)利要求1所述的方法，其中所述語(yǔ)法元素是參考圖片列表，其中從具有參考圖片列表繼承旗標(biāo)的所述參考切片標(biāo)頭預(yù)測(cè)所述參考圖片列表，其中具有值I的所述參考圖片列表繼承旗標(biāo)指示從所述參考切片標(biāo)頭復(fù)制所述當(dāng)前視圖的參考圖片列表建構(gòu)語(yǔ)法元素，且其中具有值O的所述參考圖片列表繼承旗標(biāo)指示不從所述參考切片標(biāo)頭復(fù)制所述當(dāng)前視圖的參考圖片列表建構(gòu)語(yǔ)法元素。
14.根據(jù)權(quán)利要求1所述的方法，其中所述語(yǔ)法元素是參考圖片列表，其中從具有參考圖片列表插入旗標(biāo)的所述參考切片標(biāo)頭預(yù)測(cè)所述參考圖片列表，其中具有值I的所述參考圖片列表插入旗標(biāo)指示將來(lái)自所述參考切片標(biāo)頭的參考圖片添加到所述當(dāng)前視圖的所述參考圖片列表。
15.根據(jù)權(quán)利要求1所述的方法，其中所述語(yǔ)法元素是參考圖片列表，其中從具有參考圖片排除旗標(biāo)的所述參考切片標(biāo)頭預(yù)測(cè)所述參考圖片列表，其中具有值I的所述參考圖片排除旗標(biāo)指示從所述當(dāng)前視圖的所述參考圖片列表排除來(lái)自所述參考切片標(biāo)頭的參考圖片。
16.根據(jù)權(quán)利要求1所述的方法，其進(jìn)一步包括: 在啟用對(duì)參考圖片列表修改的預(yù)測(cè)時(shí)基于參考圖片列表排除或插入語(yǔ)法表中的至少一者來(lái)修改所述參考圖片列表修改。
17.根據(jù)權(quán)利要求1所述的方法，其中基于所述所預(yù)測(cè)的語(yǔ)法元素對(duì)所述當(dāng)前視圖進(jìn)行譯碼包括對(duì)所述當(dāng)前視圖進(jìn)行編碼，其中處理所述紋理切片包括產(chǎn)生所述紋理切片，且其中處理所述深度切片包括產(chǎn)生所述深度切片。
18.根據(jù)權(quán)利要求17所述的方法，其進(jìn)一步包括: 產(chǎn)生指示所述參考切片標(biāo)頭的索引，其中所述索引包括增量視圖次序，其中所述增量視圖次序指示所述參考切片標(biāo)頭相對(duì)于所述當(dāng)前視圖的所述位置，且其中所述參考切片標(biāo)頭與和所述當(dāng)前視圖相同的存取單元中的另一視圖相關(guān)聯(lián)； 產(chǎn)生指示所述參考切片標(biāo)頭是對(duì)應(yīng)于所述深度視圖分量還是所述紋理視圖分量的旗標(biāo)；以及 分別產(chǎn)生所述所指示的深度或紋理視圖分量的所述深度切片或所述紋理切片的切片ID，其中分別在所述視圖分量的所述切片標(biāo)頭、網(wǎng)絡(luò)抽象層NAL單元的NAL單元標(biāo)頭，或包含所述深度視圖分量和所述紋理視圖分量的網(wǎng)絡(luò)抽象層NAL單元的存取單元中的至少一者中廣生所述切片ID。
19.一種用于對(duì)數(shù)據(jù)進(jìn)行譯碼的裝置，所述裝置包括視頻譯碼器，所述視頻譯碼器經(jīng)配置以:對(duì)表示視頻數(shù)據(jù)的幀的至少一部分的紋理信息的一個(gè)或一個(gè)以上視頻數(shù)據(jù)塊進(jìn)行譯碼；處理與存取單元相關(guān)聯(lián)的當(dāng)前視圖的紋理視圖分量的紋理切片，所述紋理切片包括所述經(jīng)譯碼的一個(gè)或一個(gè)以上塊以及紋理切片標(biāo)頭，所述紋理切片標(biāo)頭包括表示所述紋理切片的特性的一組語(yǔ)法元素；對(duì)表示所述幀的至少所述部分的深度值的深度信息進(jìn)行譯碼；以及處理對(duì)應(yīng)于所述視圖的所述紋理視圖分量的深度視圖分量的深度切片，所述深度切片包括所述經(jīng)譯碼的深度信息以及深度切片標(biāo)頭，所述深度切片標(biāo)頭包括表示所述深度切片的特性的一組語(yǔ)法元素，其中處理所述紋理切片或所述深度切片包括分別從參考切片標(biāo)頭預(yù)測(cè)表示所述紋理切片的特性的所述組語(yǔ)法元素和表示所述深度切片的特性的所述組語(yǔ)法元素中的至少一者的至少一個(gè)語(yǔ)法元素，其中所述參考切片標(biāo)頭是來(lái)自相同存取單元的視圖分量。
20.根據(jù)權(quán)利要求19所述的裝置，其中所述參考切片標(biāo)頭包括所述紋理視圖分量或所述深度視圖分量中的一者。
21.根據(jù)權(quán)利要求19所述的裝置，其中所述參考切片標(biāo)頭包括所述相同存取單元的高級(jí)視頻譯碼AVC相容的基礎(chǔ)紋理視圖。
22.根據(jù)權(quán)利要求19所述的裝置，其中所述視頻譯碼器進(jìn)一步經(jīng)配置而以不同于AVC切片標(biāo)頭次序的次序來(lái)布置表示所述紋理切片的特性的所述組語(yǔ)法元素以及表示所述深度切片的特性的所述組語(yǔ)法元素。
23.根據(jù)權(quán)利要求19所述的裝置，其中所述視頻譯碼器是視頻解碼器，其中處理所述紋理切片包括接收所述紋理切片，且其中處理所述深度切片包括接收所述深度切片。
24.根據(jù)權(quán)利要求23所述的裝置，其中所述視頻解碼器進(jìn)一步經(jīng)配置以接收指示所述參考切片標(biāo)頭的索引。
25.根據(jù)權(quán)利要求24所述的裝置，其中所述索引包括增量視圖次序，其中所述增量視圖次序指示所述參考切片標(biāo)頭相對(duì)于所述當(dāng)前視圖的位置，且其中所述參考切片標(biāo)頭與和所述當(dāng)前視圖相同的存取單元中的另一視圖相關(guān)聯(lián)。
26.根據(jù)權(quán)利要求24所述的裝置，其中所述視頻解碼器進(jìn)一步經(jīng)配置以接收指示所述參考切片標(biāo)頭是對(duì)應(yīng)于所述深度視圖分量還是所述紋理視圖分量的旗標(biāo)。
27.根據(jù)權(quán)利要求24所·述的裝置，其中所述視頻解碼器進(jìn)一步經(jīng)配置以分別接收所述所指示的深度或紋理視圖分量的所述深度切片或所述紋理切片的切片ID。
28.根據(jù)權(quán)利要求24所述的裝置，其中所述視頻解碼器進(jìn)一步經(jīng)配置以接收所述深度切片和所述紋理切片的切片ID，其中在所述視圖分量的所述切片標(biāo)頭或網(wǎng)絡(luò)抽象層NAL單元的NAL單元標(biāo)頭中的至少一者中接收所述切片ID。
29.根據(jù)權(quán)利要求24所述的裝置，其中所述視頻解碼器進(jìn)一步經(jīng)配置以接收所述深度切片和所述紋理切片的切片ID，其中分別在包含所述深度視圖分量和所述紋理視圖分量的網(wǎng)絡(luò)抽象層NAL單元的存取單元中用信號(hào)發(fā)送所述切片ID。
30.根據(jù)權(quán)利要求24所述的裝置，其中所述視頻解碼器進(jìn)一步經(jīng)配置以在切片標(biāo)頭擴(kuò)展中接收所述語(yǔ)法元素。
31.根據(jù)權(quán)利要求19所述的裝置，其中所述語(yǔ)法元素是參考圖片列表，其中從具有參考圖片列表繼承旗標(biāo)的所述參考切片標(biāo)頭預(yù)測(cè)所述參考圖片列表，其中具有值I的所述參考圖片列表繼承旗標(biāo)指示從所述參考切片標(biāo)頭復(fù)制所述當(dāng)前視圖的參考圖片列表建構(gòu)語(yǔ)法元素，且其中具有值O的所述參考圖片列表繼承旗標(biāo)指示不從所述參考切片標(biāo)頭復(fù)制所述當(dāng)前視圖的參考圖片列表建構(gòu)語(yǔ)法元素。
32.根據(jù)權(quán)利要求19所述的裝置，其中所述語(yǔ)法元素是參考圖片列表，其中從具有參考圖片列表插入旗標(biāo)的所述參考切片標(biāo)頭預(yù)測(cè)所述參考圖片列表，其中具有值I的所述參考圖片列表插入旗標(biāo)指示將來(lái)自所述參考切片標(biāo)頭的參考圖片添加到所述當(dāng)前視圖的所述參考圖片列表。
33.根據(jù)權(quán)利要求19所述的裝置，其中所述語(yǔ)法元素是參考圖片列表，其中從具有參考圖片排除旗標(biāo)的所述參考切片標(biāo)頭預(yù)測(cè)所述參考圖片列表，其中具有值I的所述參考圖片排除旗標(biāo)指示從所述當(dāng)前視圖的所述參考圖片列表排除來(lái)自所述參考切片標(biāo)頭的參考圖片。
34.根據(jù)權(quán)利要求19所述的裝置，其中所述視頻譯碼器進(jìn)一步經(jīng)配置以在啟用對(duì)參考圖片列表修改的預(yù)測(cè)時(shí)基于參考圖片列表排除或插入語(yǔ)法表中的至少一者來(lái)修改所述參考圖片列表修改。
35.根據(jù)權(quán)利要求19所述的裝置，其中所述視頻譯碼器是視頻編碼器，其中處理所述紋理切片包括產(chǎn)生所述紋理切片，且其中處理所述深度切片包括產(chǎn)生所述深度切片。
36.根據(jù)權(quán)利要求35所述的裝置，其中所述視頻編碼器進(jìn)一步經(jīng)配置以: 產(chǎn)生指示所述參考切片標(biāo)頭的索引，其中所述索引包括增量視圖次序，其中所述增量視圖次序指示所述參考切片標(biāo)頭相對(duì)于所述當(dāng)前視圖的所述位置，且其中所述參考切片標(biāo)頭與和所述當(dāng)前視圖相同的存取單元中的另一視圖相關(guān)聯(lián)； 產(chǎn)生指示所述參考切片標(biāo)頭是對(duì)應(yīng)于所述深度視圖分量還是所述紋理視圖分量的旗標(biāo)；以及 分別產(chǎn)生所述所指示的深度或紋理視圖分量的所述深度切片或所述紋理切片的切片ID，其中分別在所述視圖分量的所述切片標(biāo)頭、網(wǎng)絡(luò)抽象層NAL單元的NAL單元標(biāo)頭，或包含所述深度視圖分量和所述紋理視圖分量的網(wǎng)絡(luò)抽象層NAL單元的存取單元中的至少一者中產(chǎn)生所述切片ID。
37.一種計(jì)算機(jī)程序產(chǎn)品，其包括其上存儲(chǔ)有指令的計(jì)算機(jī)可讀存儲(chǔ)媒體，所述指令在被執(zhí)行時(shí)致使視頻譯碼裝置的處理器: 對(duì)表示視頻數(shù)據(jù)的幀的至少一部分的紋理信息的一個(gè)或一個(gè)以上視頻數(shù)據(jù)塊進(jìn)行譯碼； 處理與存取單元相關(guān)聯(lián)的當(dāng)前視圖的紋理視圖分量的紋理切片，所述紋理切片包括所述經(jīng)譯碼的一個(gè)或一個(gè)以上塊以及紋理切片標(biāo)頭，所述紋理切片標(biāo)頭包括表示所述紋理切片的特性的一組語(yǔ)法元素； 對(duì)表示所述幀的至少所述部分的深度值的深度信息進(jìn)行譯碼；以及 處理對(duì)應(yīng)于所述視圖的所述紋理視圖分量的深度視圖分量的深度切片，所述深度切片包括所述經(jīng)譯碼的深度信息以及深度切片標(biāo)頭，所述深度切片標(biāo)頭包括表示所述深度切片的特性的一組語(yǔ)法元素； 其中處理所述紋理切片或所述深度切片包括分別從參考切片標(biāo)頭預(yù)測(cè)表示所述紋理切片的特性的所述組語(yǔ)法元素和表示所述深度切片的特性的所述組語(yǔ)法元素中的至少一者的至少一個(gè)語(yǔ)法元素，其中所述參考切片標(biāo)頭是來(lái)自相同存取單元的視圖分量。
38.根據(jù)權(quán)利要求37所述的計(jì)算機(jī)可讀存儲(chǔ)媒體，其中所述參考切片標(biāo)頭包括所述紋理視圖分量或所述深度視圖分量中的一者。
39.根據(jù)權(quán)利要求37所述的計(jì)算機(jī)可讀存儲(chǔ)媒體，其中所述參考切片標(biāo)頭包括所述相同存取單元的高級(jí)視頻譯碼AVC相容的基礎(chǔ)紋理視圖。
40.根據(jù)權(quán)利要求37所述的計(jì)算機(jī)可讀存儲(chǔ)媒體，其中基于所述所預(yù)測(cè)的語(yǔ)法元素對(duì)所述當(dāng)前視圖進(jìn)行譯碼包括對(duì)所述當(dāng)前視圖進(jìn)行解碼。
41.根據(jù)權(quán)利要求40所述的計(jì)算機(jī)可讀存儲(chǔ)媒體，其中所述指令進(jìn)一步致使所述視頻譯碼裝置的所述處理器: 接收指示所述參考切片標(biāo)頭的索引，其中所述索引包括增量視圖次序，其中所述增量視圖次序指示所述參考切片標(biāo)頭相對(duì)于所述當(dāng)前視圖的所述位置，且其中所述參考切片標(biāo)頭與和所述當(dāng)前視圖相同的存取單元中的另一視圖相關(guān)聯(lián)。
42.根據(jù)權(quán)利要求40所述的計(jì)算機(jī)可讀存儲(chǔ)媒體，其中所述指令進(jìn)一步致使所述視頻譯碼裝置的所述處理器: 接收指示所述參考切片標(biāo)頭是對(duì)應(yīng)于所述深度視圖分量還是所述紋理視圖分量的旗標(biāo)。
43.根據(jù)權(quán)利要求40所述的計(jì)算機(jī)可讀存儲(chǔ)媒體，其中所述指令進(jìn)一步致使所述視頻譯碼裝置的所述處理器: 分別接收所述所指示的深度或紋理視圖分量的所述深度切片或所述紋理切片的切片ID0
44.根據(jù)權(quán)利要求40所述的計(jì)算機(jī)可讀存儲(chǔ)媒體，其中所述指令進(jìn)一步致使所述視頻譯碼裝置的所述處理器: 接收所述深度切片和所述紋理切片的切片ID，其中在所述視圖分量的所述切片標(biāo)頭或網(wǎng)絡(luò)抽象層NAL單元的NAL單元標(biāo)頭中的至少一者中接收所述切片ID。
45.根據(jù)權(quán)利要求40所述的計(jì)算機(jī)可讀存儲(chǔ)媒體，其中所述指令進(jìn)一步致使所述視頻譯碼裝置的所述處理器:` 接收所述深度切片和所述紋理切片的切片ID，其中分別在包含所述深度視圖分量和所述紋理視圖分量的網(wǎng)絡(luò)抽象層NAL單元的存取單元中接收所述切片ID。
46.根據(jù)權(quán)利要求37所述的計(jì)算機(jī)可讀存儲(chǔ)媒體，其中基于所述所預(yù)測(cè)的語(yǔ)法元素對(duì)所述當(dāng)前視圖進(jìn)行譯碼包括對(duì)所述當(dāng)前視圖進(jìn)行編碼。
47.一種用于處理視頻數(shù)據(jù)的裝置，其包括: 用于對(duì)表示所述視頻數(shù)據(jù)的幀的至少一部分的紋理信息的一個(gè)或一個(gè)以上視頻數(shù)據(jù)塊進(jìn)行譯碼的裝置； 用于處理與存取單元相關(guān)聯(lián)的當(dāng)前視圖的紋理視圖分量的紋理切片的裝置，所述紋理切片包括所述經(jīng)譯碼的一個(gè)或一個(gè)以上塊以及紋理切片標(biāo)頭，所述紋理切片標(biāo)頭包括表示所述紋理切片的特性的一組語(yǔ)法元素； 用于對(duì)表示所述幀的至少所述部分的深度值的深度信息進(jìn)行譯碼的裝置；以及用于處理對(duì)應(yīng)于所述視圖的所述紋理視圖分量的深度視圖分量的深度切片的裝置，所述深度切片包括所述經(jīng)譯碼的深度信息以及深度切片標(biāo)頭，所述深度切片標(biāo)頭包括表示所述深度切片的特性的一組語(yǔ)法元素； 其中用于處理所述紋理切片或所述深度切片的裝置包括用于分別從參考切片標(biāo)頭預(yù)測(cè)表示所述紋理切片的特性的所述組語(yǔ)法元素和表示所述深度切片的特性的所述組語(yǔ)法元素中的至少一者的至少一個(gè)語(yǔ)法元素的裝置，其中所述參考切片標(biāo)頭是來(lái)自相同存取單元的視圖分量。
48.根據(jù)權(quán)利要求47所述的裝置，其中所述參考切片標(biāo)頭包括所述紋理視圖分量或所述深度視圖分量中的一者。
49.根據(jù)權(quán)利要求47所述的裝置，其中所述參考切片標(biāo)頭包括所述相同存取單元的高級(jí)視頻譯碼AVC相容的基礎(chǔ)紋理視圖。
50.根據(jù)權(quán)利要求47所述的裝置，其中所述裝置是視頻解碼器。
51.根據(jù)權(quán)利要求50所述的裝置，其中所述視頻解碼器進(jìn)一步包括: 用于接收指示所述參考切片標(biāo)頭的索引的裝置，其中所述索引包括增量視圖次序，其中所述增量視圖次序指示所述參考切片標(biāo)頭相對(duì)于所述當(dāng)前視圖的所述位置，且其中所述參考切片標(biāo)頭與和所述當(dāng)前視圖相同的存取單元中的另一視圖相關(guān)聯(lián)。
52.根據(jù)權(quán)利要求50所述的裝置，其中所述視頻解碼器進(jìn)一步包括: 用于接收指示所述參考切片標(biāo)頭是對(duì)應(yīng)于所述深度視圖分量還是所述紋理視圖分量的旗標(biāo)的裝置。
53.根據(jù)權(quán)利要求50所述的裝置，其中所述視頻解碼器進(jìn)一步包括: 用于分別接收所述所指示的深度或紋理視圖分量的所述深度切片或所述紋理切片的切片ID的裝置。
54.根據(jù)權(quán)利要求50所述的裝置，其中所述視頻解碼器進(jìn)一步包括: 用于接收所述深度切片和所述紋理切片的切片ID的裝置，其中在所述視圖分量的所述切片標(biāo)頭或網(wǎng)絡(luò)抽象層NAL單元的NAL單元標(biāo)頭中的至少一者中接收所述切片ID。
55.根據(jù)權(quán)利要求50所述的裝置，其中所述視頻解碼器進(jìn)一步包括: 用于接收所述深度切片和所述紋理切片的切片ID的裝置，其中分別在包含所述深度視圖分量和所述紋理視圖分量的網(wǎng)絡(luò)抽象層NAL單元的存取單元中接收所述切片ID。
56.根據(jù)權(quán)利要求47所述的裝置，其中所述裝置是視頻編碼器。
【文檔編號(hào)】H04N19/62GK103718559SQ201280036320
【公開(kāi)日】2014年4月9日 申請(qǐng)日期:2012年7月20日 優(yōu)先權(quán)日:2011年7月22日
【發(fā)明者】陳盈, 王益魁, 馬爾塔·卡切維奇 申請(qǐng)人:高通股份有限公司