用于3d-hevc的視差向量建構(gòu)方法
【專利摘要】在對多視圖視頻數(shù)據(jù)進(jìn)行譯碼時(shí)，視頻譯碼器可：對包含第一參考視圖的一或多個(gè)參考視圖中的一或多個(gè)圖片進(jìn)行譯碼；及基于當(dāng)前塊的一或多個(gè)相鄰塊的運(yùn)動(dòng)信息來確定所述當(dāng)前塊的視差向量，其中所述當(dāng)前塊在第二視圖中，其中所述視差向量從所述當(dāng)前塊指向所述一或多個(gè)參考視圖中的一者中的相同時(shí)間實(shí)例的圖片中的對應(yīng)塊。
【專利說明】用于3D-HEVC的視差向量建構(gòu)方法
[0001]本申請案主張以下申請案的權(quán)益:
[0002]2012年3月14日申請的美國臨時(shí)申請案61/610，961 ；
[0003]2012年4月11日申請的美國臨時(shí)申請案61/623，041 ；
[0004]2012年6月12日申請的美國臨時(shí)申請案61/658，754 ;及
[0005]2012年8月11日申請的美國臨時(shí)申請案61/682，221，
[0006]所述申請案中的每一者的全部內(nèi)容以引用的方式并入本文中。

【技術(shù)領(lǐng)域】
[0007]本發(fā)明涉及視頻譯碼，且更特定來說，涉及用于對多視圖和三維(3D)視頻數(shù)據(jù)進(jìn)行譯碼的技術(shù)。

【背景技術(shù)】
[0008]數(shù)字視頻能力可并入到大范圍的裝置中，包含數(shù)字電視、數(shù)字直播系統(tǒng)、無線廣播系統(tǒng)、個(gè)人數(shù)字助理(PDA)、膝上型或桌上型計(jì)算機(jī)、平板計(jì)算機(jī)、電子書閱讀器、數(shù)碼相機(jī)、數(shù)字記錄裝置、數(shù)字媒體播放器、視頻游戲裝置、視頻游戲控制臺、蜂窩式或衛(wèi)星無線電電話、所謂的智能電話摂、視頻會議裝置、視頻串流裝置等等。數(shù)字視頻裝置實(shí)施視頻壓縮技術(shù)，例如由 MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4 第 10 部分高級視頻譯碼(AVC)、目前在開發(fā)中的高效率視頻譯碼(HEVC)標(biāo)準(zhǔn)定義的標(biāo)準(zhǔn)和所述標(biāo)準(zhǔn)的擴(kuò)展部分中所描述的那些視頻壓縮技術(shù)。視頻裝置可通過實(shí)施此些視頻壓縮技術(shù)來更高效地發(fā)射、接收、編碼、解碼和/或存儲數(shù)字視頻信息。
[0009]視頻壓縮技術(shù)執(zhí)行空間(圖片內(nèi))預(yù)測和/或時(shí)間(圖片間)預(yù)測以減少或移除視頻序列中所固有的冗余。對于基于塊的視頻譯碼，可將視頻切片(即，視頻幀或視頻幀的一部分)分割為若干視頻塊，所述視頻塊還可被稱作樹塊、譯碼單元(CU)和/或譯碼節(jié)點(diǎn)。使用空間預(yù)測相對于同一圖片中的相鄰塊中的參考樣本來編碼圖片的經(jīng)幀內(nèi)譯碼(I)切片中的視頻塊。圖片的經(jīng)幀間譯碼(P或B)切片中的視頻塊可使用相對于同一圖片中的相鄰塊中的參考樣本的空間預(yù)測或相對于其它參考圖片中的參考樣本的時(shí)間預(yù)測。圖片可被稱作幀，且參考圖片可被稱作參考幀。
[0010]空間或時(shí)間預(yù)測產(chǎn)生對待譯碼的塊的預(yù)測性塊。殘差數(shù)據(jù)表示待譯碼的原始塊與預(yù)測性塊之間的像素差。根據(jù)指向形成預(yù)測性塊的參考樣本塊的運(yùn)動(dòng)向量以及指示經(jīng)譯碼塊與所述預(yù)測性塊之間的差的殘差數(shù)據(jù)來編碼經(jīng)幀間譯碼塊。根據(jù)幀內(nèi)譯碼模式和殘差數(shù)據(jù)來編碼經(jīng)幀內(nèi)譯碼塊。為了進(jìn)一步壓縮，可將殘差數(shù)據(jù)從像素域變換為變換域，從而產(chǎn)生殘差變換系數(shù)，所述殘差變換系數(shù)隨后可被量化。起初布置在二維陣列中的經(jīng)量化變換系數(shù)可依序掃描以產(chǎn)生變換系數(shù)的一維向量，且可應(yīng)用熵譯碼以實(shí)現(xiàn)更多的壓縮。


【發(fā)明內(nèi)容】

[0011]本發(fā)明描述與多視圖視頻譯碼(MVC)相關(guān)的技術(shù)，且更特定來說，本發(fā)明描述若干技術(shù)，其中視頻譯碼器(例如，視頻編碼器或視頻解碼器)確定當(dāng)前視圖的當(dāng)前圖片內(nèi)的當(dāng)前塊的視差向量以供在MVC中使用。根據(jù)本發(fā)明的技術(shù)，視頻譯碼器可基于當(dāng)前塊的一或多個(gè)空間或時(shí)間相鄰塊的運(yùn)動(dòng)信息來確定視差向量。所述視頻譯碼器可使用所述視差向量在不同視圖中定位對應(yīng)的塊。視頻譯碼器可針對視圖間運(yùn)動(dòng)向量預(yù)測和視圖間殘差預(yù)測中的任一者或兩者或針對任何其它類型的視圖間預(yù)測基于兩個(gè)視圖之間的視差而使用根據(jù)本發(fā)明中所描述的技術(shù)而確定的視差向量。利用兩個(gè)視圖的塊的視圖間相關(guān)度的任何譯碼工具或技術(shù)可潛在地使用根據(jù)本發(fā)明中所描述的技術(shù)而確定的視差向量。
[0012]在一個(gè)實(shí)例中，一種對多視圖視頻數(shù)據(jù)進(jìn)行解碼的方法包含:對包含第一參考視圖的一或多個(gè)參考視圖中的一或多個(gè)圖片進(jìn)行解碼；及基于當(dāng)前塊的一或多個(gè)相鄰塊的運(yùn)動(dòng)信息來確定當(dāng)前塊的視差向量，其中所述當(dāng)前塊在第二視圖中。所述視差向量從所述當(dāng)前塊指向所述一或多個(gè)參考視圖中的一者中的相同時(shí)間實(shí)例的圖片中的對應(yīng)塊。
[0013]在另一實(shí)例中，一種對多視圖視頻數(shù)據(jù)進(jìn)行編碼的方法包含:對包含第一參考視圖的一或多個(gè)參考視圖中的一或多個(gè)圖片進(jìn)行編碼；及基于當(dāng)前塊的一或多個(gè)相鄰塊的運(yùn)動(dòng)信息來確定當(dāng)前塊的視差向量。所述當(dāng)前塊在第二視圖中，且所述視差向量從所述當(dāng)前塊指向所述一或多個(gè)參考視圖中的一者中的相同時(shí)間實(shí)例的圖片中的對應(yīng)塊。
[0014]在另一實(shí)例中，一種用于對多視圖視頻數(shù)據(jù)進(jìn)行譯碼的裝置包含視頻解碼器，所述視頻解碼器經(jīng)配置以:對包含第一參考視圖的一或多個(gè)參考視圖中的一或多個(gè)圖片進(jìn)行解碼；及基于當(dāng)前塊的一或多個(gè)相鄰塊的運(yùn)動(dòng)信息來確定當(dāng)前塊的視差向量。所述當(dāng)前塊在第二視圖中，且所述視差向量從所述當(dāng)前塊指向所述一或多個(gè)參考視圖中的一者中的相同時(shí)間實(shí)例的圖片中的對應(yīng)塊。
[0015]在另一實(shí)例中，一種用于對多視圖視頻數(shù)據(jù)進(jìn)行譯碼的裝置包含視頻編碼器，所述視頻編碼器經(jīng)配置以:對包含第一參考視圖的一或多個(gè)參考視圖中的一或多個(gè)圖片進(jìn)行編碼；及基于當(dāng)前塊的一或多個(gè)相鄰塊的運(yùn)動(dòng)信息來確定當(dāng)前塊的視差向量。所述當(dāng)前塊在第二視圖中，且所述視差向量從所述當(dāng)前塊指向所述一或多個(gè)參考視圖中的一者中的相同時(shí)間實(shí)例的圖片中的對應(yīng)塊。
[0016]在另一實(shí)例中，一種對多視圖視頻數(shù)據(jù)進(jìn)行解碼的裝置包含:用于對包含第一參考視圖的一或多個(gè)參考視圖中的一或多個(gè)圖片進(jìn)行解碼的裝置；及用于基于當(dāng)前塊的一或多個(gè)相鄰塊的運(yùn)動(dòng)信息來確定當(dāng)前塊的視差向量的裝置。所述當(dāng)前塊在第二視圖中，且所述視差向量從所述當(dāng)前塊指向所述一或多個(gè)參考視圖中的一者中的相同時(shí)間實(shí)例的圖片中的對應(yīng)塊。
[0017]在另一實(shí)例中，一種對多視圖視頻數(shù)據(jù)進(jìn)行編碼的裝置包含:用于對包含第一參考視圖的一或多個(gè)參考視圖中的一或多個(gè)圖片進(jìn)行編碼的裝置；及用于基于當(dāng)前塊的一或多個(gè)相鄰塊的運(yùn)動(dòng)信息來確定當(dāng)前塊的視差向量的裝置。所述當(dāng)前塊在第二視圖中，且所述視差向量從所述當(dāng)前塊指向所述一或多個(gè)參考視圖中的一者中的相同時(shí)間實(shí)例的圖片中的對應(yīng)塊。
[0018]在另一實(shí)例中，一種存儲在被執(zhí)行時(shí)致使一或多個(gè)處理器進(jìn)行以下操作的指令的計(jì)算機(jī)可讀存儲媒體:對包含第一參考視圖的一或多個(gè)參考視圖中的一或多個(gè)圖片進(jìn)行解碼；及基于當(dāng)前塊的一或多個(gè)相鄰塊的運(yùn)動(dòng)信息來確定當(dāng)前塊的視差向量。所述當(dāng)前塊在第二視圖中，且所述視差向量從所述當(dāng)前塊指向所述一或多個(gè)參考視圖中的一者中的相同時(shí)間實(shí)例的圖片中的對應(yīng)塊。
[0019]在另一實(shí)例中，一種存儲在被執(zhí)行時(shí)致使一或多個(gè)處理器進(jìn)行以下操作的指令的計(jì)算機(jī)可讀存儲媒體:對包含第一參考視圖的一或多個(gè)參考視圖中的一或多個(gè)圖片進(jìn)行編碼；及基于當(dāng)前塊的一或多個(gè)相鄰塊的運(yùn)動(dòng)信息來確定當(dāng)前塊的視差向量。所述當(dāng)前塊在第二視圖中，且所述視差向量從所述當(dāng)前塊指向所述一或多個(gè)參考視圖中的一者中的相同時(shí)間實(shí)例的圖片中的對應(yīng)塊。
[0020]一或多個(gè)實(shí)例的細(xì)節(jié)陳述于附圖及以下描述中。其它特征、目標(biāo)及優(yōu)勢將從描述及附圖和從權(quán)利要求書中顯而易見。

【專利附圖】

【附圖說明】
[0021]圖1為說明可利用本發(fā)明中所描述的技術(shù)的實(shí)例性視頻編碼及解碼系統(tǒng)的框圖。
[0022]圖2是說明根據(jù)本發(fā)明中所描述的一或多個(gè)實(shí)例的實(shí)例多視圖編碼或解碼次序的圖表圖。
[0023]圖3是說明實(shí)例多視圖預(yù)測模式的概念圖。
[0024]圖4展示當(dāng)前塊及五個(gè)空間相鄰塊的實(shí)例。
[0025]圖5展示空間視差向量(SDV)的概念性說明。
[0026]圖6展示時(shí)間視差向量(TDV)的概念性說明。
[0027]圖7展示隱式視差向量(IDV)的概念性說明。
[0028]圖8是說明可實(shí)施本發(fā)明中所描述的技術(shù)的實(shí)例視頻編碼器的框圖。
[0029]圖9是說明可實(shí)施本發(fā)明中所描述的技術(shù)的實(shí)例視頻解碼器的框圖。
[0030]圖10說明運(yùn)動(dòng)參數(shù)的視圖間預(yù)測的實(shí)例。
[0031]圖1lA是說明根據(jù)本發(fā)明的技術(shù)的用以確定的實(shí)例操作和視差向量的流程圖。
[0032]圖1lB是說明根據(jù)本發(fā)明的技術(shù)的用以確定的實(shí)例操作和視差向量的流程圖。
[0033]圖1lC是說明根據(jù)本發(fā)明的技術(shù)的用以確定的實(shí)例操作和視差向量的流程圖。

【具體實(shí)施方式】
[0034]本發(fā)明描述與多視圖視頻譯碼(MVC)相關(guān)的技術(shù)，且更特定來說，本發(fā)明描述若干技術(shù)，其中視頻譯碼器(例如，視頻編碼器或視頻解碼器)確定當(dāng)前視圖的當(dāng)前圖片內(nèi)的當(dāng)前塊的視差向量以供在MVC中使用。根據(jù)本發(fā)明的技術(shù)，視頻譯碼器可基于當(dāng)前塊的一或多個(gè)空間或時(shí)間相鄰塊的運(yùn)動(dòng)信息來確定視差向量。所述視頻譯碼器可使用所述視差向量在不同視圖中定位對應(yīng)的塊。視頻譯碼器可針對視圖間運(yùn)動(dòng)向量預(yù)測和視圖間殘差預(yù)測中的任一者或兩者或針對任何其它類型的視圖間預(yù)測基于兩個(gè)視圖之間的視差而使用根據(jù)本發(fā)明中所描述的技術(shù)而確定的視差向量。在本發(fā)明中，術(shù)語“當(dāng)前”一般用于識別當(dāng)前正被譯碼的視圖、圖片或塊。因此，當(dāng)前塊一般表示正被譯碼的視頻數(shù)據(jù)塊，這與已經(jīng)譯碼的塊相對或與將被譯碼的塊相對。
[0035]MVC指代對多個(gè)視圖進(jìn)行譯碼的方式。在三維(3D)視頻譯碼的情況下，多個(gè)視圖可(例如)對應(yīng)于左眼視圖和右眼視圖。所述多個(gè)視圖中的每一視圖包含多個(gè)圖片。觀看者對3D場景的感知是歸因于不同視圖的圖片中的物體之間的水平視差。術(shù)語多視圖視頻譯碼或MVC —般指代處理對多個(gè)視圖的譯碼的任何譯碼標(biāo)準(zhǔn)。MVC還指代包含對紋理視圖的譯碼的3D視頻譯碼標(biāo)準(zhǔn)中的技術(shù)，但MVC技術(shù)還可用于對深度視圖進(jìn)行譯碼。舉例來說，MVC可指代H.264/AVC的多視圖視頻譯碼擴(kuò)展，即H.264/MVC，或3D-HEVC的紋理譯碼，其為HEVC的進(jìn)行中的3D視頻擴(kuò)展標(biāo)準(zhǔn)。除非有相反的規(guī)定，否則在本發(fā)明中，多視圖一般用作通用技術(shù)，而MVC —般用于指代以上紋理譯碼技術(shù)。
[0036]用于當(dāng)前圖片的當(dāng)前塊的視差向量是指向處于不同于當(dāng)前圖片的不同視圖中的對應(yīng)圖片中的對應(yīng)塊的向量。因此，通過使用視差向量，視頻譯碼器可在對應(yīng)圖片中定位對應(yīng)于當(dāng)前圖片的當(dāng)前塊的塊。在此情況下，所述對應(yīng)圖片是與當(dāng)前圖片具有相同時(shí)間實(shí)例但處于不同視圖中的圖片。對應(yīng)圖片中的對應(yīng)塊和當(dāng)前圖片中的當(dāng)前塊可包含類似的視頻內(nèi)容；然而，在當(dāng)前圖片中的當(dāng)前塊的位置與對應(yīng)圖片中的對應(yīng)塊的位置之間至少存在水平視差。當(dāng)前塊的視差向量提供對應(yīng)圖片中的所述塊與當(dāng)前圖片中的當(dāng)前塊之間的此水平視差的量度。在一些情況下，在對應(yīng)圖片內(nèi)的塊的位置與當(dāng)前圖片內(nèi)的當(dāng)前塊的位置之間還可存在垂直視差。當(dāng)前塊的視差向量還可提供對應(yīng)圖片中的所述塊與當(dāng)前圖片中的當(dāng)前塊之間的此垂直視差的量度。視差向量含有兩個(gè)分量(X分量和y分量)，但在許多情況下，垂直分量將等于零。在顯示當(dāng)前視圖的當(dāng)前圖片和不同視圖的對應(yīng)圖片時(shí)的時(shí)間可相同，也就是說，當(dāng)前圖片和對應(yīng)圖片是相同時(shí)間實(shí)例的圖片。
[0037]本發(fā)明描述用于基于當(dāng)前塊的一或多個(gè)空間或時(shí)間相鄰塊的運(yùn)動(dòng)信息來確定視差向量的技術(shù)。如將在下文更詳細(xì)地描述，一旦經(jīng)確定，可在3D視頻譯碼過程的多種不同部分中以多種不同的方式使用視差向量。舉例來說，視頻譯碼器可使用所確定的視差向量作為視圖間運(yùn)動(dòng)預(yù)測或視圖間殘差預(yù)測的部分。如將在下文更詳細(xì)地闡釋，通過使用一或多個(gè)空間或時(shí)間相鄰塊的運(yùn)動(dòng)信息，本發(fā)明的技術(shù)可沒有用于確定視差向量的現(xiàn)有技術(shù)復(fù)雜，特別是因?yàn)楸疚闹兴枋龅募夹g(shù)不一定需要利用所估計(jì)的深度圖。因此，本發(fā)明的技術(shù)可有利地降低視頻編碼器和視頻解碼器復(fù)雜度且可減少存儲器使用和存儲器存取。
[0038]在視頻譯碼中，一般存在兩種類型的預(yù)測，通常被稱作幀內(nèi)預(yù)測和幀間預(yù)測。在幀內(nèi)預(yù)測中，視頻譯碼器基于圖片中的已經(jīng)譯碼的塊來預(yù)測相同圖片中的視頻塊。在幀間預(yù)測中，視頻譯碼器基于不同圖片(即，參考圖片)中的已經(jīng)譯碼的塊來預(yù)測圖片中的視頻塊。如本發(fā)明中所使用的參考圖片一般指代含有在以解碼次序?qū)罄m(xù)圖片的解碼過程中可用于幀間預(yù)測的樣本的任何圖片。當(dāng)對多視圖內(nèi)容進(jìn)行譯碼時(shí)，如將在下文實(shí)例中說明，相對于當(dāng)前圖片，參考圖片可具有相同時(shí)間實(shí)例但處于不同視圖中中的任一者，或可為處于相同視圖中但具有不同時(shí)間實(shí)例。
[0039]用于預(yù)測當(dāng)前圖片的塊的參考圖片的塊是由運(yùn)動(dòng)向量來識別。在MVC中，存在至少兩種運(yùn)動(dòng)向量。第一類型的運(yùn)動(dòng)向量是時(shí)間運(yùn)動(dòng)向量。時(shí)間運(yùn)動(dòng)向量指向處于與正被譯碼的塊相同的視圖中但具有不同于正被譯碼的塊的時(shí)間實(shí)例的時(shí)間參考圖片中的塊。另一類型的運(yùn)動(dòng)向量是視差運(yùn)動(dòng)向量。視差運(yùn)動(dòng)向量指向具有相同時(shí)間實(shí)例但處于不同視圖中的圖片的塊。
[0040]如將在下文更詳細(xì)地闡釋，視頻譯碼器可在一些情況下利用預(yù)測性譯碼技術(shù)用信號通知運(yùn)動(dòng)參數(shù)(包含運(yùn)動(dòng)向量)，其可需要比運(yùn)動(dòng)參數(shù)的顯式譯碼少的位。在開發(fā)HEVC標(biāo)準(zhǔn)中，存在用于預(yù)測運(yùn)動(dòng)參數(shù)的兩個(gè)模式。在合并模式中，視頻譯碼器建構(gòu)運(yùn)動(dòng)參數(shù)的候選列表，且在經(jīng)編碼位流中用信號通知候選者中的一者的索引。在高級運(yùn)動(dòng)向量預(yù)測(AMVP)式中，視頻譯碼器建構(gòu)運(yùn)動(dòng)參數(shù)預(yù)測符的候選列表，且在經(jīng)編碼位流中用信號通知候選者中的一者的索引。對于AMVP，視頻譯碼器額外地用信號通知運(yùn)動(dòng)向量差，其中運(yùn)動(dòng)向量差是運(yùn)動(dòng)向量預(yù)測符與用于預(yù)測當(dāng)前塊的實(shí)際運(yùn)動(dòng)向量之間的差。
[0041 ] 運(yùn)動(dòng)向量是視差運(yùn)動(dòng)向量還是時(shí)間運(yùn)動(dòng)向量取決于運(yùn)動(dòng)向量與其相關(guān)聯(lián)的參考索引。所述參考索引識別參考圖片列表中的參考圖片。因此，參考圖片是時(shí)間參考圖片還是視圖間參考圖片可通過檢查(例如)參考圖片和當(dāng)前圖片是否屬于相同視圖來確定。當(dāng)視頻譯碼器使用時(shí)間運(yùn)動(dòng)向量來預(yù)測視頻數(shù)據(jù)塊時(shí)，對應(yīng)的幀間預(yù)測被稱作運(yùn)動(dòng)補(bǔ)償?shù)念A(yù)測(MCP)。當(dāng)視頻譯碼器使用視差運(yùn)動(dòng)向量來預(yù)測視頻數(shù)據(jù)塊時(shí)，對應(yīng)的幀間預(yù)測被稱作視差補(bǔ)償?shù)念A(yù)測(DCP)。運(yùn)動(dòng)向量無論是視差運(yùn)動(dòng)向量還是時(shí)間運(yùn)動(dòng)向量都含有兩個(gè)分量，例如X分量和I分量，以用于識別參考圖片中的塊。
[0042]本發(fā)明描述用于基于當(dāng)前塊的一或多個(gè)空間或時(shí)間相鄰塊的運(yùn)動(dòng)信息(例如，視差運(yùn)動(dòng)向量)來確定所述當(dāng)前塊的視差向量的技術(shù)。如將在下文更詳細(xì)地闡釋，可通過確定相鄰塊的空間視差向量(SDV)、時(shí)間視差向量(TDV)和/或隱式視差向量(IDV)來確定當(dāng)前塊的視差向量。下文參考圖5到7在下文更詳細(xì)地闡釋IDV、SDV和TDV。在一些實(shí)施方案中，所確定的SDV、TDV或IDV —旦經(jīng)識別便可用作當(dāng)前塊的視差向量。
[0043]在其它實(shí)施方案中，視頻譯碼器可確定多個(gè)SDV、TDV或IDV，且將所確定的候選者添加到候選視差向量列表。視頻譯碼器可從候選視差向量列表選擇候選者以作為當(dāng)前塊的視差向量。本發(fā)明將把候選視差向量列表稱作disVecCan。在本發(fā)明的技術(shù)的一些實(shí)施方案中，diSVecCan可表示特定數(shù)據(jù)結(jié)構(gòu)，將候選視差向量存儲在所述特定數(shù)據(jù)結(jié)構(gòu)中，但在本發(fā)明中，更一般地使用disVecCan來表示任何類型的列表。視頻譯碼器可使用本文中所描述的技術(shù)從disVecCan中的候選者選擇當(dāng)前塊的視差向量。
[0044]本發(fā)明一般針對于用于確定當(dāng)前塊的視差向量的技術(shù)。一旦經(jīng)確定，視差向量便可用于利用視差向量的視頻譯碼過程的任何部分中。視頻編碼器可使用所確定的視差向量(例如)來執(zhí)行視圖間運(yùn)動(dòng)預(yù)測和/或視圖間殘差預(yù)測。盡管如此，雖然本發(fā)明提供視差向量可如何用于視頻譯碼過程中的實(shí)例，但本發(fā)明的技術(shù)不應(yīng)被視為受限于視差向量的使用的任何特定類型。利用兩個(gè)視圖的塊的視圖間相關(guān)度的任何譯碼工具或技術(shù)可潛在地使用利用本發(fā)明的技術(shù)而確定的視差向量。
[0045]圖1為說明根據(jù)本發(fā)明中所描述的一或多個(gè)實(shí)例的實(shí)例性視頻編碼及解碼系統(tǒng)的框圖。舉例來說，系統(tǒng)10包含源裝置12和目的地裝置14。源裝置12和目的地裝置14經(jīng)配置以實(shí)施MVC，在所述MVC中，源裝置12和目的地裝置14各自對不同視圖的圖片進(jìn)行譯碼。當(dāng)一起觀看不同視圖的圖片時(shí)，觀看者感知到包含3D體積的圖像，而不是被約束為顯示器的2D區(qū)域的圖像。
[0046]系統(tǒng)10可根據(jù)不同的視頻譯碼標(biāo)準(zhǔn)、專有標(biāo)準(zhǔn)，或多視圖譯碼的任何其它方式而操作。舉例來說，視頻編碼器20和視頻解碼器30可根據(jù)視頻壓縮標(biāo)準(zhǔn)而操作，例如包含ITU-T H.261、IS0/IEC MPEG-1 視覺、ITU-T H.262 或 IS0/IEC MPEG-2 視覺、ITU-T H.263、IS0/IEC MPEG-4視覺以及ITU-T H.264 (還被稱為IS0/IEC MPEG-4 AVC)，包含其可縮放視頻譯碼(SVC)以及多視圖視頻譯碼(MVC)擴(kuò)展。MVC擴(kuò)展的最近公開可得的聯(lián)合草案描述于“通用視聽服務(wù)的高級視頻譯碼(Advanced video coding for generic aud1visualservices) ” ITU-T推薦Η.264,2010年3月中。MVC擴(kuò)展的更近公開可得的聯(lián)合草案描述于“通用視聽服務(wù)的高級視頻譯碼(Advanced video coding for generic aud1visualservices) ”ITU-T推薦H.264，2011年6月中。自2012年I月起已批準(zhǔn)MVC擴(kuò)展的當(dāng)前聯(lián)合草案。
[0047]另外，存在目前正由ITU-T視頻譯碼專家組(VCEG)以及IS0/IEC運(yùn)動(dòng)圖片專家組(MPEG)的視頻譯碼聯(lián)合合作小組(JCT-VC)開發(fā)的新的視頻譯碼標(biāo)準(zhǔn)，即高效率視頻譯碼(HEVC)。被稱作HEVC WD9的HEVC的最近工作草案(WD)自2013年2月13日起可從 http://phenix.1nt-evry.fr/ict/doc end user/documents/11 Shanghai/wglI/TCTVC-K1003-vl0.zip得到。出于描述的目的，視頻編碼器20和視頻解碼器30描述于HEVC或H.264標(biāo)準(zhǔn)及此類標(biāo)準(zhǔn)的擴(kuò)展的背景中。然而，本發(fā)明的技術(shù)不限于任何特定譯碼標(biāo)準(zhǔn)。視頻壓縮標(biāo)準(zhǔn)的其它實(shí)例包含MPEG-2和ITU-T H.263。例如被稱作0n2 VP6/VP7/VP8的專有譯碼技術(shù)等專有譯碼技術(shù)還可實(shí)施本文中所描述的技術(shù)中的一或多者。
[0048]本發(fā)明的技術(shù)潛在地適用于若干MVC和/或3D視頻譯碼標(biāo)準(zhǔn)，包含基于HEVC的3D視頻譯碼(3D-HEVC)，3D-HEVC的最新參考軟件描述可作為以下各者而得到:格哈德科技、克里什托夫.魏格納、陳穎、葉色胡(Gerhard Tech, Krzyszt of ffegner, Ying Chen, SehoonYea) “3D-HEVC 測試模型 I (3D-HEVC Test Model I)，，，http://phenix.1t-sudparis.eu/jct2/doc_end_user/documents/l_Stockholm/wglI/JCT3V-A1005-vl.zip。瑞典斯德哥爾摩,2012 年 4 月。最新參考軟件(即，HTM)可從 https://hevc.hh1.fraunhofer.de/svn/svn_3DVCSoftware/trunk 得到。本發(fā)明的技術(shù)還可適用于 H.264/3D-AVC 及 H.264/MVC+D視頻譯碼標(biāo)準(zhǔn)，或其擴(kuò)展，以及其它譯碼標(biāo)準(zhǔn)。本發(fā)明的技術(shù)可有時(shí)參考或使用特定MVC或3D視頻譯碼標(biāo)準(zhǔn)的術(shù)語來描述；然而，此類描述應(yīng)被解釋為意味著所描述的技術(shù)僅限于所述特定標(biāo)準(zhǔn)。
[0049]如圖1中所示，系統(tǒng)10包含源裝置12，所述源裝置產(chǎn)生經(jīng)編碼視頻數(shù)據(jù)以在稍后時(shí)間由目的地裝置14解碼。源裝置12和目的地裝置14包括廣范圍的裝置中的任一者，包含例如所謂的“智能”電話、所謂的“智能”平板等無線手持機(jī)，或經(jīng)裝備以用于無線通信的其它此類無線裝置。源裝置12和目的地裝置14的額外實(shí)例包含但不限于數(shù)字電視、數(shù)字直播系統(tǒng)中的裝置、無線廣播系統(tǒng)中的裝置、個(gè)人數(shù)字助理(PDA)、膝上型計(jì)算機(jī)、桌上型計(jì)算機(jī)、平板計(jì)算機(jī)、電子書閱讀器、數(shù)碼相機(jī)、數(shù)字記錄裝置、數(shù)字媒體播放器、視頻游戲裝置、視頻游戲控制臺、蜂窩式無線電電話、衛(wèi)星無線電電話、視頻會議裝置及視頻串流裝置坐坐寸寸ο
[0050]目的地裝置14可經(jīng)由鏈路16接收待解碼的經(jīng)編碼視頻數(shù)據(jù)。鏈路16包括能夠?qū)⒔?jīng)編碼的視頻數(shù)據(jù)從源裝置12移動(dòng)到目的地裝置14的任何類型的媒體或裝置。在一個(gè)實(shí)例中，鏈路16包括用以使得源裝置12能夠?qū)崟r(shí)地將經(jīng)編碼的視頻數(shù)據(jù)直接發(fā)射到目的地裝置14的通信媒體。可根據(jù)例如無線通信協(xié)議等通信標(biāo)準(zhǔn)來調(diào)制經(jīng)編碼的視頻數(shù)據(jù)，且將其發(fā)射到目的地裝置14。所述通信媒體可包括任何無線或有線通信媒體，例如射頻(RF)頻譜或一或多條物理傳輸線。通信媒體可形成例如局域網(wǎng)、廣域網(wǎng)或例如因特網(wǎng)的全球網(wǎng)絡(luò)的基于包的網(wǎng)絡(luò)的部分。通信媒體可包含可用于促進(jìn)從源裝置12到目的地裝置14的通信的路由器、交換器、基站或任何其它設(shè)備。
[0051]在一些實(shí)例中，可從輸出接口 22將經(jīng)編碼數(shù)據(jù)輸出到存儲裝置31。類似地，通過輸入接口 28從存儲裝置31存取經(jīng)編碼數(shù)據(jù)。存儲裝置31的實(shí)例包含多種分布式或本地存取的數(shù)據(jù)存儲媒體中的任一者，例如硬盤驅(qū)動(dòng)器、藍(lán)光光盤、DVD、CD-ROM、快閃存儲器、易失性或非易失性存儲器，或用于存儲經(jīng)編碼視頻數(shù)據(jù)的任何其它合適的數(shù)字存儲媒體。在進(jìn)一步的實(shí)例中，存儲裝置31對應(yīng)于文件服務(wù)器或保留由源裝置12產(chǎn)生的經(jīng)編碼視頻的另一中間存儲裝置。在這些實(shí)例中，目的地裝置14經(jīng)由流式傳輸或下載而存取來自存儲裝置31的所存儲的視頻數(shù)據(jù)。文件服務(wù)器是能夠存儲經(jīng)編碼視頻數(shù)據(jù)和將所述經(jīng)編碼視頻數(shù)據(jù)發(fā)射到目的地裝置14的任何類型的服務(wù)器。實(shí)例性文件服務(wù)器包含網(wǎng)絡(luò)服務(wù)器(例如，用于網(wǎng)站)、FTP服務(wù)器、網(wǎng)絡(luò)附接式存儲(NAS)裝置，或本地磁盤驅(qū)動(dòng)器。目的地裝置14通過任何標(biāo)準(zhǔn)的數(shù)據(jù)連接(包含因特網(wǎng)連接)來存取經(jīng)編碼視頻數(shù)據(jù)。此可包含無線信道(例如，W1-Fi連接)、有線連接(例如，DSL、纜線調(diào)制解調(diào)器，等等)，或適合于存取存儲于文件服務(wù)器上的經(jīng)編碼視頻數(shù)據(jù)的以上兩者的組合。經(jīng)編碼視頻數(shù)據(jù)從存儲裝置31的傳輸可為流式傳輸、下載傳輸，或兩者的組合。
[0052]本發(fā)明的技術(shù)不一定受限于無線應(yīng)用或環(huán)境。所述技術(shù)可應(yīng)用于支持多種多媒體應(yīng)用(例如，空中電視廣播、有線電視傳輸、衛(wèi)星電視發(fā)射、流式視頻傳輸(例如，經(jīng)由因特網(wǎng)))中的任一者的視頻譯碼、供存儲于數(shù)據(jù)存儲媒體上的數(shù)字視頻的編碼、存儲于數(shù)據(jù)存儲媒體上的數(shù)字視頻的解碼，或其它應(yīng)用。在一些實(shí)例中，系統(tǒng)10經(jīng)配置以支持單向或雙向視頻傳輸以支持例如視頻流式傳輸、視頻回放、視頻廣播和/或視頻電話等應(yīng)用。
[0053]在圖1的實(shí)例中，源裝置12包含視頻源18、視頻編碼器20和輸出接口 22。在一些情況下，輸出接口 22包含調(diào)制器/解調(diào)器(調(diào)制解調(diào)器)和/或發(fā)射器。在源裝置12中，視頻源18包含以下各者中的一或多者:例如視頻俘獲裝置(例如，攝像機(jī))、含有先前俘獲的視頻的視頻存檔、用以從視頻內(nèi)容提供者接收視頻的視頻饋送接口的源，和/或用于產(chǎn)生計(jì)算機(jī)圖形數(shù)據(jù)以作為源視頻的計(jì)算機(jī)圖形系統(tǒng)的源、此些源的組合，或任何其它源。作為一個(gè)實(shí)例，如果視頻源24為攝像機(jī)，則源裝置12與目的地裝置14可形成所謂的相機(jī)電話或視頻電話。然而，一般來說，本發(fā)明中所描述的技術(shù)適用于視頻譯碼，且可適用于無線及/或有線應(yīng)用。
[0054]視頻編碼器20對所俘獲的、預(yù)先俘獲的或計(jì)算機(jī)產(chǎn)生的視頻進(jìn)行編碼。源裝置12的輸出接口 22經(jīng)配置以將經(jīng)編碼視頻數(shù)據(jù)發(fā)射到目的地裝置14。還(或替代地)可將經(jīng)編碼視頻數(shù)據(jù)存儲到存儲裝置31上以供稍后由目的地裝置14或其它裝置存取以進(jìn)行解碼和/或回放。
[0055]目的地裝置14包含輸入接口 28、視頻解碼器30和顯示裝置32。在一些情況下，輸入接口 28包含接收器和/或調(diào)制器。目的地裝置14的輸入接口 28經(jīng)由鏈路16或從存儲裝置31接收經(jīng)編碼視頻數(shù)據(jù)。經(jīng)由鏈路16傳送或在存儲裝置31上提供的經(jīng)編碼視頻數(shù)據(jù)包含由視頻編碼器20產(chǎn)生以供例如視頻解碼器30等視頻解碼器在解碼視頻數(shù)據(jù)中使用的多種語法元素。此些語法元素可與在通信媒體上傳輸、存儲于存儲媒體上或存儲于文件服務(wù)器上的經(jīng)編碼視頻數(shù)據(jù)包含在一起。
[0056]顯示裝置32可與目的地裝置14 一起集成，或在目的地裝置14外部。在一些實(shí)例中，目的地裝置14包含集成式顯示裝置，且還經(jīng)配置以與外部顯示裝置介接。在其它實(shí)例中，目的地裝置14為顯示裝置。一般來說，顯示裝置32向用戶顯示經(jīng)解碼視頻數(shù)據(jù)，且包括多種顯示裝置中的任一者，例如，液晶顯示器(LCD)、等離子體顯示器、有機(jī)發(fā)光二極管(OLED)顯示器或另一類型的顯示裝置。
[0057]視頻編碼器20和視頻解碼器30各自可經(jīng)實(shí)施為例如一或多個(gè)微處理器、數(shù)字信號處理器(DSP)、專用集成電路(ASIC)、現(xiàn)場可編程門陣列(FPGA)、離散邏輯、軟件、硬件、固件或其任何組合的多種合適編碼器電路中的任一者。當(dāng)所述技術(shù)部分地在軟件中實(shí)施時(shí)，一裝置可將用于軟件的指令存儲于合適的非暫時(shí)性計(jì)算機(jī)可讀媒體中，且在硬件中使用一或多個(gè)處理器來執(zhí)行所述指令以執(zhí)行本發(fā)明的技術(shù)。視頻編碼器20和視頻解碼器30中的每一者可包含于一或多個(gè)編碼器或解碼器中，所述視頻編碼器和視頻解碼器中的任一者可在相應(yīng)裝置中被集成為組合式編碼器/解碼器(CODEC)的一部分。根據(jù)本發(fā)明中所描述的技術(shù)，視頻編碼器20經(jīng)配置以對視頻數(shù)據(jù)進(jìn)行編碼，且視頻解碼器30經(jīng)配置以對視頻數(shù)據(jù)進(jìn)行解碼。
[0058]盡管圖1中未展示，但在一些方面中，視頻編碼器20及視頻解碼器30各自與音頻編碼器及解碼器集成，且包含適當(dāng)?shù)腗UX-DEMUX單元或其它硬件及軟件，以處置對共同數(shù)據(jù)流或單獨(dú)數(shù)據(jù)流中的音頻與視頻兩者的編碼。在一些實(shí)例中，如果適用，MUX-DEMUX單元符合ITU H.223多路復(fù)用器協(xié)議或例如用戶數(shù)據(jù)報(bào)協(xié)議(UDP)等其它協(xié)議。
[0059]圖2是說明根據(jù)本發(fā)明中所描述的一或多個(gè)實(shí)例的實(shí)例MVC編碼或解碼次序的圖表圖。舉例來說，圖2中所說明的解碼次序布置被稱作時(shí)間優(yōu)先譯碼。在圖2中，SO到S7各自指代多視圖視頻的不同視圖。TO到T8各自表示一個(gè)輸出時(shí)間實(shí)例。存取單元在一個(gè)輸出時(shí)間實(shí)例可包含所有視圖的經(jīng)譯碼圖片。舉例來說，第一存取單元包含時(shí)間實(shí)例TO的所有視圖SO到S7( S卩，圖片O到7)，第二存取單元包含時(shí)間實(shí)例Tl的所有視圖SO到S7( SP，圖片8到15)，依此類推。在此實(shí)例中，圖片O到7處于相同時(shí)間實(shí)例(即，時(shí)間實(shí)例T0)，圖片8到15處于相同時(shí)間實(shí)例(即，時(shí)間實(shí)例Tl)。一般同時(shí)顯不具有相同時(shí)間實(shí)例的圖片，且在相同時(shí)間實(shí)例的圖片內(nèi)的物體之間是水平視差及可能的一些垂直視差，其致使觀看者感知到包含3D體積的圖像。
[0060]在圖2中，所述視圖中的每一者包含若干組圖片。舉例來說，視圖SO包含多組圖片 0、8、16、24、32、40、48、56 及 64，視圖 SI 包含多圖圖片 1、9、17、25、33、41、49、57 及 65，等等。每一組包含兩個(gè)圖片:一個(gè)圖片被稱作紋理視圖分量，且另一圖片被稱作深度視圖分量。視圖的一組圖片內(nèi)的紋理視圖分量及深度視圖分量可認(rèn)為是彼此對應(yīng)。舉例來說，視圖的一組圖片內(nèi)的紋理視圖分量可被視為對應(yīng)于視圖的視所述組圖片內(nèi)的深度圖分量，且反之亦然(即，深度視圖分量對應(yīng)于所述組中的其紋理視圖分量，且反之亦然)。如本發(fā)明中所使用，相對應(yīng)的紋理視圖分量及深度視圖分量可被視為單一存取單元的相同視圖的一部分。
[0061]紋理視圖分量包含所顯示的實(shí)際圖像內(nèi)容。舉例來說，所述紋理視圖分量可包含亮度(Y)及色度(Cb及Cr)分量。深度視圖分量可指示其對應(yīng)紋理視圖分量中的像素的相對深度。作為一個(gè)實(shí)例，所述深度視圖分量可類似于僅包含亮度值的灰度級圖像。換句話說，深度視圖分量可不傳達(dá)任何圖像內(nèi)容，而是提供紋理視圖分量中的像素的相對深度的量度。
[0062]舉例來說，對應(yīng)于深度視圖分量中的純白色像素的像素值可指示其在對應(yīng)的紋理視圖分量中的對應(yīng)像素從觀看者的角度來看更靠近，且對應(yīng)于深度視圖分量中的純黑色像素的像素值可指示其在對應(yīng)的紋理視圖分量中的對應(yīng)像素從觀看者的角度來看更遠(yuǎn)離。對應(yīng)于黑色與白色之間的各種灰陰影的像素值指示不同的深度水平。舉例來說，深度視圖分量中的深灰色像素指示其在紋理視圖分量中的對應(yīng)像素比深度視圖分量中的淺灰色像素更遠(yuǎn)。僅為僅需要類似于灰度級的一個(gè)像素值來識別像素深度，所以深度視圖分量可僅包含一個(gè)像素值。因此，不需要類似于色度分量的值。
[0063]深度視圖分量僅使用亮度值(例如，強(qiáng)度值)來識別深度是出于說明的目的而提供，且不應(yīng)被視為限制性的。在其它實(shí)例中，可利用任何技術(shù)來指示紋理視圖分量中的像素的相對深度。
[0064]根據(jù)MVC，所述紋理視圖分量是從相同視圖中的紋理視圖分量或從一或多個(gè)不同視圖中的紋理視圖分量幀間預(yù)測的。紋理視圖分量可在視頻數(shù)據(jù)塊(其被稱作“視頻塊”且在H.264上下文中通常稱為“宏塊”)中譯碼。例如HEVC標(biāo)準(zhǔn)等其它視頻譯碼標(biāo)準(zhǔn)可將視頻塊稱作樹塊或譯碼單元(CU)。
[0065]任何類似時(shí)間實(shí)例的圖片可包含類似內(nèi)容。然而，類似時(shí)間實(shí)例中的不同圖片的視頻內(nèi)容可在水平方向上彼此略微移位。舉例來說，如果一塊位于視圖SO的圖片O中的(X，y)處，位于視圖SI的圖片I中的(x+x'，y)處的塊包含與位于視圖SO的圖片O中的(x，y)處的塊類似的視頻內(nèi)容。在此實(shí)例中，位于視圖SO的圖片O中的(x，y)處的塊及位于視圖SI的圖片I中的(x+x,，y)處的塊被視為對應(yīng)塊。在一些實(shí)例中，位于視圖SI的圖片I中的(x+f，y)處的塊的視差向量涉及其對應(yīng)塊的位置。舉例來說，位于(χ+χ,，y)處的塊的視差向量是(-X'，0)。
[0066]在一些實(shí)例中，視頻編碼器20或視頻解碼器30可利用第一視圖的圖片中的塊的視差向量來識別第二視圖的圖片中的對應(yīng)塊。視頻編碼器20及視頻解碼器20可例如在執(zhí)行視圖間運(yùn)動(dòng)預(yù)測或視圖間殘差預(yù)測時(shí)利用視差向量。視頻編碼器20及視頻解碼器30可例如通過使用由當(dāng)前塊的視差向量確定的參考視圖中的參考圖片的參考塊的信息來執(zhí)行視圖間運(yùn)動(dòng)預(yù)測。
[0067]圖3是說明實(shí)例MVC預(yù)測模式的概念圖。在圖3的實(shí)例中，說明八個(gè)視圖(具有視圖1D “S0”到“S7”)，且對于每一視圖說明十二個(gè)時(shí)間位置(“T0”到“Til”)。S卩，圖3中的每一行對應(yīng)于一視圖，而每一列指示一時(shí)間位置。在圖3的實(shí)例中，大寫的“B”及小寫的“b”用于指示圖片之間的不同分層關(guān)系，而非不同譯碼方法。大體來說，大寫的“B”圖片在預(yù)測層次上比小寫的“b”幀相對高。
[0068]在圖3中，視圖SO可被視為基礎(chǔ)視圖，且視圖SI到S7可被視為相依視圖?；A(chǔ)視圖包含未被視圖間預(yù)測的圖片。可相對于相同視圖中的其它圖片對基礎(chǔ)視圖中的圖片進(jìn)行幀間預(yù)測。舉例來說，視圖SO中并無圖片可相對于視圖SI到S7中的任一者中的圖片被幀間預(yù)測，但視圖SO中的圖片中的一些可相對于視圖SO中的其它圖片被幀間預(yù)測。
[0069]相依視圖包含被視圖間預(yù)測的圖片。舉例來說，視圖SI到S7中的每一者包含相對于另一視圖中的圖片被幀間預(yù)測的至少一個(gè)圖片。相依視圖中的圖片可相對于基礎(chǔ)視圖中的圖片被幀間預(yù)測，或可相對于其它相依視圖中的圖片被幀間預(yù)測。
[0070]包含基礎(chǔ)視圖及一或多個(gè)相依視圖兩者的視頻流可為可由不同類型的視頻解碼器進(jìn)行解碼的。舉例來說，一個(gè)基本類型的視頻解碼器可經(jīng)配置以僅解碼基礎(chǔ)視圖。此外，另一類型的視頻解碼器可經(jīng)配置以解碼視圖SO到S7中的每一者。經(jīng)配置以對基礎(chǔ)視圖及相依視圖兩者進(jìn)行解碼的解碼器可被稱作支持多視圖譯碼的解碼器。
[0071]文獻(xiàn)m22570及m22571界定3D-HEVC的一些技術(shù)，且自2013年2月13日起可使用密碼從 http://wgll.sc29.0rg/doc end user/documents/98 Geneva/wgll/m2257Q-v2-m2257Q-v2.zip ；http://wgl1.sc29.0rg/doc_end_user/documents/98_Geneva/wgll/m22571-v2-m22571-v2.zip得到。這些文獻(xiàn)中所描述的工具中的一者是視圖間運(yùn)動(dòng)預(yù)測，其中相依視圖中的塊的運(yùn)動(dòng)參數(shù)(即，運(yùn)動(dòng)向量)是基于相同存取單元的其它視圖中的已經(jīng)譯碼的運(yùn)動(dòng)參數(shù)來預(yù)測或推斷((例如，在AMVP模式或合并模式中)。如更詳細(xì)描述的，可能存在m22570及m22571文獻(xiàn)中所描述的技術(shù)可出現(xiàn)的某些限制和問題。本發(fā)明中描述的技術(shù)潛在地克服m22570及m22571文獻(xiàn)中所描述的技術(shù)可出現(xiàn)的一些限制和問題。
[0072]圖3中的圖片指示于圖3中的每一行與每一列的交叉點(diǎn)處。具有MVC擴(kuò)展的H.264/AVC標(biāo)準(zhǔn)可使用術(shù)語幀來表示水平的一部分，而HEVC標(biāo)準(zhǔn)可使用術(shù)語圖片來表示視頻的一部分。本發(fā)明可互換地使用術(shù)語圖片與幀。
[0073]圖3中的圖片是使用包含字母的加陰影塊來說明，從而標(biāo)示對應(yīng)的圖片是被幀內(nèi)譯碼(即，I圖片)還是在一個(gè)方向上(即，作為P圖片)或在多個(gè)方向上(即，作為B圖片)被幀間譯碼。一般來說，預(yù)測由箭頭指示，其中指向圖片使用對指圖片來用于預(yù)測參考。舉例來說，時(shí)間位置TO處的視圖S2的P圖片是從時(shí)間位置TO處的視圖SO的I圖片進(jìn)行預(yù)測。
[0074]與單視圖視頻編碼一樣，可相對于不同時(shí)間位置處的圖片來預(yù)測性地編碼多視圖視頻譯碼視頻序列的圖片。舉例來說，時(shí)間位置Tl處的視圖SO的B圖片具有從時(shí)間位置TO處的視圖SO的I圖片指向其的箭頭，從而指示b圖片是從I圖片進(jìn)行預(yù)測。然而，另外，在多視圖視頻編碼的上下文中，圖片可被視圖間預(yù)測。也就是說，視圖分量(例如，紋理視圖分量)可使用其它視圖中的視圖分量以用于參考。舉例來說，在MVC中，如同另一視圖中的視圖分量是幀間預(yù)測參考一般實(shí)現(xiàn)視圖間預(yù)測。潛在的視圖間參考是在序列參數(shù)集(SPS)MVC擴(kuò)展中用信號通知且可通過參考圖片列表建構(gòu)過程進(jìn)行修改，所述參考圖片列表建構(gòu)過程實(shí)現(xiàn)對幀間預(yù)測或視圖間預(yù)測參考的靈活排序。
[0075]圖3提供視圖間預(yù)測的各種實(shí)例。在圖3的實(shí)例中，視圖SI的圖片被說明為從視圖SI的不同時(shí)間位置處的圖片進(jìn)行預(yù)測，以及從相同時(shí)間位置處的視圖SO和S2的圖片進(jìn)行視圖間預(yù)測。舉例來說，時(shí)間位置Tl處的視圖SI的B圖片是從時(shí)間位置TO和T2處的視圖SI的B圖片中的每一者以及時(shí)間位置Tl處的視圖SO和S2的B圖片進(jìn)行預(yù)測。
[0076]圖3還使用不同層級的陰影來說明預(yù)測層次上的變化，其中更大量的陰影(B卩，相對更暗)幀比具有較少陰影(即，相對更淡)的那些幀在預(yù)測層次上更高。舉例來說，圖3中的所有I圖片被說明為具有全陰影，而P圖片具有略微更淡的陰影，且B圖片(以及小寫字母b圖片)具有相對于彼此的各種層級的陰影，但總是比P圖片和I圖片的陰影更淡。
[0077]一般來說，預(yù)測層次可與視圖次序索引相關(guān)，原因在于預(yù)測層次上相對較高的圖片應(yīng)在對層次上相對較低的圖片被解碼之前被解碼。層次上相對較高的那些圖片可在層次上相對較低的圖片的解碼期間用作參考圖片。視圖次序索引是指示存取單元中的視圖分量的解碼次序的索引。所述視圖次序索引在序列參數(shù)集(SPS)MVC擴(kuò)展中有暗示，如H.264/AVC的附錄H中所指定(MVC修正)。在SPS中，對于每一索引i，用信號通知對應(yīng)的view_id。對視圖分量的解碼應(yīng)遵循視圖次序索引的遞升次序。如果呈現(xiàn)所有視圖，那么視圖次序索引呈從O到num_views_minus_l的連續(xù)次序。
[0078]以此方式，用作參考圖片的圖片在取決于參考圖片的圖片之前被解碼。視圖次序索引是指示存取單元中的視圖分量的解碼次序的索引。對于每一視圖次序索引i，用信號通知對應(yīng)的view_id。對視圖分量的解碼遵循視圖次序索引的遞升次序。如果呈現(xiàn)所有視圖，那么視圖次序索引的集合可包括從零到視圖的全部數(shù)目少一的連續(xù)排序的集合。
[0079]對于處于相等層級的層次的某些圖片，解碼次序相對于彼此可不重要。舉例來說，時(shí)間位置TO處的視圖SO的I圖片可用作時(shí)間位置TO處的視圖S2的P圖片的參考圖片，所述P圖片又可用作時(shí)間位置TO處的視圖S4的P圖片的參考圖片。因此，時(shí)間位置TO處的視圖SO的I圖片應(yīng)在時(shí)間位置TO處的視圖S2的P圖片之前被解碼，所述P圖片又應(yīng)在時(shí)間位置TO處的視圖S4的P圖片之前被解碼。然而，在視圖SI與S3之間，解碼次序并不重要，因?yàn)橐晥DSI和S3不依賴于彼此來進(jìn)行預(yù)測。而是，僅從在預(yù)測層次上較高的其它視圖來預(yù)測視圖SI和S3。另外，只要視圖SI在視圖SO和S2之后被解碼，視圖SI可在視圖S4之前被解碼。
[0080]以此方式，可使用分層排序來描述視圖SO到S7。在本發(fā)明中，標(biāo)記法SA > SB意味著視圖SA應(yīng)在視圖SB之前被解碼。使用此標(biāo)記法，在圖2的實(shí)例中，SO > S2 > S4 >S6 > S7。而且，關(guān)于圖 2 的實(shí)例，SO > S1、S2 > S1、S2 > S3、S4 > S3、S4 > S5 且 S6 >S5。不違反此分層排序的視圖的任何解碼次序是可能的。因此，許多不同的解碼次序是可能的，其中限制基于分層排序。
[0081]在一些實(shí)例中，可將圖3視為說明紋理視圖分量。在這些實(shí)例中，為了實(shí)施視圖間預(yù)測(例如，視圖間運(yùn)動(dòng)預(yù)測或視圖間殘差預(yù)測)，視頻編碼器20或視頻解碼器30可在一些情況下使用視差向量來對應(yīng)對應(yīng)塊，且將對應(yīng)塊的運(yùn)動(dòng)向量用作將被幀間預(yù)測的當(dāng)前塊的運(yùn)動(dòng)向量預(yù)測符。本發(fā)明中所描述的技術(shù)確定當(dāng)前塊的視差向量，而不一定需要導(dǎo)出深度視圖分量，且不一定依賴于全局視差向量。
[0082]視頻序列通常包含來自視圖(例如，圖2和3中所說明的視圖)的一連串視頻圖片。圖片群組(GOP) —般包括一系列一個(gè)或一個(gè)以上視頻圖片。GOP可在GOP的標(biāo)頭、GOP的一或多個(gè)圖片的標(biāo)頭或其它地方中包含語法數(shù)據(jù)，所述語法數(shù)據(jù)描述包含于GOP中的圖片的數(shù)目。每一圖片可包含圖片語法數(shù)據(jù)，所述圖片語法數(shù)據(jù)描述相應(yīng)圖片的編碼模式。頻編碼器20通常對個(gè)別視頻圖片內(nèi)的視頻塊進(jìn)行操作以便編碼視頻數(shù)據(jù)。視頻塊可對應(yīng)于宏塊、宏塊的分區(qū)，及可能的分區(qū)的子塊(如H.264/MVC標(biāo)準(zhǔn)中所界定)，或最大譯碼單元(LCU)、譯碼單元(CU)、預(yù)測單元(PU)，或變換單元(TU)(如HEVC標(biāo)準(zhǔn)中所界定)。所述視頻塊可具有固定的或變化的大小，且可根據(jù)指定的譯碼標(biāo)準(zhǔn)而大小不同。每一視頻圖片可包含多個(gè)切片。每一切片可包含多個(gè)塊。
[0083]作為一實(shí)例，ITU-T H.264標(biāo)準(zhǔn)支持各種塊大小(例如，針對亮度分量的16乘16、8乘8或4乘4，和針對色度分量的8X8)的幀內(nèi)預(yù)測，以及各種塊大小(例如，針對亮度分量的16X16、16X8、8X16、8X8、8X4、4X8和4X4，和針對色度分量的對應(yīng)縮放的大小)的幀間預(yù)測。在本發(fā)明中，“NXN”與“N乘N”可以可互換地使用，以在垂直和水平尺寸方面指代塊的像素尺寸(例如16X 16像素或16乘16像素)。一般來說，16X16塊將具有在垂直方向上的16個(gè)像素(y = 16)和在水平方向上的16個(gè)像素(x = 16)。同樣地，NXN塊一般具有在垂直方向上的N個(gè)像素和在水平方向上的N個(gè)像素，其中N表示非負(fù)整數(shù)值。一塊中的像素可布置成若干行和若干列。此外，塊無需一定在水平方向上具有與在垂直方向上相同數(shù)目的像素。舉例來說，塊可包括NXM個(gè)像素，其中M不一定等于N。
[0084]在對塊進(jìn)行幀內(nèi)模式編碼(例如，幀內(nèi)預(yù)測)時(shí)，所述塊可包含描述所述塊的幀內(nèi)預(yù)測模式的數(shù)據(jù)。作為另一實(shí)例，在對塊進(jìn)行幀間模式編碼(例如，幀間預(yù)測)時(shí)，所述塊可包含界定所述塊的運(yùn)動(dòng)向量的信息。此運(yùn)動(dòng)向量是指相同視圖中的參考圖片，或是指另一視圖中的參考圖片。界定塊的運(yùn)動(dòng)向量的數(shù)據(jù)描述(例如)運(yùn)動(dòng)向量的水平分量、運(yùn)動(dòng)向量的垂直分量、運(yùn)動(dòng)向量的分辨率(例如，四分之一像素精度或八分之一像素精度)。另夕卜，在被幀間預(yù)測時(shí)，所述塊可包含參考索引信息，例如運(yùn)動(dòng)向量指向的參考圖片，和/或運(yùn)動(dòng)向量的參考圖片列表(例如，RefPicListO或RefPicListl)。
[0085]JCT-VC致力于HEVC標(biāo)準(zhǔn)的開發(fā)。HEVC標(biāo)準(zhǔn)化工作是基于被稱作HEVC測試模型(HM)的視頻譯碼裝置的演進(jìn)模型。HM假設(shè)相對于根據(jù)(例如，ITU-T H.264/AVC)的現(xiàn)有裝置的視頻譯碼裝置的額外能力。舉例來說，盡管H.264提供九種幀內(nèi)預(yù)測編碼模式，但HM可提供多達(dá)三十三種方向性/角度幀內(nèi)預(yù)測編碼模式加上DC和平面模式。
[0086]HM的工作模型描述可被劃分為包含亮度樣本和色度樣本兩者的樹塊或最大譯碼單元(LCU)的序列的視頻圖片。樹塊具有與H.264標(biāo)準(zhǔn)的宏塊類似的目的。切片包含呈譯碼次序的若干連續(xù)樹塊。視頻圖片可被分割為一或多個(gè)切片。每一樹塊根據(jù)四叉樹被分裂為譯碼單元(CU)。舉例來說，作為四叉樹的根節(jié)點(diǎn)的樹塊可被分裂為四個(gè)子節(jié)點(diǎn)，且每一子節(jié)點(diǎn)又可為母節(jié)點(diǎn)，且被分裂為另外四個(gè)子節(jié)點(diǎn)。作為四叉樹的葉節(jié)點(diǎn)的最終的未分裂的子節(jié)點(diǎn)包括譯碼節(jié)點(diǎn)(即，經(jīng)譯碼視頻塊)。與經(jīng)譯碼位流相關(guān)聯(lián)的語法數(shù)據(jù)可界定樹塊可被分裂的最大次數(shù)，且還可界定譯碼節(jié)點(diǎn)的最小大小。在一些實(shí)例中，樹塊被稱作LCU。
[0087]CU包含譯碼節(jié)點(diǎn)和與譯碼節(jié)點(diǎn)相關(guān)聯(lián)的預(yù)測單元(PU)及變換單元(TU)。所述CU的大小對應(yīng)于譯碼節(jié)點(diǎn)的大小且在形狀上可為正方形。在一些實(shí)例中，CU的大小的范圍是從8X8像素直到具有最大64X64像素或更大的樹塊的大小。在一些實(shí)例中，每一⑶含有一或多個(gè)PU及一或多個(gè)TU。與CU相關(guān)聯(lián)的語法數(shù)據(jù)描述(例如)將CU分割為一或多個(gè)PU。分割模式在CU被跳過、被直接模式編碼、被幀內(nèi)預(yù)測模式編碼還是被幀間預(yù)測模式編碼之間是不同的。在一些實(shí)例中，可將PU的形狀分割為非正方形。與CU相關(guān)聯(lián)的語法數(shù)據(jù)還描述(例如)根據(jù)四叉樹將CU分割為一或多個(gè)TU。TU的形狀可為正方形或非正方形。
[0088]HEVC標(biāo)準(zhǔn)允許根據(jù)TU的變換，其對于不同的⑶可不同。所述TU的大小通?；卺槍?jīng)分割LCU而界定的給定CU內(nèi)的PU的大小而設(shè)定，但不總是這樣。TU通常與PU是相同大小或小于PU。在一些實(shí)例中，使用被稱為“殘余四叉樹”(RQT)的四叉樹結(jié)構(gòu)將對應(yīng)于CU的殘余樣本細(xì)分為更小的單元。RQT的葉節(jié)點(diǎn)可被稱作變換單元(TU)。在一些實(shí)例中，將與TU相關(guān)聯(lián)的像素差值變換以產(chǎn)生變換系數(shù)，所述變換系數(shù)經(jīng)量化。
[0089]PU包含與預(yù)測過程相關(guān)的數(shù)據(jù)。舉例來說，在對進(jìn)行幀內(nèi)模式編碼時(shí)，包含描述PU的幀內(nèi)預(yù)測模式的數(shù)據(jù)。作為另一實(shí)例，在對進(jìn)行幀間模式編碼時(shí)，PU包含界定PU的運(yùn)動(dòng)向量的數(shù)據(jù)。界定PU的運(yùn)動(dòng)向量的數(shù)據(jù)描述(例如)運(yùn)動(dòng)向量的水平分量、運(yùn)動(dòng)向量的垂直分量、運(yùn)動(dòng)向量的分辨率(例如，四分之一像素精度或八分之一像素精度)、運(yùn)動(dòng)向量指向的參考幀，和/或運(yùn)動(dòng)向量的參考圖片列表(例如，列表O或列表I)。
[0090]TU用于變換和量化過程。具有一個(gè)或一個(gè)以上I3U的給定⑶還可包含一個(gè)或一個(gè)以上變換單元(TU)。在預(yù)測之后，視頻編碼器20可計(jì)算對應(yīng)于PU的殘余值。所述殘余值包括像素差值，所述像素差值可被變換為變換系數(shù)、使用TU經(jīng)量化且經(jīng)掃描以產(chǎn)生串行化變換系數(shù)以用于熵譯碼。本發(fā)明通常術(shù)語“視頻塊”來指代CU的譯碼節(jié)點(diǎn)。在一些特定情況下，本發(fā)明還可使用術(shù)語“視頻塊”來指代樹塊，即，LCU或CU，其包含譯碼節(jié)點(diǎn)及和TU0
[0091]作為一實(shí)例，HM支持按各種PU大小的預(yù)測。假定特定CU的大小為2NX2N，HM支持按2NX 2N或NX N的PU大小的幀內(nèi)預(yù)測，以及按2NX 2N、2NX N、NX 2N或NX N的對稱I3U大小的幀間預(yù)測。HM還支持用于按2NXnU、2NXnD、nLX2N和nRX2N的I3U大小的幀間預(yù)測的不對稱分割。在不對稱分割中，CU的一個(gè)方向未被分割,而另一方向被分割為25%和75 %。⑶的對應(yīng)于25 %分區(qū)的部分由“η ”繼之以“向上”、“向下”、“左邊”或“右邊”的指示來指示。因此，例如，“2NXnU”指代被水平地分割成在頂部具有2ΝΧ0.5Ν I3U且在底部具有 2NX 1.5N PU 的 2NX 2N CU。
[0092]在H.264標(biāo)準(zhǔn)或HEVC標(biāo)準(zhǔn)中，在幀內(nèi)預(yù)測或幀間預(yù)測譯碼之后，視頻編碼器20計(jì)算HEVC中的⑶的TU或H.264中的宏塊的殘余數(shù)據(jù)。PU包括空間域(還被稱作像素域)中的像素?cái)?shù)據(jù)，且TU包括在變換域(例如，在對殘余視頻數(shù)據(jù)應(yīng)用例如離散余弦變換(DCT)、整數(shù)變換、小波變換或概念上類似的變換等變換之后)中的系數(shù)。殘余數(shù)據(jù)可對應(yīng)于未經(jīng)編碼圖片的像素與對應(yīng)于HEVC中的PU的預(yù)測值或H.264中的宏塊的預(yù)測值之間的像素差。
[0093]在一些實(shí)例中，在進(jìn)行任何變換以產(chǎn)生變換系數(shù)之后，視頻編碼器20執(zhí)行變換系數(shù)的量化。量化一般指代將變換系數(shù)量化以可能地減少用于表示系數(shù)的數(shù)據(jù)量從而提供進(jìn)一步壓縮的過程。量化過程減少與系數(shù)中的一些或全部相關(guān)聯(lián)的位深度。舉例來說，η位值在量化期間下舍入到m位值，其中η大于m。
[0094]在一些實(shí)例中，視頻編碼器20利用預(yù)先界定的掃描次序來掃描經(jīng)量化變換系數(shù)以產(chǎn)生可經(jīng)熵編碼的串行化向量。在其它實(shí)例中，視頻編碼器26執(zhí)行自適應(yīng)掃描。在掃描經(jīng)量化變換系數(shù)以形成一維向量之后，在一些實(shí)例中，視頻編碼器20 (例如)根據(jù)上下文自適應(yīng)可變長度譯碼(CAVLC)、上下文自適應(yīng)二進(jìn)制算術(shù)譯碼(CABAC)、基于語法的上下文自適應(yīng)二進(jìn)制算術(shù)譯碼(SBAC)、概率區(qū)間分割熵(PIPE)譯碼或另一熵編碼方法(作為幾個(gè)實(shí)例)來熵編碼所述一維向量。視頻編碼器20還對與經(jīng)編碼視頻數(shù)據(jù)相關(guān)聯(lián)的語法元素進(jìn)行熵譯碼，以供視頻解碼器30在解碼視頻數(shù)據(jù)中使用。
[0095]為了執(zhí)行CABAC，視頻編碼器20可將上下文模型內(nèi)的上下文指派給待發(fā)射的符號。所述上下文可涉及(例如)符號的相鄰值是否為非零。為了執(zhí)行CAVLC，視頻編碼器20可針對待發(fā)射的符號選擇可變長度碼?？蓪LC中的碼字建構(gòu)成使得相對較短的代碼對應(yīng)于更有可能的符號，而較長的代碼對應(yīng)于較不可能的符號。以此方式，與(例如)針對待發(fā)射的每一符號使用相等長度的碼字相比，使用VLC可實(shí)現(xiàn)位節(jié)省。概率確定可基于指派給符號的上下文。
[0096]如上文所描述，在3D-HEVC中，視頻編碼器20和視頻解碼器30可參考第二視圖的參考圖片內(nèi)的參考塊對第一食堂的當(dāng)前圖片內(nèi)的當(dāng)前塊進(jìn)行幀間預(yù)測。此幀間預(yù)測被稱作視圖間預(yù)測。當(dāng)前圖片和參考圖片的時(shí)間實(shí)例在相應(yīng)視圖中可相同。在此實(shí)例中，視頻編碼器20或視頻解碼器30跨相同存取單元中的圖片執(zhí)行視圖間預(yù)測，其中相同存取單元中的圖片是在相同時(shí)間實(shí)例。
[0097]為了對當(dāng)前塊執(zhí)行視圖間預(yù)測，視頻編碼器20或視頻解碼器30建構(gòu)參考圖片列表，其識別可用于幀間預(yù)測的參考圖片，包含可用于視圖間預(yù)測的圖片。幀間預(yù)測是指相對于參考圖片中的參考塊預(yù)測當(dāng)前圖片中的當(dāng)前塊。視圖間預(yù)測為幀間預(yù)測的子集，因?yàn)樵谝晥D間預(yù)測中，參考圖片在不同于當(dāng)前圖片的視圖的視圖中。因此，對于視圖間預(yù)測，視頻編碼器20及視頻解碼器30將另一視圖中的參考圖片添加于經(jīng)建構(gòu)參考圖片列表中的一者或兩者中。可在經(jīng)建構(gòu)參考圖片列表內(nèi)的任何位置處識別另一視圖中的參考圖片。如本發(fā)明中所使用，當(dāng)視頻編碼器20正對塊執(zhí)行幀間預(yù)測(例如，幀間預(yù)測)時(shí)，視頻編碼器20可被視為對塊進(jìn)行幀間預(yù)測編碼。當(dāng)視頻解碼器30正對塊執(zhí)行幀間預(yù)測(例如，幀間預(yù)測)時(shí)，視頻解碼器30可被視為對塊進(jìn)行幀間預(yù)測解碼。
[0098]在幀間預(yù)測中，當(dāng)前塊的運(yùn)動(dòng)向量識別將用作用于對當(dāng)前塊進(jìn)行幀間預(yù)測的參考塊的塊的位置，且到經(jīng)建構(gòu)參考圖片列表中的一者或兩者中的參考索引識別包含將用作用于對當(dāng)前塊進(jìn)行幀間預(yù)測的參考塊的塊的參考圖片。在MVC中，存在至少兩種類型的運(yùn)動(dòng)向量。時(shí)間運(yùn)動(dòng)向量是指時(shí)間參考圖片，其中時(shí)間參考圖片是在與包含將被預(yù)測的塊的圖片相同的視圖內(nèi)的圖片，且其中時(shí)間參考圖片比包含將被預(yù)測的塊的圖片更早或更晚地顯示。視差運(yùn)動(dòng)向量是指除了包含將被預(yù)測的塊的圖片在其中的視圖之外的視圖中的參考圖片。當(dāng)視頻編碼器20或視頻解碼器30利用時(shí)間運(yùn)動(dòng)向量時(shí)，視頻編碼器20及視頻解碼器30被視為實(shí)施運(yùn)動(dòng)補(bǔ)償?shù)念A(yù)測(MCP)。當(dāng)視頻編碼器20或視頻解碼器30利用視差運(yùn)動(dòng)向量時(shí)，視頻編碼器20及視頻解碼器30被視為實(shí)施視差補(bǔ)償?shù)念A(yù)測(DCP)或視圖間預(yù)測。
[0099]本發(fā)明描述用于基于空間和/或時(shí)間相鄰塊的運(yùn)動(dòng)信息(例如，視差運(yùn)動(dòng)向量)來確定當(dāng)前塊的視差向量的技術(shù)。換句話說，可通過分析使用DCP譯碼的一或多個(gè)空間和/或時(shí)間相鄰塊的運(yùn)動(dòng)向量來確定當(dāng)前塊的視差向量。本發(fā)明的技術(shù)可由視頻編碼器20及視頻解碼器30中的一者或兩者來實(shí)施。這些技術(shù)可例如與基于HEVC的多視圖視頻譯碼和/或基于HEVC的3D視頻譯碼結(jié)合使用。
[0100]圖4展示當(dāng)前塊401及五個(gè)空間相鄰塊(402、403、404、405及406)的實(shí)例。在單視圖視頻譯碼中，可例如使用五個(gè)空間相鄰者的運(yùn)動(dòng)信息來建構(gòu)合并模式或AMVP的AMVP/合并模式候選列表。此外，還可使用塊401的時(shí)間相鄰者來建構(gòu)這些候選列表。時(shí)間相鄰者(圖4中未圖示)可例如為不同時(shí)間實(shí)例的圖片中的位于同一地點(diǎn)的塊。在多視圖譯碼中，與在單視圖譯碼中一樣，可使用空間相鄰者及時(shí)間相鄰者的運(yùn)動(dòng)信息來產(chǎn)生AMVP/合并模式候選列表，但在多視圖視頻譯碼中，時(shí)間相鄰塊還可在任何參考圖片中找到，包含相同視圖的時(shí)間參考圖片及第二視圖的視圖間參考圖片。如上文所提及，第二視圖的這些圖片可用于使用視差運(yùn)動(dòng)向量來預(yù)測第一視圖中的視頻數(shù)據(jù)塊。根據(jù)本發(fā)明的技術(shù)，可使用圖4中展示的五個(gè)空間相鄰塊的運(yùn)動(dòng)信息以及時(shí)間相鄰塊的運(yùn)動(dòng)信息來確定當(dāng)前圖片的當(dāng)前塊的視差向量(例如，圖4中的塊401)。
[0101]如將在以下描述中清楚的是，可以靈活方式導(dǎo)出使用哪些空間相鄰塊及哪些時(shí)間相鄰塊來用于確定當(dāng)前塊的視差向量。還可針對給定多視圖編解碼器以固定方式導(dǎo)出當(dāng)前塊的視差向量。一或多個(gè)空間相鄰塊包括將由二維(2D)視頻編解碼器中的現(xiàn)有譯碼工具存取的空間相鄰塊。在一些實(shí)施方案中，所考慮的空間相鄰塊及考慮所述相鄰塊的次序可與作為HEVC中界定的AMVP過程的一部分的用于導(dǎo)出候選列表的空間相鄰塊相同，或與作為HEVC中界定的合并過程的一部分的用于導(dǎo)出候選列表的空間相鄰塊相同。作為一個(gè)實(shí)例，返回參看圖4，在建構(gòu)合并或AMVP的候選列表時(shí)，視頻編碼器20及視頻解碼器可以首先是塊405,隨后是塊403,隨后是塊402,隨后是塊406,且最終是塊404的次序來考慮候選者。
[0102]然而，本發(fā)明的技術(shù)并不排除選擇使用哪一次序或方法的哪一組合來識別相鄰塊的視差運(yùn)動(dòng)向量以形成用于特定多視圖編解碼器的最終視差向量的靈活性。因此，結(jié)合本發(fā)明的技術(shù)而使用的相鄰塊不需要一定是圖4到7中所示的相同塊，且不需要一定是用于導(dǎo)出用于AMVP或合并模式的AMVP/合并模式候選列表的相同塊。因此，考慮相鄰塊的次序不需要一定是本發(fā)明的實(shí)例中所使用的相同次序，且不需要一定是其中考慮相鄰塊以用于導(dǎo)出AMVP/合并模式候選列表的相同次序。另外，雖然上文給出的2D譯碼工具的實(shí)例是HEVC譯碼工具，但預(yù)期由非HEVC譯碼工具使用的塊排序也可與本發(fā)明的技術(shù)結(jié)合使用。
[0103]在圖4中，亮度位置(xP，yP)相對于包含塊401的當(dāng)前圖片的左上樣本來指定塊401的左上亮度樣本。因此，在此實(shí)例中被稱作PU “N”的當(dāng)前塊的左上亮度樣本相對于當(dāng)前圖片的左上樣本是(xN，yN)。變量nPSW及nPSH表示用于亮度的塊401的寬度及高度。在此實(shí)例中，(xN，yN)(其中N被406、405、404、403及402取代以識別塊402到406中的一者)分別被界定為(xP-Ι, yP+nPSH)、(xP-Ι, yP+nPSH-1)、(xP+nPSff, yP_l)、(xP+nPSff-1,yP-Ι)或(xP-1，yP-Ι)。以此方式，視頻解碼器30確定空間相鄰塊的位置。根據(jù)本發(fā)明的技術(shù)，這些空間相鄰塊((例如，塊402到406)的運(yùn)動(dòng)信息可被評估為確定塊401的視差向量的一部分。
[0104]以下描述闡釋其中視頻編碼器20或視頻解碼器30可識別時(shí)間相鄰塊的多種方式。如果那些時(shí)間相鄰塊是使用DCP被譯碼，那么可使用用于對時(shí)間相鄰塊進(jìn)行譯碼的視差運(yùn)動(dòng)向量來確定當(dāng)前塊的視差向量。視頻編碼器20及視頻解碼器30可通過首先識別時(shí)間圖片且隨后在所識別的時(shí)間圖片內(nèi)識別位于同一地點(diǎn)或相鄰的塊來識別時(shí)間相鄰塊?？勺R別多個(gè)時(shí)間圖片，且因此還可識別多個(gè)時(shí)間相鄰塊。
[0105]在一個(gè)實(shí)例中，根據(jù)本發(fā)明的技術(shù)，用于HEVC中的時(shí)間運(yùn)動(dòng)向量預(yù)測的相同圖片可用作用于來識別時(shí)間相鄰塊的時(shí)間圖片。用于HEVC中的時(shí)間運(yùn)動(dòng)向量預(yù)測的圖片可由包含將被幀間預(yù)測的當(dāng)前塊的圖片的參考圖片列表中的一者中的Collocated_ref_idx索引值指示。collocatecLrefjdx索引值可識別與包含將被幀間預(yù)測的塊的圖片相同的視圖中的圖片，或與包含將被幀間預(yù)測的塊的圖片不同的視圖中的圖片。在這些實(shí)例中的任一者中，由collocated_ref_idx索引值識別的圖片可包含一或多個(gè)時(shí)間相鄰塊。視頻編碼器20用信號通知指示是在RefPicListO還是RefPicListl中識別位于同一地點(diǎn)的圖片的旗標(biāo)((例如,collocated_from_10_flag)。舉例來說,如果旗標(biāo)值是1，那么視頻解碼器30確定在RefPicListO中識別位于同一地點(diǎn)的圖片，且旗標(biāo)值是0，那么視頻解碼器30確定在RefPicListl中識別位于同一地點(diǎn)的圖片。
[0106]然而，時(shí)間圖片不限于用于HEVC中的時(shí)間運(yùn)動(dòng)向量預(yù)測的相同圖片。時(shí)間圖片可為經(jīng)解碼圖片緩沖器中的任何圖片。時(shí)間圖片通常是指在當(dāng)前圖片的參考圖片列表中或在經(jīng)解碼圖片緩沖器中的屬于與當(dāng)前圖片相同的視圖的圖片。在一些情況下，時(shí)間圖片還可為當(dāng)前圖片的視圖間參考圖片。舉例來說，時(shí)間圖片可在當(dāng)前切片被幀間譯碼的情況下包含參考圖片列表O (RefPicListO)的所有條目或條目的子集，且在當(dāng)前切片被譯碼為B切片的情況下包含RefPicListO及RefPicListl的所有條目或條目的子集。
[0107]作為一實(shí)例，視頻編碼器20及視頻解碼器30可經(jīng)配置以僅識別RefPicListO和/或RefPicList I的第一參考圖片中的時(shí)間相鄰塊。在其它實(shí)例中，視頻編碼器20及視頻解碼器30還可經(jīng)配置以識別RefPicListO和/或RefPicList I的頭兩個(gè)參考圖片中或RefPicListO和/或RefPicList I中的圖片的某一選定排序或子集中的時(shí)間相鄰塊。另夕卜，在一些實(shí)例中，視頻編碼器20及視頻解碼器30可識別當(dāng)前圖片的相同存取單元的視圖間圖片中的時(shí)間相鄰塊，即使所述相同存取單元的視圖間圖片不包含在RefPicListO或RefPicList I中的任一者中也如此。
[0108]一旦視頻編碼器20及視頻解碼器30使用上述技術(shù)中的一或多者識別時(shí)間圖片，視頻編碼器20及視頻解碼器30便可識別時(shí)間圖片中的一或多個(gè)時(shí)間相鄰塊。視頻編碼器20及視頻解碼器30可例如將時(shí)間圖片中的位于同一地點(diǎn)的塊識別為時(shí)間相鄰塊。位于同一地點(diǎn)的塊一般是指在時(shí)間圖片中具有與當(dāng)前圖片中的當(dāng)前塊相同的相對位置的塊。視頻編碼器20及視頻解碼器30還可將作為或?qū)儆诤形挥谕坏攸c(diǎn)的塊的CU的PU的任何塊識別為時(shí)間相鄰塊。在一些實(shí)例中，視頻編碼器20及視頻解碼器30可將作為或?qū)儆诤形挥谕坏攸c(diǎn)的塊的LCU的PU的任何塊識別為時(shí)間相鄰塊。本發(fā)明中提供的用于確定時(shí)間圖片及時(shí)間圖片中的時(shí)間相鄰塊的實(shí)例并非意欲構(gòu)成其中可識別時(shí)間相鄰塊的所有方式的詳盡列表。用于確定當(dāng)前塊的視差向量的本發(fā)明的技術(shù)一般與用于確定當(dāng)前塊的時(shí)間相鄰塊的任何技術(shù)相容。
[0109]本發(fā)明描述用于使用與空間相鄰塊(例如，塊402到406)相關(guān)聯(lián)的視差運(yùn)動(dòng)向量及與時(shí)間相鄰塊相關(guān)聯(lián)的視差運(yùn)動(dòng)向量來確定正被譯碼的塊(例如，塊401)的視差向量的技術(shù)。使用空間相鄰塊402到406的視差運(yùn)動(dòng)向量及一或多個(gè)時(shí)間相鄰塊，候選視差向量可被識別且存儲在列表disVecCan中。如下文中將較詳細(xì)描述,可從disVecCan中的候選者確定用于識別用于視圖間預(yù)測(例如，視圖間運(yùn)動(dòng)預(yù)測或視圖間殘差預(yù)測)的參考塊的一或多個(gè)最終視差向量。如下文將更詳細(xì)地解釋，用于包含在disVecCan中的候選者可通過識別SDV、TDV且通過確定隱式視差向量IDV來確定?，F(xiàn)將更詳細(xì)地解釋SDV、TDV及IDV。
[0110]圖5是說明SDV的概念圖。圖5展示三個(gè)圖片:當(dāng)前圖片501、參考圖片502及對應(yīng)的圖片503。當(dāng)前圖片501表示當(dāng)前正被譯碼的圖片。參考圖片502表示來自與當(dāng)前圖片501相同的視圖的已被譯碼的圖片，且對應(yīng)的圖片503表示對應(yīng)于與另一視圖中的當(dāng)前圖片501相同的時(shí)間實(shí)例的圖片。當(dāng)前圖片501包含當(dāng)前塊504，其為當(dāng)前正被譯碼的塊。當(dāng)前塊504具有已被譯碼的兩個(gè)空間相鄰者(塊505及塊506)。對于當(dāng)前塊504，其兩個(gè)空間相鄰者(塊505及塊506)是分別使用MCP及DCP譯碼的。在圖5的實(shí)例中，塊505是使用MCP譯碼的，且塊507表示用于預(yù)測塊505的塊。線508表示用于識別塊507的時(shí)間運(yùn)動(dòng)向量。
[0111]在圖5的實(shí)例中，塊506是使用DCP而不是MCP進(jìn)行譯碼。塊506是從處于與塊506不同的視圖中的塊509預(yù)測的。因此，用于定位塊506的參考塊(B卩，塊509)的運(yùn)動(dòng)向量是視差運(yùn)動(dòng)向量而不是時(shí)間運(yùn)動(dòng)向量。線510表示用于定位塊509的視差運(yùn)動(dòng)向量。在圖5的實(shí)例中，線510表示塊504的SDV。在一些實(shí)施方案中，SDV可以用作當(dāng)前塊504的視差向量。在其它實(shí)施方案中，可將SDV添加到當(dāng)前塊504的di sVecCan，且可從di sVecCan中的候選者選擇當(dāng)前塊504的視差向量。
[0112]為了確定SDV，視頻編碼器20及視頻解碼器30可以給定次序檢查當(dāng)前塊504的每一空間相鄰預(yù)測單元。當(dāng)前塊504可具有比圖5中所示的塊505及506更多的空間相鄰預(yù)測單元。舉例來說，圖4展示其它空間相鄰塊的實(shí)例。對于當(dāng)前塊504的空間相鄰PU中的每一者，可檢查前向運(yùn)動(dòng)向量(對應(yīng)于RefPicListO)或后向運(yùn)動(dòng)向量(對應(yīng)于RefPicListl)(如果可用)且在所述運(yùn)動(dòng)向量是視差運(yùn)動(dòng)向量的情況下將其添加到disVecCan。返回參看圖5，舉例來說，由線510表示的運(yùn)動(dòng)向量構(gòu)成塊504的SDV，因?yàn)槠錇橐暡钸\(yùn)動(dòng)向量，而由線508表示的運(yùn)動(dòng)向量不構(gòu)成SDV’因?yàn)槠錇闀r(shí)間運(yùn)動(dòng)向量。
[0113]圖6展示TDV的概念性說明。圖6展示六個(gè)圖片。當(dāng)前圖片601表示當(dāng)前正被譯碼的圖片。對應(yīng)的圖片602表示與當(dāng)前圖片601具有相同時(shí)間實(shí)例但處于不同視圖(圖6中的視圖O)中的圖片。參考圖片603及604表示與當(dāng)前圖片601處于相同視圖(S卩，視圖1)中的參考圖片，且參考圖片605及606表示與對應(yīng)圖片602處于相同視圖(B卩，視圖O)中的參考圖片。在圖6的實(shí)例中，參考圖片604及參考圖片606是相同時(shí)間實(shí)例的圖片，且參考圖片603及參考圖片605是相同時(shí)間實(shí)例的圖片。
[0114]當(dāng)前圖片601包含當(dāng)前正被譯碼的當(dāng)前塊607。對于當(dāng)前塊607存在三個(gè)參考圖片，兩個(gè)來自相同視圖(視圖1中的參考圖片603及參考圖片604)且一個(gè)來自另一視圖(視圖O中的參考圖片602)。可檢查三個(gè)時(shí)間相鄰塊(608、609及610)以確定它們是否使用視差運(yùn)動(dòng)向量。塊608、609及610被視為塊607的時(shí)間相鄰者，因?yàn)樗鼈兣c塊607位于同一地點(diǎn)，從而意味著它們處于與塊607相同的大致位置但在不同圖片中。
[0115]在圖6的實(shí)例中，時(shí)間相鄰塊610被幀內(nèi)預(yù)測且不具有相關(guān)聯(lián)的運(yùn)動(dòng)向量。使用在圖6中由線611表示的時(shí)間運(yùn)動(dòng)向量來預(yù)測時(shí)間相鄰塊608。由線612表示的視差運(yùn)動(dòng)向量對時(shí)間相鄰塊609進(jìn)行視圖間預(yù)測。因此，在圖6的實(shí)例中，僅使用視差運(yùn)動(dòng)向量來預(yù)測時(shí)間相鄰塊609。因此，僅將塊609的運(yùn)動(dòng)向量用作TDV候選者。TDV候選者可用作當(dāng)前塊的視差向量或可作為候選視差向量添加到從其選擇當(dāng)前塊的視差向量的di sVecCan。
[0116]視頻編碼器20及視頻解碼器30可識別參考圖片列表O或參考圖片列表I的第一參考圖片的位于同一地點(diǎn)的PU的視差運(yùn)動(dòng)向量以用作TDV。視頻編碼器20及視頻解碼器30還可從用于TMVP的圖片或由TMVP導(dǎo)出的塊識別位于同一地點(diǎn)的I3U的視差運(yùn)動(dòng)向量以用作TDV。視頻編碼器20及視頻解碼器30還可識別任一參考圖片列表的可為或可不為視圖間參考圖片的任何參考圖片的位于同一地點(diǎn)的PU的視差運(yùn)動(dòng)向量以用作TDV。在一些情況下，視頻編碼器20及視頻解碼器30還可識別未包含于參考圖片列表中的相同存取單元的視圖間圖片中的塊的視差運(yùn)動(dòng)向量以用作TDV。另外，視頻編碼器20及視頻解碼器30可識別含有任何上述圖片的位于同一地點(diǎn)的PU的CU的任何I3U的視差運(yùn)動(dòng)向量或含有任何上述圖片的位于同一地點(diǎn)的PU的IXU的任何PU的視差運(yùn)動(dòng)向量以用作TDV。
[0117]隱式視差向量(IDV)是指當(dāng)前塊的相鄰塊的所存儲的視差向量。在對當(dāng)前塊進(jìn)行譯碼之后，如果視差向量用于視圖間預(yù)測，也就是說，其運(yùn)動(dòng)向量中的至少一者從視圖間運(yùn)動(dòng)參數(shù)預(yù)測來預(yù)測，那么存儲視差向量以用于當(dāng)前塊。在對未來的塊進(jìn)行譯碼時(shí)，先前存儲的視差向量用于預(yù)測所述視差向量。在檢查此些先前的視差向量時(shí)，還可僅檢查相鄰塊。這意味著空間相鄰塊(如含有SDV的塊)的視差向量是IDV，或時(shí)間相鄰塊(如含有TDV的塊)的視差向量被視為TDV，或空間及時(shí)間相鄰塊兩者的視差向量被視為IDV。所描述的技術(shù)可在考慮IDV或不考慮IDV的情況下運(yùn)作。
[0118]如果PU是在其運(yùn)動(dòng)向量中的至少一者是從視圖間運(yùn)動(dòng)參數(shù)預(yù)測來預(yù)測(即，基于視差向量從其它視圖導(dǎo)出)的情況下被譯碼，那么視差向量可在時(shí)間上與PU相關(guān)聯(lián)。與此I3U相關(guān)聯(lián)的視差向量被稱作IDV。在當(dāng)前I3U的空間或時(shí)間相鄰I3U含有IDV時(shí)，可考慮使用所述IDV來導(dǎo)出當(dāng)前塊的視差向量。也就是說，可將空間或時(shí)間相鄰者PU的IDV視為IDV候選者。IDV候選者可用作當(dāng)前塊的視差向量或可作為候選視差向量添加到從其選擇當(dāng)前塊的視差向量的disVecCan。
[0119]圖7展示IDV的概念性說明。具體來說，圖7展示四個(gè)圖片。當(dāng)前圖片701表示當(dāng)前正被譯碼的圖片。圖片702表示與圖片701相同的視圖(視圖1)中的參考圖片。對應(yīng)的圖片703表示與當(dāng)前圖片701具有相同時(shí)間實(shí)例但處于不同視圖(視圖O)中的圖片。圖片704表示與圖片703相同的視圖(視圖O)中的參考圖片。在圖6的實(shí)例中，圖片701包含當(dāng)前PU 705。當(dāng)前I3U 705具有從相同視圖(視圖1)中的參考圖片702中的塊707預(yù)測的空間相鄰者(PU 706)。用于預(yù)測706的運(yùn)動(dòng)向量是由線708表示。在圖7的實(shí)例中，此運(yùn)動(dòng)向量(線708)是從I3U 709繼承。PU 709是由作為PU 706的空間相鄰PU的PU 710的視差向量定位。在此情況下，PU 706是與IDV相關(guān)聯(lián)的PU，且PU 710的視差向量被視為IDV。
[0120]給定目標(biāo)參考視圖，可從上文所描述的可用的SDV、TDV或IDV確定視差向量。如將更詳細(xì)地描述，在一個(gè)實(shí)例中，可遵循某一次序，且一旦視差運(yùn)動(dòng)向量被識別為可用，那么可將所述視差運(yùn)動(dòng)向量用作當(dāng)前塊的視差向量。在一些實(shí)施方案中，如果作為含有由對應(yīng)于所述視差運(yùn)動(dòng)向量的參考索引識別的參考圖片的視圖的所識別的參考視圖處于與目標(biāo)參考視圖的所識別的參考視圖相同的視圖中，從而意味著當(dāng)前檢查的SDV、TDV或IDV可用，那么識別視差向量。然而，在另一實(shí)例中，所識別的參考視圖(例如，視圖識別符或視圖次序索引)可為視差向量導(dǎo)出過程的輸出的一部分。如將在下文更詳細(xì)地闡釋，在一些實(shí)施方案中，所述導(dǎo)出過程可返回不受給定目標(biāo)參考視圖約束的視差向量，而在其它實(shí)施方案中，所返回的視差向量可能受目標(biāo)參考視圖約束。
[0121]為了確定TDV，視頻編碼器20及視頻解碼器30可經(jīng)配置以實(shí)施多種不同過程中的任一者。舉例來說，視頻編碼器20及視頻解碼器30可經(jīng)配置以檢查每一參考圖片列表的每一圖片。其中視頻20的次序可為首先檢查參考圖片列表索引(RefPicListO或RefPicListl)或首先檢查參考索引。還可檢查位于同一地點(diǎn)的I3U或含有圖片中的位于同一地點(diǎn)的PU的⑶/IXU的任何PU的運(yùn)動(dòng)向量。如果運(yùn)動(dòng)向量是視差運(yùn)動(dòng)向量，那么其可用作TDV且可用作當(dāng)前塊的視差向量或可添加到disVecCan。如上文所論述,disVecCan表示包含候選視差向量的數(shù)據(jù)結(jié)構(gòu)的實(shí)例。此外，視頻譯碼器可使用本發(fā)明的技術(shù)從disVecCan選擇當(dāng)前塊的視差向量。
[0122]視頻編碼器20及視頻解碼器30還可經(jīng)配置以檢查甚至包含在參考圖片列表中的相同存取單元的視圖間圖片、位于同一地點(diǎn)的PU或含有圖片中的位于同一地點(diǎn)的的CU/LCU的任何I3U的運(yùn)動(dòng)向量，如果其為視差運(yùn)動(dòng)向量，那么可將其用作TDV。其運(yùn)動(dòng)向量不是。視頻編碼器20及視頻解碼器30還可經(jīng)配置以僅檢查如HEVC中界定的TMVP，且如果其為視差運(yùn)動(dòng)向量，那么可將其用作TDV。視頻編碼器20及視頻解碼器30還可經(jīng)配置以僅檢查來自用于如HEVC中界定的TMVP的圖片的位于同一地點(diǎn)的PU，且如果其運(yùn)動(dòng)向量中的任一者(對應(yīng)于RefPicListO或RefPicListl)為視差運(yùn)動(dòng)向量，那么可將所述視差運(yùn)動(dòng)向量用作TDV。
[0123]?僅檢查如HEVC中界定的TMVP，且如果其為視差運(yùn)動(dòng)向量，那么將其添加到disVecCan 中。
[0124]?僅檢查來自用于如HEVC中界定的TMVP的圖片的位于同一地點(diǎn)的PU，如果其運(yùn)動(dòng)向量中的任一者(對應(yīng)于RefPicListO或RefPicListl)為視差運(yùn)動(dòng)向量，那么將其添加到 disVecCan 中。
[0125]對于本發(fā)明的技術(shù)的不同實(shí)施方案，將什么候選者添加到disVecCan且從disVecCan排除什么候選者可變化。舉例來說，在一些實(shí)施方案中，可從disVecCan排除指向不同于當(dāng)前塊的目標(biāo)視圖的目標(biāo)參考視圖的候選視差向量，而在其它實(shí)施方案中，可包含此候選者。在一些實(shí)施方案中，指向不同于當(dāng)前塊的目標(biāo)視圖的目標(biāo)參考視圖的候選視差向量可經(jīng)縮放，隨后添加到disVecCan，而在其它實(shí)施方案中，僅將未縮放的候選者包含在 disVecCan 中。
[0126]在SDV、TDV及IDV被確定包含于disVecCan中之后，視頻編碼器20及視頻解碼器30可從disVecCan中的候選者導(dǎo)出當(dāng)前塊的視差向量。舉例來說，視頻編碼器20及視頻解碼器30可經(jīng)配置以從disVecCan選擇具有最高出現(xiàn)頻率的候選者。換句話說，視頻編碼器20及視頻解碼器30可在disVecCan中選擇最頻繁出現(xiàn)的候選視差向量以作為當(dāng)前塊的視差向量。在其中一個(gè)以上候選視差以相同頻率出現(xiàn)的情況下，視頻編碼器20及視頻解碼器30可例如經(jīng)配置以基于其中將候選視差向量添加到disVecCan的次序來選擇候選視差向量。舉例來說，在disVecCan中最頻繁出現(xiàn)的視差向量候選者中，首先被添加到disVecCan的視差向量候選者可被選擇為當(dāng)前塊的視差向量。
[0127]在一些實(shí)施方案中，不基于disVecCan中的多個(gè)候選者來確定視差向量,視頻譯碼器可將第一可用的候選視差運(yùn)動(dòng)向量用作當(dāng)前塊的視差向量。舉例來說，視頻編碼器20及視頻解碼器20可評估多個(gè)相鄰塊以確定多個(gè)相鄰塊中的一者是否產(chǎn)生可用的候選視差向量，且在識別可用的候選視差向量后即刻終止相鄰塊的評估。
[0128]所述第一可用的候選者可例如取決于什么被考慮為可用的候選者。舉例來說，在一些實(shí)施方案中，視差向量導(dǎo)出過程可返回不受給定目標(biāo)參考視圖約束的視差向量，從而意味著視差向量可被視為可用的，而不管其涉及的視圖如何。也就是說，在一些實(shí)施方案中，指向不同于當(dāng)前塊的目標(biāo)參考視圖的目標(biāo)視圖的視差運(yùn)動(dòng)向量可被視為不可用的，而在其它實(shí)施方案中，此視差運(yùn)動(dòng)向量可被視為可用的候選者?？捎玫暮蜻x者一般是指滿足用于用作當(dāng)前塊的視差向量的準(zhǔn)則的候選者。此準(zhǔn)則對于本發(fā)明的技術(shù)的不同實(shí)施方案可變化。因此，什么構(gòu)成可用的可候選者不需要是固定的，而是可針對本發(fā)明的技術(shù)的不同實(shí)施方案而變化。
[0129]導(dǎo)出過程可返回不受給定目標(biāo)參考視圖約束的視差向量，從而意味著視差向量被視為可用的，而不管其涉及的視圖如何?？芍苯訉⑺鶎?dǎo)出的視差向量用作所導(dǎo)出的視差向量。在另一實(shí)例中，所述視差向量不受給定目標(biāo)參考視圖約束。在此情況下，所識別的參考視圖可為本發(fā)明中所描述的視差導(dǎo)出過程的輸出的一部分。然而，如果所識別的參考視圖不是目標(biāo)參考視圖，那么可將所導(dǎo)出的視差向量轉(zhuǎn)換為涉及目標(biāo)參考視圖的視差向量，且可基于(例如)視圖識別符差或相機(jī)位置來縮放所述向量?？芍苯訉⒖捎玫暮蜻x視差向量用作當(dāng)前塊的所導(dǎo)出的視差向量。I然而，在一些實(shí)例中，如果可用的候選視差向量的所識別的參考視圖不是當(dāng)前塊的目標(biāo)參考視圖，那么可例如通過基于(例如)視圖識別符差或相機(jī)位置來縮放候選視差向量而將所述可用的候選視差向量轉(zhuǎn)換為涉及目標(biāo)參考視圖的視差向量。
[0130]第一可用的候選者可例如也取決于其中評估候選者的次序。在一個(gè)實(shí)例中，可首先評估空間相鄰塊以識別SDV。如果未識別SDV，那么可評估一或多個(gè)時(shí)間相鄰塊以識別TDV，且如果未識別TDV，那么可再次評估空間及時(shí)間相鄰塊以確定IDV。當(dāng)然，這僅表示一種評估次序，且可使用其它次序。
[0131]在評估空間相鄰塊時(shí)，還可以界定的次序評估空間相鄰者。舉例來說，返回參看圖4，視頻譯碼器可以以下次序評估空間相鄰塊:⑴塊405、⑵塊403、(3)塊402、(4)塊406、(5)塊404。使用此實(shí)例排序，視頻編碼器20及視頻編碼器30可首先評估相鄰塊405以確定SDV是否可用。如果相鄰塊405不具有相關(guān)聯(lián)的SDV,那么視頻編碼器20及視頻編碼器30可接下來評估塊403以確定SDV是否可用。如果相鄰塊403不具有相關(guān)聯(lián)的SDV,那么視頻編碼器20及視頻編碼器30可接下來評估塊402，且此過程可重復(fù)，直到視頻編碼器20及視頻解碼器30識別可用的SDV為止或直到所有空間相鄰者已被評估為止。如果所有相鄰塊402到406被評估且未識別可用的SDV，那么視頻編碼器20及視頻編碼器30可接下來評估一或多個(gè)時(shí)間相鄰塊以識別可用的TDV。如果未識別可用的TDV，那么視頻編碼器20及視頻編碼器30可再次評估空間相鄰塊402到406及時(shí)間相鄰塊以識別可用的IDV。當(dāng)相鄰塊402到406及時(shí)間相鄰塊被評估以確定可用的IDV時(shí)，可以用于識別SDV及TDV的相同次序或可使用不同次序來評估相鄰塊402到406。另外，可使用相鄰塊的不同群組來用于識別SDV、TDV及IDV。舉例來說，可僅評估針對識別SDV而評估的塊的子集以用于識別IDV，或反之亦然。還可使用其它界定的次序。舉例來說，其中檢查類別的次序可為以下各者中的任一者=(I)SDV向量、(2) TDV向量、(3) IDV向量；(I) SDV向量、(2) IDV向量、(3) TDV向量；(I) IDV向量、(2)SDV向量、(3)TDV向量，或某一其它排序。另外，在一些實(shí)施方案中，可不考慮且檢查視差運(yùn)動(dòng)向量的上述類別中的一者或兩者。
[0132]在一些實(shí)施方案中，視頻譯碼器可交錯(cuò)評估空間及時(shí)間相鄰塊。舉例來說，返回參看圖4，視頻譯碼器可以以下次序評估相鄰塊:(I)塊405、⑵塊403、(3)塊402、⑷塊406、(5)第一時(shí)間相鄰塊、(6)第二時(shí)間相鄰塊、(7)塊404。再次，此評估次序表示許多實(shí)例中的一者，且可使用其它次序。不管使用何種次序，視頻編碼器20及視頻解碼器30將通常經(jīng)配置以實(shí)施相同排序，使得視頻編碼器20及視頻解碼器30經(jīng)配置以識別相同的視差向量候選者和/或產(chǎn)生相同的disVecCan。
[0133]不管是從第一可用的候選者確定還是基于disVecCan中的多個(gè)候選者來確定視差向量，可將視差向量量化為(例如)整數(shù)/4像素準(zhǔn)確度。在其中視差向量是選自disVecCan中的多個(gè)候選者的實(shí)施方案中，每一候選者可經(jīng)量化，之后被添加到disVecCan,或候選者可選自disVecCan且隨后經(jīng)量化。另外,在其中用于確定視差向量的運(yùn)動(dòng)向量具有非零的I分量的例子中，可將視差向量的I分量設(shè)定為等于零。出于實(shí)例的目的，假設(shè)用于預(yù)測當(dāng)前塊的空間相鄰塊的視差運(yùn)動(dòng)向量具有非零y分量，且所述視差運(yùn)動(dòng)向量將用于確定所述當(dāng)前塊的視差向量。在一些情況下，具有非零分量的視差運(yùn)動(dòng)向量可以用作視差向量，從而意味著相鄰塊的視差運(yùn)動(dòng)向量及當(dāng)前塊的視差向量將具有相同的X分量及相同的I分量兩者。然而，在其它情況下，可將視差運(yùn)動(dòng)向量的I分量設(shè)定成零，從而意味著相鄰塊的視差運(yùn)動(dòng)向量及當(dāng)前塊的視差向量將具有相同的X分量但將具有不同的I分量。
[0134]使用上述技術(shù)導(dǎo)出的視差向量可用于可能需要視差向量的所有譯碼工具。舉例來說，所述視差向量可用于視圖間運(yùn)動(dòng)預(yù)測及視圖間殘差預(yù)測，但其它譯碼工具也可潛在地使用所述視差向量。所述視差向量可用于識別參考視圖的參考塊，使得可使用所述參考塊的信息來預(yù)測當(dāng)前塊。在視圖間運(yùn)動(dòng)預(yù)測中，視差向量可用于(例如)從參考視圖取得運(yùn)動(dòng)向量預(yù)測符或?qū)⒁暡钕蛄孔陨磙D(zhuǎn)換為運(yùn)動(dòng)向量預(yù)測符的兩個(gè)目的。當(dāng)通過視差向量識別參考塊時(shí)，屬于所述參考塊的運(yùn)動(dòng)向量可用于創(chuàng)建將被視為當(dāng)前塊的合并或AMVP候選列表的新條目的新運(yùn)動(dòng)向量候選者。而且，可將所述視差向量轉(zhuǎn)換為(視差)運(yùn)動(dòng)向量，其可為另一合并或AMVP候選者?？衫缡褂眯藜舴椒ㄌ砑宇~外的合并或AMVP候選者。本發(fā)明中所描述的視差向量導(dǎo)出過程一般針對視圖間運(yùn)動(dòng)預(yù)測的不同方法而運(yùn)作。視圖間殘差預(yù)測使用參考視圖的參考塊中產(chǎn)生的殘差來進(jìn)一步預(yù)測當(dāng)前塊的殘余數(shù)據(jù)。此處，所述視差向量用于識別所述參考塊。
[0135]視圖間殘差預(yù)測使用參考視圖的參考塊中產(chǎn)生的殘差來進(jìn)一步預(yù)測當(dāng)前塊的殘差。在此些情況下，視差向量用于識別參考塊。已經(jīng)僅出于說明的目的而給出前述實(shí)例，且可以多種其它方式使用根據(jù)本發(fā)明的技術(shù)而確定的視差向量來實(shí)施視圖間運(yùn)動(dòng)預(yù)測、視圖間殘差預(yù)測，或其它譯碼技術(shù)。
[0136]圖8是說明可實(shí)施本發(fā)明中所描述的技術(shù)的實(shí)例視頻編碼器20的框圖。視頻編碼器20可執(zhí)行對視頻切片內(nèi)的視頻塊的幀內(nèi)譯碼和幀間譯碼。幀內(nèi)譯碼依賴于空間預(yù)測以減少或移除給定視頻幀或圖片內(nèi)的視頻中的空間冗余。幀間譯碼依賴于時(shí)間預(yù)測以減少或移除視頻序列的鄰近幀或圖片內(nèi)的視頻中的時(shí)間冗余。幀內(nèi)模式(I模式)可指代若干基于空間的壓縮模式中的任一者。幀間模式(例如單向預(yù)測(P模式)或雙向預(yù)測(B模式))可指代若干基于時(shí)間的壓縮模式中的任一者。
[0137]在圖8的實(shí)例中，視頻編碼器20包含分割單元35、預(yù)測處理單元41、參考圖片存儲器64、求和器50、變換處理單元52、量化單元54以及熵編碼單元56。預(yù)測處理單元41包含運(yùn)動(dòng)和視差估計(jì)單元42、運(yùn)動(dòng)和視差補(bǔ)償單元44，和幀內(nèi)預(yù)測處理單元46。對于視頻塊重構(gòu)，視頻編碼器20還包含反量化單元58、反變換處理單元60，以及求和器62。還可包含解塊濾波器(圖8中未展示)以將塊邊界濾波，以從經(jīng)重構(gòu)的視頻移除成塊性假影。在需要時(shí)，解塊濾波器將通常對求和器62的輸出進(jìn)行濾波。除了解塊濾波器之外，還可使用額外的環(huán)路濾波器(環(huán)路內(nèi)或環(huán)路后)。
[0138]如圖8中所示，視頻編碼器20接收視頻數(shù)據(jù)，且分割單元35將所述數(shù)據(jù)分割為視頻塊。此分割還可包含分割為切片、瓦片或其它更大的單元，以及(例如)根據(jù)IXU和⑶的四叉樹結(jié)構(gòu)的視頻塊分割。視頻編碼器20 —般說明對將被編碼的視頻切片內(nèi)的視頻塊進(jìn)行編碼的組件?？蓪⑺銮衅瑒澐譃槎鄠€(gè)視頻塊(且可能劃分為被稱作瓦片的多組視頻塊)。預(yù)測處理單元41可針對當(dāng)前視頻塊基于誤差結(jié)果(例如，譯碼速率和失真水平)來選擇多個(gè)可能的譯碼模式中的一者，例如多個(gè)幀內(nèi)譯碼模式中的一者或多個(gè)幀間譯碼模式中的一者。預(yù)測處理單元41將所得的經(jīng)幀內(nèi)譯碼或經(jīng)幀間譯碼的塊提供到求和器50以產(chǎn)生殘余塊數(shù)據(jù)，且提供到求和器62以重構(gòu)經(jīng)編碼塊以用作參考圖片。
[0139]預(yù)測處理單元41內(nèi)的幀內(nèi)預(yù)測處理單元46相對于在與待譯碼的當(dāng)前塊相同的幀或切片中的一或多個(gè)相鄰塊執(zhí)行對當(dāng)前視頻塊的幀內(nèi)預(yù)測譯碼，以提供空間壓縮。預(yù)測處理單元41內(nèi)的運(yùn)動(dòng)和視差估計(jì)單元42及運(yùn)動(dòng)和視差補(bǔ)償單元44相對于一或多個(gè)參考圖片和/或參考視圖中的一或多個(gè)預(yù)測塊執(zhí)行對當(dāng)前視頻塊的幀間預(yù)測譯碼和/或視圖間譯碼以提供時(shí)間壓縮。
[0140]運(yùn)動(dòng)和視差估計(jì)單元42可經(jīng)配置以根據(jù)視頻序列的預(yù)定模式來確定視頻切片的幀間預(yù)測模式和/或視圖間預(yù)測模式。所述預(yù)定模式可將序列中的視頻切片指定為P切片或B切片。運(yùn)動(dòng)和視差估計(jì)單元42與運(yùn)動(dòng)和視差補(bǔ)償單元44可高度集成，但出于概念上的目的而分開予以說明。由運(yùn)動(dòng)和視差估計(jì)單元42執(zhí)行的運(yùn)動(dòng)和視差估計(jì)是產(chǎn)生運(yùn)動(dòng)向量的過程，運(yùn)動(dòng)向量估計(jì)視頻塊的運(yùn)動(dòng)。運(yùn)動(dòng)向量(例如)可指示當(dāng)前視頻幀內(nèi)的視頻塊的PU相對于參考圖片內(nèi)的預(yù)測塊或圖片的移位。由運(yùn)動(dòng)和視差估計(jì)單元42執(zhí)行的視差估計(jì)是產(chǎn)生視差運(yùn)動(dòng)向量的過程，視差運(yùn)動(dòng)向量可用于從不同視圖中的塊預(yù)測當(dāng)前譯碼的塊。
[0141]預(yù)測塊是經(jīng)發(fā)現(xiàn)在像素差異方面緊密地匹配待譯碼的視頻塊的的塊，其可通過絕對差總和(SAD)、平方差總和(SSD)或其它差度量來確定。在一些實(shí)例中，視頻編碼器20可計(jì)算存儲于參考圖片存儲器64中的參考圖片的子整數(shù)像素位置的值。舉例來說，視頻編碼器20可內(nèi)插參考圖片的四分之一像素位置、八分之一像素位置或其它分?jǐn)?shù)像素位置的值。因此，運(yùn)動(dòng)和視差估計(jì)單元42可執(zhí)行相對于完整像素位置和分?jǐn)?shù)像素位置的運(yùn)動(dòng)搜索，且以分?jǐn)?shù)像素位置輸出運(yùn)動(dòng)向量。
[0142]運(yùn)動(dòng)和視差估計(jì)單元42通過比較PU的位置與參考圖片的預(yù)測塊的位置來計(jì)算經(jīng)幀間譯碼或經(jīng)視圖間預(yù)測的切片中的視頻塊的PU的運(yùn)動(dòng)向量(對于運(yùn)動(dòng)補(bǔ)償?shù)念A(yù)測)和/或視差運(yùn)動(dòng)向量(對于視差補(bǔ)償?shù)念A(yù)測)。可從第一參考圖片列表(列表O)或第二參考圖片列表(列表I)來選擇所述參考圖片，所述列表中的每一者識別存儲于參考圖片存儲器64中的一或多個(gè)參考圖片。運(yùn)動(dòng)和視差估計(jì)單元42將計(jì)算出的運(yùn)動(dòng)向量和/或視差向量發(fā)送到熵編碼單元56和運(yùn)動(dòng)補(bǔ)償單元44。
[0143]由運(yùn)動(dòng)和視差補(bǔ)償單元44執(zhí)行的運(yùn)動(dòng)補(bǔ)償和/或視差補(bǔ)償可涉及基于通過運(yùn)動(dòng)估計(jì)和/或視差估計(jì)所確定的運(yùn)動(dòng)向量獲取或產(chǎn)生預(yù)測塊，可能對子像素精度執(zhí)行內(nèi)插。在接收到當(dāng)前視頻塊的PU的運(yùn)動(dòng)向量和/或視差后，運(yùn)動(dòng)和視差補(bǔ)償單元44可即刻定位運(yùn)動(dòng)向量和/或視差向量在所述參考圖片列表中的一者中所指向的預(yù)測塊。視頻編碼器20通過從正經(jīng)譯碼的當(dāng)前視頻塊的像素值減去預(yù)測塊的像素值從而形成像素差值，而形成殘余視頻塊。像素差值形成塊的殘余數(shù)據(jù)，且可包含亮度差分量與色度差分量兩者。求和器50表示執(zhí)行此減法運(yùn)算的組件。運(yùn)動(dòng)和視差補(bǔ)償單元44還可產(chǎn)生與視頻塊和視頻切片相關(guān)聯(lián)的語法元素以供視頻解碼器30在解碼視頻切片的視頻塊中使用。
[0144]運(yùn)動(dòng)和視差補(bǔ)償單元44可使用各種模式來用于在經(jīng)編碼位流中用信號通知運(yùn)動(dòng)信息，且為了減少實(shí)施幀間預(yù)測譯碼所需的位數(shù)目，這些模式中的一些模式可利用運(yùn)動(dòng)參數(shù)的預(yù)測來取代運(yùn)動(dòng)參數(shù)的顯式信令。在開發(fā)HEVC標(biāo)準(zhǔn)中，存在用于預(yù)測運(yùn)動(dòng)參數(shù)的兩個(gè)模式。一個(gè)模式是合并模式且另一模式是高級運(yùn)動(dòng)向量預(yù)測(AMVP)。在合并模式中，運(yùn)動(dòng)和視差補(bǔ)償單元44使用來自空間和時(shí)間相鄰塊的候選者來建構(gòu)運(yùn)動(dòng)參數(shù)(參考圖片和運(yùn)動(dòng)向量)的候選列表。通過發(fā)射來自候選列表的選定候選者的索引而從編碼器20將所選擇的運(yùn)動(dòng)參數(shù)用信號通知解碼器30。在解碼器30處，一旦索引被解碼，便繼承選定候選者的對應(yīng)塊的所有運(yùn)動(dòng)參數(shù)。編碼器20和解碼器30經(jīng)配置以基于已經(jīng)譯碼的塊來建構(gòu)相同列表。因此，基于所述索引，視頻解碼器30可識別由編碼器20選擇的候選者的運(yùn)動(dòng)信息。所述運(yùn)動(dòng)信息通常包含在對應(yīng)于參考圖片列表O或參考圖片列表I的每一預(yù)測方向上的每一預(yù)測單元的參考索引和運(yùn)動(dòng)向量。
[0145]在AMVP中，運(yùn)動(dòng)和視差補(bǔ)償單元44建構(gòu)運(yùn)動(dòng)向量預(yù)測符的候選列表。此列表包含(例如)與相同參考索引相關(guān)聯(lián)的相鄰塊的運(yùn)動(dòng)向量以及基于時(shí)間參考圖片中位于同一地點(diǎn)的塊的相鄰塊的運(yùn)動(dòng)參數(shù)而導(dǎo)出的時(shí)間運(yùn)動(dòng)向量預(yù)測符。類似于上文所描述的合并模式，編碼器20通過發(fā)射選定候選者的索引而將所選擇的運(yùn)動(dòng)向量用信號通知解碼器30。另夕卜，編碼器20還用信號通知運(yùn)動(dòng)向量差，其中運(yùn)動(dòng)向量差是運(yùn)動(dòng)向量預(yù)測符與用于預(yù)測當(dāng)前塊的實(shí)際運(yùn)動(dòng)向量之間的差。
[0146]對于一些塊，預(yù)測處理單元41可選擇幀內(nèi)預(yù)測模式而不是幀間預(yù)測模式。幀內(nèi)預(yù)測處理單元46可對當(dāng)前塊進(jìn)行幀內(nèi)預(yù)測，以作為如上文所描述的由運(yùn)動(dòng)和視差估計(jì)單元42及運(yùn)動(dòng)和視差補(bǔ)償單元44執(zhí)行的幀間預(yù)測的替代方案。具體來說，幀內(nèi)預(yù)測處理單元46可確定用以對當(dāng)前塊進(jìn)行編碼的幀內(nèi)預(yù)測模式。在一些實(shí)例中，幀內(nèi)預(yù)測處理單元46可(例如)在單獨(dú)編碼回合期間使用各種幀內(nèi)預(yù)測模式對當(dāng)前塊進(jìn)行編碼，且?guī)瑑?nèi)預(yù)測處理單元46 (在一些實(shí)例中，或?yàn)槟Ｊ竭x擇單元40)可從所測試的模式中選擇將使用的適當(dāng)?shù)膸瑑?nèi)預(yù)測模式。舉例來說，幀內(nèi)預(yù)測處理單元46可使用對各種所測試的幀內(nèi)預(yù)測模式的速率-失真分析來計(jì)算速率-失真值，且在所測試的模式中選擇具有最佳速率-失真特性的幀內(nèi)預(yù)測模式。速率-失真分析一般確定經(jīng)編碼塊與曾被編碼以產(chǎn)生所述經(jīng)編碼塊的原始未經(jīng)編碼塊之間的失真(或誤差)量，以及用于產(chǎn)生所述經(jīng)編碼塊的位速率(即，位數(shù)目)。幀內(nèi)預(yù)測處理單元46可根據(jù)各種經(jīng)編碼塊的失真和速率計(jì)算比率，以確定哪一幀內(nèi)預(yù)測模式展現(xiàn)出用于所述塊的最佳的速率-失真值。
[0147]在任何情況下，在選擇了用于塊的幀內(nèi)預(yù)測模式之后，幀內(nèi)預(yù)測處理單元46可將指示用于所述塊的選定幀內(nèi)預(yù)測模式的信息提供給熵譯碼單元56。熵譯碼單元56可根據(jù)本發(fā)明的技術(shù)對指示所述選定幀內(nèi)預(yù)測模式的信息進(jìn)行編碼。視頻編碼器20可將配置數(shù)據(jù)包含在所發(fā)射的位流中，所述配置數(shù)據(jù)可包含多個(gè)幀內(nèi)預(yù)測模式索引表及多個(gè)經(jīng)修改的幀內(nèi)預(yù)測模式索引表(還被稱作碼字映射表)、各種塊的編碼上下文的定義，及最可能幀內(nèi)預(yù)測模式的指示、幀內(nèi)預(yù)測模式索引表，及經(jīng)修改的幀內(nèi)預(yù)測模式索引表，以用于所述上下文中的每一者。
[0148]在預(yù)測處理單元41經(jīng)由幀間預(yù)測或幀內(nèi)預(yù)測產(chǎn)生當(dāng)前視頻塊的預(yù)測塊之后，視頻編碼器20通過從當(dāng)前視頻塊減去預(yù)測塊而形成殘余視頻塊。殘余塊中的殘余視頻數(shù)據(jù)可包含于一或多個(gè)TU中且由變換處理單元52應(yīng)用。變換處理單元52可使用變換(例如，離散余弦變換(DCT)或概念上類似的變換)來將殘余視頻數(shù)據(jù)變換為殘余變換系數(shù)。變換處理單元52可將殘余視頻數(shù)據(jù)從像素域轉(zhuǎn)換到變換域(例如，頻域)。
[0149]變換處理單元52可將所得的變換系數(shù)發(fā)送到量化單元54。量化單元54量化變換系數(shù)以進(jìn)一步減小位速率。量化過程可減少與系數(shù)中的一些或全部相關(guān)聯(lián)的位深度?？赏ㄟ^調(diào)整量化參數(shù)來修改量化程度。在一些實(shí)例中，量化單元54可接著執(zhí)行對包含經(jīng)量化變換系數(shù)的矩陣的掃描。替代地，熵編碼單元56可執(zhí)行掃描。
[0150]在量化之后，熵編碼單元56對經(jīng)量化變換系數(shù)進(jìn)行熵編碼。舉例來說，熵編碼單元56可執(zhí)行上下文自適應(yīng)可變長度譯碼(CAVLC)、上下文自適應(yīng)二進(jìn)制算術(shù)譯碼(CABAC)、基于語法的上下文自適應(yīng)二進(jìn)制算術(shù)譯碼(SBAC)、概率區(qū)間分割熵(PIPE)譯碼或另一熵編碼方法或技術(shù)。在熵編碼單元56進(jìn)行的熵編碼之后，可將經(jīng)編碼位流發(fā)射到視頻解碼器30或進(jìn)行存檔以供稍后發(fā)射或由視頻解碼器30檢索。熵編碼單元56還可對正經(jīng)譯碼的當(dāng)前視頻切片的運(yùn)動(dòng)向量和其它語法元素進(jìn)行熵編碼。
[0151 ] 反量化單元58和反變換處理單元60分別應(yīng)用反量化和反變換以在像素域中重構(gòu)殘余塊，以用于稍后用作參考圖片的參考塊。運(yùn)動(dòng)補(bǔ)償單元44可通過將殘余塊添加到參考圖片列表中的一者內(nèi)的參考圖片中的一者的預(yù)測塊而計(jì)算參考塊。運(yùn)動(dòng)補(bǔ)償單元44還可將一或多個(gè)內(nèi)插濾波器應(yīng)用于經(jīng)重構(gòu)殘余塊以計(jì)算子整數(shù)像素值以在運(yùn)動(dòng)估計(jì)中使用。求和器62將經(jīng)重構(gòu)的殘余塊添加到由運(yùn)動(dòng)補(bǔ)償單元44產(chǎn)生的經(jīng)運(yùn)動(dòng)補(bǔ)償?shù)念A(yù)測塊以產(chǎn)生參考塊以供存儲在參考圖片存儲器64中。參考塊可由運(yùn)動(dòng)和視差估計(jì)單元42及運(yùn)動(dòng)和視差補(bǔ)償單元44用作用以對后續(xù)視頻幀或圖片中的塊進(jìn)行幀間預(yù)測的參考塊。
[0152]以此方式，視頻編碼器20表示視頻編碼器的一實(shí)例，其經(jīng)配置以:對包含第一參考視圖的一或多個(gè)參考視圖中的一或多個(gè)圖片進(jìn)行編碼；及基于當(dāng)前塊的一或多個(gè)相鄰塊的運(yùn)動(dòng)信息來確定當(dāng)前塊的視差向量。所述當(dāng)前塊在第二視圖中，且所述視差向量從所述當(dāng)前塊指向所述一或多個(gè)參考視圖中的一者中的相同時(shí)間實(shí)例的圖片中的對應(yīng)塊。所述一或多個(gè)相鄰塊中的一者的運(yùn)動(dòng)信息包含運(yùn)動(dòng)向量，且響應(yīng)于確定所述運(yùn)動(dòng)向量與對應(yīng)于屬于所述一或多個(gè)參考視圖中的一者的參考圖片的參考索引相關(guān)聯(lián)，視頻編碼器20可根據(jù)本發(fā)明中所描述的技術(shù)將所述運(yùn)動(dòng)向量視為視差運(yùn)動(dòng)向量且利用所述視差運(yùn)動(dòng)向量來導(dǎo)出所述視差向量。
[0153]圖9是說明可實(shí)施本發(fā)明中所描述的技術(shù)的實(shí)例視頻解碼器30的框圖。在圖9的實(shí)例中，視頻解碼器30包含熵解碼單元80、預(yù)測處理單元81、反量化單元86、反變換處理單元88、求和器90及參考圖片存儲器92。預(yù)測處理單元81包含運(yùn)動(dòng)補(bǔ)償單元82和幀內(nèi)預(yù)測處理單元84。視頻解碼器30在一些實(shí)例中可執(zhí)行一般與關(guān)于來自圖8的視頻編碼器20所描述的編碼回合互逆的解碼回合。
[0154]在解碼過程期間，視頻解碼器30從視頻編碼器20接收表示經(jīng)解碼視頻切片和相關(guān)聯(lián)的語法元素的視頻塊的經(jīng)編碼視頻位流。視頻解碼器30的熵解碼單元80對位流進(jìn)行熵解碼以產(chǎn)生經(jīng)量化系數(shù)、運(yùn)動(dòng)向量及其它語法元素。熵解碼單元80將運(yùn)動(dòng)向量和其它語法元素轉(zhuǎn)發(fā)到預(yù)測處理單元81。視頻解碼器30可在視頻切片層級和/或視頻塊層級處接收語法元素。
[0155]當(dāng)將視頻切片譯碼為經(jīng)幀內(nèi)譯碼(I)切片時(shí)，預(yù)測處理單元81的幀內(nèi)預(yù)測處理單元84可基于用信號通知的幀內(nèi)預(yù)測模式和來自當(dāng)前幀或圖片的先前經(jīng)解碼塊的數(shù)據(jù)而產(chǎn)生當(dāng)前視頻切片的視頻塊的預(yù)測數(shù)據(jù)。當(dāng)將視幀幀譯碼為經(jīng)幀間譯碼(即，B、P或GPB)切片或經(jīng)視圖間預(yù)測切片時(shí)，預(yù)測處理單元81的運(yùn)動(dòng)和視差補(bǔ)償單元82基于從熵解碼單元80接收的時(shí)間運(yùn)動(dòng)向量、視差運(yùn)動(dòng)向量和其它語法元素而產(chǎn)生當(dāng)前視頻切片的視頻塊的預(yù)測塊。可從參考圖片列表中的一者內(nèi)的參考圖片中的一者產(chǎn)生預(yù)測塊。視頻解碼器30可基于存儲于參考圖片存儲器92 (還被稱作經(jīng)解碼圖片緩沖器(DPB))中的參考圖片使用默認(rèn)建構(gòu)技術(shù)來建構(gòu)參考幀列表，列表O和列表I。
[0156]運(yùn)動(dòng)和視差補(bǔ)償單元82通過解析運(yùn)動(dòng)向量和其它語法元素而確定當(dāng)前視頻切片的視頻塊的預(yù)測信息，且使用所述預(yù)測信息以產(chǎn)生正經(jīng)解碼的當(dāng)前視頻塊的預(yù)測塊。舉例來說，運(yùn)動(dòng)和視差補(bǔ)償單元82使用所接收的語法元素中的一些語法元素來確定用于對視頻切片的視頻塊進(jìn)行譯碼的預(yù)測模式(例如，幀內(nèi)預(yù)測或幀間預(yù)測)、幀間預(yù)測或視圖間預(yù)測切片類型(例如，B切片、P切片或GPB切片)、用于切片的參考圖片列表中的一或多者的建構(gòu)信息、用于切片的每一經(jīng)幀間編碼視頻塊的運(yùn)動(dòng)向量和/或視差向量、用于切片的每一經(jīng)幀間譯碼視頻塊的幀間預(yù)測狀態(tài)，及用以對當(dāng)前視頻切片中的視頻塊進(jìn)行解碼的其它信息。
[0157]在一些實(shí)例中，運(yùn)動(dòng)和視差補(bǔ)償單元82可使用運(yùn)動(dòng)向量預(yù)測過程來確定指示運(yùn)動(dòng)向量的用信號通知的語法元素。運(yùn)動(dòng)向量預(yù)測過程可包含AMVP模式及合并模式。運(yùn)動(dòng)和視差補(bǔ)償單元82還可基于內(nèi)插濾波器執(zhí)行內(nèi)插。運(yùn)動(dòng)補(bǔ)償單元82可使用如由視頻編碼器20在視頻塊的編碼期間所使用的內(nèi)插濾波器來計(jì)算參考塊的子整數(shù)像素的內(nèi)插值。在此情況下，運(yùn)動(dòng)補(bǔ)償單元82可從所接收的語法元素來確定由視頻編碼器20使用的內(nèi)插濾波器且使用所述內(nèi)插濾波器來產(chǎn)生預(yù)測塊。
[0158]反量化單元86將提供于位流中且由熵解碼單元80解碼的經(jīng)量化的變換系數(shù)反量化(即，解量化)。反量化過程可包含使用由視頻編碼器20針對視頻切片中的每一視頻塊計(jì)算的量化參數(shù)，以確定應(yīng)應(yīng)用的量化程度以及同樣的反量化程度。反變換處理單元88對變換系數(shù)應(yīng)用反變換(例如，反DCT、反整數(shù)變換，或概念上類似的反變換過程)，以便產(chǎn)生像素域中的殘余塊。
[0159]在運(yùn)動(dòng)和視差補(bǔ)償單元82基于運(yùn)動(dòng)向量和其它語法元素產(chǎn)生當(dāng)前視頻塊的預(yù)測塊之后，視頻解碼器30通過對來自反變換處理單元88的殘余塊與由運(yùn)動(dòng)和視差補(bǔ)償單元82產(chǎn)生的對應(yīng)預(yù)測塊求和而形成經(jīng)解碼視頻塊。求和器90代表執(zhí)行此求和操作的組件。如果需要的話，還可應(yīng)用去塊濾波器以對經(jīng)解碼塊進(jìn)行濾波，以便移除成塊性假影。還可使用其它環(huán)路濾波器(在譯碼環(huán)路中或在譯碼環(huán)路之后)來平滑像素轉(zhuǎn)變或以其它方式提高視頻質(zhì)量。接著將給定幀或圖片中的經(jīng)解碼視頻塊存儲于參考圖片存儲器92中，所述參考圖片存儲器存儲用于后續(xù)運(yùn)動(dòng)補(bǔ)償?shù)膮⒖紙D片。參考圖片存儲器92還存儲經(jīng)解碼視頻以供稍后在顯示裝置(例如，圖1的顯示裝置32)上呈現(xiàn)。
[0160]以此方式，視頻解碼器30表示經(jīng)配置以對多視圖視頻數(shù)據(jù)進(jìn)行解碼的視頻解碼器的實(shí)例。舉例來說，視頻解碼器30可經(jīng)配置以:對包含第一參考視圖的一或多個(gè)參考視圖中的一或多個(gè)圖片進(jìn)行解碼；及基于當(dāng)前塊的一或多個(gè)相鄰塊的運(yùn)動(dòng)信息來確定當(dāng)前塊的視差向量，其中所述當(dāng)前塊在第二視圖中，其中所述視差向量從當(dāng)前塊指向所述一或多個(gè)參考視圖中的一者中的相同時(shí)間實(shí)例的圖片中的對應(yīng)塊。所述一或多個(gè)相鄰塊中的一者的運(yùn)動(dòng)信息包含運(yùn)動(dòng)向量，且響應(yīng)于確定所述運(yùn)動(dòng)向量與對應(yīng)于屬于所述一或多個(gè)參考視圖中的一者的參考圖片的參考索引相關(guān)聯(lián)，視頻解碼器30可根據(jù)本發(fā)明中所描述的技術(shù)將所述運(yùn)動(dòng)向量視為視差運(yùn)動(dòng)向量且利用所述視差運(yùn)動(dòng)向量來導(dǎo)出所述視差向量。
[0161]圖10說明運(yùn)動(dòng)參數(shù)的視圖間預(yù)測的基本實(shí)例。將參考上文所描述的技術(shù)以及替代技術(shù)兩者來描述運(yùn)動(dòng)參數(shù)的視圖間預(yù)測的概念。視頻編碼器20及視頻解碼器30可經(jīng)配置以執(zhí)行關(guān)于圖10所描述的技術(shù)。圖10展示當(dāng)前圖片1001，且當(dāng)前圖片1001具有當(dāng)前正被譯碼的當(dāng)前塊1002。圖片1003表示與當(dāng)前圖片1001來自相同視圖的先前經(jīng)譯碼圖片。圖片1004表示與當(dāng)前圖片1001來自相同時(shí)間實(shí)例的圖片，但圖片1004是來自與當(dāng)前圖片1001不同的視圖。圖片1005表示與圖片1004來自相同視圖的先前經(jīng)譯碼圖片。圖10還展示深度圖1010。
[0162]為了導(dǎo)出相依視圖中的當(dāng)前塊的運(yùn)動(dòng)參數(shù)(例如，AMVP或合并模式中的候選列表的候選者)，視頻編碼器20及視頻解碼器30可確定當(dāng)前塊1002的視差向量。根據(jù)已知技術(shù)，運(yùn)動(dòng)和視差補(bǔ)償單元44及運(yùn)動(dòng)和視差補(bǔ)償單元82可選擇當(dāng)前塊1002的中間處的樣本位置X，且通過將存儲于深度圖1010中的相關(guān)聯(lián)的深度值d轉(zhuǎn)換為視差向量來確定視差向量。通過將視差向量添加到樣本位置X，視頻編碼器20及視頻解碼器30可獲得參考視圖中的參考樣本位置Χκ。參考視圖中的已被譯碼的圖片中的覆蓋樣本位置xk的預(yù)測塊可用作參考塊。
[0163]在到現(xiàn)在為止參考圖10所描述的技術(shù)的實(shí)例中，視頻解碼器30首選需要導(dǎo)出深度圖1010以確定視差向量1007。可存在其中視頻解碼器30可導(dǎo)出深度圖1010的各種方式。作為一個(gè)實(shí)例，視頻解碼器30可使用基礎(chǔ)視圖中的圖片的時(shí)間運(yùn)動(dòng)向量及處于基礎(chǔ)視圖中的對應(yīng)于基礎(chǔ)視圖中的圖片的深度圖來確定/更新相依視圖中的圖片的深度圖。作為另一實(shí)例，視頻解碼器30使用相依視圖中及基礎(chǔ)視圖中的圖片的時(shí)間運(yùn)動(dòng)向量及所述相依視圖中的圖片的視差運(yùn)動(dòng)向量來確定/更新相依視圖中的圖片的深度圖1010?？纱嬖谟靡詫?dǎo)出深度圖1010的其它方式。
[0164]作為一個(gè)實(shí)例，在譯碼過程開始時(shí)，視頻解碼器30可對基礎(chǔ)視圖中的第一圖片進(jìn)行解碼。所述基礎(chǔ)視圖可包含未從另一視圖中的圖片預(yù)測的圖片。舉例來說，參看圖3，基礎(chǔ)視圖可為視圖S0，因?yàn)橐晥DSO中的圖片未使用視圖SI到S7中的任一者中的圖片來幀間預(yù)測。視圖SO中的第一圖片是幀內(nèi)預(yù)測的圖片(即，用時(shí)間TO處的視圖SO中的I表示的I圖片)。而且，非基礎(chǔ)視圖(例如，相依視圖)中的一者中的第一圖片可被視圖間運(yùn)動(dòng)預(yù)測或幀內(nèi)預(yù)測?；A(chǔ)視圖(被稱作相依視圖)可包含相對于另一視圖中的圖片(例如，用視差運(yùn)動(dòng)向量)被幀間預(yù)測的圖片。在譯碼過程的此階段處，沒有深度圖是可用的。
[0165]在非基礎(chǔ)視圖中的第一圖片的解碼之后，視差運(yùn)動(dòng)向量是可用的(即，所述視差運(yùn)動(dòng)向量用于對非基礎(chǔ)視圖的第一圖片中的塊進(jìn)行幀間預(yù)測)?？蓪⑦@些視差運(yùn)動(dòng)向量轉(zhuǎn)換為深度值以產(chǎn)生深度圖1010?？墒褂蒙疃葓D1010映射到基礎(chǔ)視圖或使用所述深度圖來更新非基礎(chǔ)視圖中的接著的圖片的深度圖。視頻解碼器30可能夠從深度圖1010確定塊的視差向量。
[0166]一般來說，用于導(dǎo)出深度圖1010的此些技術(shù)可為復(fù)雜的，且可能需要視頻解碼器30消耗不必要的處理電力和時(shí)間。在本發(fā)明中所描述的實(shí)例中，視頻解碼器30不需要首先導(dǎo)出深度圖來確定當(dāng)前塊的視差向量。而是，視頻解碼器30從空間上和/或時(shí)間上相鄰的塊的運(yùn)動(dòng)信息確定視差向量，與從所導(dǎo)出的深度圖確定視差向量相比，這可為較不復(fù)雜的任務(wù)。
[0167]使用圖10作為實(shí)例，現(xiàn)在將參考本發(fā)明的技術(shù)來描述運(yùn)動(dòng)參數(shù)的視圖間預(yù)測的概念。視頻編碼器20及視頻解碼器30可基于當(dāng)前塊1002的一個(gè)以上相鄰塊的運(yùn)動(dòng)信息來確定當(dāng)前塊1002的視差向量。作為確定當(dāng)前塊1002的視差向量的部分，視頻編碼器20及視頻解碼器30可如上文所描述識別SDV、TDV及IDV以作為候選視差向量，且選擇候選視差向量中的一者以作為當(dāng)前塊1002的視差向量。使用選定的視差向量，視頻編碼器20及視頻解碼器30可定位圖片1004中的參考塊1006。使用本發(fā)明的技術(shù)，可在不需要導(dǎo)出例如深度圖1010等深度圖的情況下定位參考塊1006。
[0168]在圖10的實(shí)例中，圖片1004是參考視圖中的已被譯碼的圖片，且參考塊1006是參考塊。如果使用MCP對參考塊1006進(jìn)行譯碼，那么視頻編碼器20及視頻解碼器30可使用參考塊1006的相關(guān)聯(lián)的運(yùn)動(dòng)參數(shù)以作為當(dāng)前圖片1001中的當(dāng)前塊1002的候選運(yùn)動(dòng)參數(shù)，以作為AMVP或合并模式的一部分。線1007表示用于預(yù)測參考塊1006的運(yùn)動(dòng)向量。線1008表示用于預(yù)測正用于預(yù)測當(dāng)前塊1002的參考塊306的相同運(yùn)動(dòng)向量。
[0169]除了將參考塊1006的運(yùn)動(dòng)信息用作AMVP或合并模式的候選列表中的候選者之夕卜，視頻編碼器20及視頻解碼器30還可將所導(dǎo)出的視差向量用作DCP的候選視差運(yùn)動(dòng)向量。當(dāng)將視圖間運(yùn)動(dòng)預(yù)測應(yīng)用于AMVP或合并模式時(shí)，視頻編碼器20及視頻解碼器30可將從視差向量導(dǎo)出的候選者添加到AMPV/合并候選列表。此候選者可為視圖間預(yù)測運(yùn)動(dòng)向量，例如圖10中的線1008的運(yùn)動(dòng)向量或視圖間視差運(yùn)動(dòng)向量?？蓪⒁晥D間預(yù)測參考圖片(例如，圖片1004)放在參考圖片列表的任何位置中，正如任何幀間預(yù)測參考圖片一樣。在一些情況下，如果所確定的視差向量具有等于非零的某值的I分量，那么視頻編碼器20或視頻解碼器30可將視差向量的y分量設(shè)定為零，隨后將視差向量添加到AMVP或合并模式的AMVP/合并模式候選列表。因此，用于AMVP或合并模式中的視差運(yùn)動(dòng)向量可具有與所確定的視差向量相同的X分量但可具有或可不具有相同的I分量。
[0170]在一些實(shí)例中，本發(fā)明中描述的技術(shù)的所確定的視差向量可不等同于當(dāng)前塊的實(shí)際視差向量。再次地，作為一個(gè)實(shí)例，當(dāng)前塊的實(shí)際視差向量可包含X分量且沒有I分量，或y分量為零，因?yàn)閷?shí)際視差向量是指僅相對于當(dāng)前塊水平地移位的對應(yīng)塊。在一些實(shí)例中，所確定的視差向量包含X分量及y分量兩者，因?yàn)橛糜诖_定視差向量的視差運(yùn)動(dòng)向量可包含X分量及y分量兩者。塊的所確定的視差向量可被稱作視圖間運(yùn)動(dòng)預(yù)測的視差向量(DVIVMP)，因?yàn)槠錇橛糜谝晥D間運(yùn)動(dòng)預(yù)測的經(jīng)建構(gòu)的視差向量。
[0171]為了對比的目的，現(xiàn)將短暫論述用于建構(gòu)視圖間運(yùn)動(dòng)預(yù)測的視差向量的兩種替代性方法。一種方法涉及直接從深度視圖分量確定視差向量。另一種方法涉及僅從視差向量及運(yùn)動(dòng)向量產(chǎn)生每一像素的視差向量。此模式有時(shí)被稱作所估計(jì)的深度模式。這兩個(gè)模式與本發(fā)明中描述的視差向量導(dǎo)出技術(shù)不相互排斥。如下文將更詳細(xì)地解釋，例如視頻編碼器20或視頻解碼器30等視頻譯碼器可例如實(shí)施這兩個(gè)模式中的一者，或?qū)嵤┎煌哪Ｊ揭栽谄渲斜景l(fā)明的技術(shù)不產(chǎn)生視差向量的例子中確定視差向量。
[0172]在隨機(jī)存取單元中，基礎(chǔ)視圖圖片的所有塊被幀內(nèi)譯碼。在相依視圖的圖片中，大多數(shù)塊通常是使用DCP被譯碼，且其余塊被幀內(nèi)譯碼。當(dāng)對隨機(jī)存取單元中的第一相依視圖進(jìn)行譯碼時(shí)，視頻譯碼器不具有任何深度或視差信息。因此，僅可使用局部鄰域，即通過常規(guī)的運(yùn)動(dòng)向量預(yù)測，來導(dǎo)出候選視差向量。然而，在對隨機(jī)存取單元中的第一相依視圖進(jìn)行譯碼之后，所發(fā)射的視差向量可用于導(dǎo)出深度圖估計(jì)。因此，視頻譯碼器將用于DCP的視差向量轉(zhuǎn)換為深度值集合，視差補(bǔ)償塊的所有深度樣本等于所導(dǎo)出的深度值。
[0173]視頻譯碼器使用隨機(jī)存取中的第一相依視圖的圖片的深度圖估計(jì)以用于導(dǎo)出第一相依視圖的下一圖片的深度圖。在本文中說明所述算法的基本原理。在對隨機(jī)存取單元中的第一相依視圖的圖片進(jìn)行譯碼之后，將所導(dǎo)出的深度圖映射到基礎(chǔ)視圖中且與經(jīng)重構(gòu)的圖片存儲在一起?；A(chǔ)視圖的下一圖片通常被幀間譯碼。對于使用MCP譯碼的每一塊，視頻譯碼器將相關(guān)聯(lián)的運(yùn)動(dòng)參數(shù)應(yīng)用于深度圖估計(jì)。通過MCP使用對于相關(guān)聯(lián)的紋理塊來說相同的運(yùn)動(dòng)參數(shù)而獲得深度圖樣本的對應(yīng)塊。作為經(jīng)重構(gòu)的視頻圖片的替代，將相關(guān)聯(lián)的深度圖估計(jì)用作參考圖片。為了簡化運(yùn)動(dòng)補(bǔ)償并避免新深度圖值的產(chǎn)生，視頻譯碼器針對深度塊執(zhí)行MCP而不需要任何內(nèi)插。運(yùn)動(dòng)向量在被使用之前被舍入到樣本精度。視頻譯碼器再次基于相鄰深度圖樣本來確定經(jīng)幀內(nèi)譯碼塊的深度圖樣本。最后，視頻譯碼器通過將基礎(chǔ)視圖的所獲得的深度圖估計(jì)映射到第一相依視圖中而導(dǎo)出第一相依視圖的深度圖估計(jì)，其用于運(yùn)動(dòng)參數(shù)的視圖間預(yù)測。在映射過程期間，針對閉塞區(qū)域應(yīng)用孔填充。
[0174]在對第一相依視圖的第二圖片進(jìn)行譯碼之后，視頻譯碼器基于實(shí)際被譯碼的運(yùn)動(dòng)及視差參數(shù)來更新深度圖的估計(jì)。對于使用DCP譯碼的塊，視頻譯碼器通過將視差向量轉(zhuǎn)換為深度值而獲得深度圖樣本。對于使用MCP譯碼的塊視頻譯碼器通過先前估計(jì)的深度圖的MCP而獲得深度圖樣本，對于基礎(chǔ)視圖是類似的。視頻譯碼器再次通過空間預(yù)測確定經(jīng)幀內(nèi)譯碼塊的深度值。視頻譯碼器將經(jīng)更新的深度圖映射到基礎(chǔ)視圖中且與經(jīng)重構(gòu)的圖片存儲在一起，其中其還可用于導(dǎo)出相同存取單元中的其它視圖的深度圖估計(jì)。
[0175]對于所有接著的圖片，視頻譯碼器重復(fù)所描述的過程。在對基礎(chǔ)視圖圖片進(jìn)行譯碼之后，視頻譯碼器通過由MCP使用所發(fā)射的運(yùn)動(dòng)參數(shù)來確定基礎(chǔ)視圖圖片的深度圖估計(jì)。此估計(jì)被映射到第二視圖中且用于運(yùn)動(dòng)參數(shù)的視圖間預(yù)測。在對第二視圖的圖片進(jìn)行譯碼之后，視頻譯碼器使用實(shí)際使用的譯碼參數(shù)來更新深度圖。在下一隨機(jī)存取單元處，不使用視圖間運(yùn)動(dòng)參數(shù)預(yù)測，且在對隨機(jī)存取單元的第一相依視圖進(jìn)行解碼之后，視頻譯碼器重新初始化深度圖，如上文所描述。通過以上方法產(chǎn)生的視差運(yùn)動(dòng)向量被稱為平滑時(shí)間-視圖預(yù)測(STV)視差向量。如由此描述可以看出，與包含通過識別SDV、TDV、及IDV來確定視差向量的本發(fā)明的技術(shù)相比，STV的產(chǎn)生是相對復(fù)雜的過程。
[0176]本發(fā)明提出以上技術(shù)的替代性技術(shù)。本發(fā)明的技術(shù)涉及在基于HEVC的多視圖視頻譯碼和/或基于HEVC的3D視頻譯碼中建構(gòu)視差向量。對于每一塊(譯碼單元或預(yù)測單元)，可建構(gòu)一或多個(gè)視差向量。視差向量可用于視圖間運(yùn)動(dòng)向量預(yù)測和/或視圖間殘差預(yù)測或基于兩個(gè)視圖之間的視差的任何其它類型的視圖間預(yù)測。應(yīng)注意，對于不同類型的視圖間預(yù)測，所調(diào)用的視差向量導(dǎo)出(或建構(gòu))技術(shù)可不同。舉例來說，視頻編碼器20及視頻解碼器可實(shí)施一組技術(shù)以用于導(dǎo)出用于視圖間殘差預(yù)測的視差向量且實(shí)施一組不同技術(shù)以用于導(dǎo)出用于視圖間運(yùn)動(dòng)預(yù)測的視差向量。然而，本發(fā)明中所描述的所有視差向量導(dǎo)出技術(shù)可用于不同類型的視圖間預(yù)測。因此，僅因?yàn)槭褂靡环N特定類型的視圖間預(yù)測作為一實(shí)例來描述某些技術(shù)，所以不應(yīng)假定所描述的技術(shù)受限于所述特定類型的視圖間預(yù)測。
[0177]如果上述技術(shù)不產(chǎn)生視差向量(即，未發(fā)現(xiàn)SDV、TDV或IDV)，那么視頻編碼器20及視頻解碼器30可實(shí)施替代技術(shù)來確定視差向量。舉例來說，響應(yīng)于未識別SDV、TDV或IDV，視頻編碼器20或視頻解碼器30可產(chǎn)生如上文所描述的STV或可產(chǎn)生全局視差向量(GDV)。可例如在切片標(biāo)頭中針對每一圖片用信號通知到另一視圖的對應(yīng)圖片的GDV或從相機(jī)參數(shù)導(dǎo)出。GDV向每一像素指派相同的視差向量。舉例來說，視頻編碼器20可基于原始深度視圖而計(jì)算每一幀的GDV且將所述GDV發(fā)射到視頻解碼器30。因此，在視頻解碼器30處，不需要計(jì)算視差向量，這降低了計(jì)算復(fù)雜度。視頻編碼器20及視頻解碼器30可使用GDV來預(yù)測用于視圖間預(yù)測的視差運(yùn)動(dòng)向量或使用GDV來定位相同存取單元的參考視圖中的譯碼單元的對應(yīng)的預(yù)測單元。當(dāng)在圖片層級處用信號通知時(shí)，從時(shí)間相鄰圖片的GDV值插值/預(yù)測GDV可為可能的。從不同對視圖內(nèi)插/外插/預(yù)測對應(yīng)于一對視圖的GDV可也是可能的。在一些情況下，⑶V可被零視差向量取代。
[0178]視頻編碼器20及視頻解碼器30可經(jīng)配置以利用不同于基于STV及⑶V而確定的視差向量的基于SDV、TDV及IDV而確定的視差向量。作為一個(gè)實(shí)例，在產(chǎn)生AMVP或合并模式的候選列表時(shí)，視頻編碼器20及視頻解碼器30可經(jīng)配置以給予從SDV、TDV或IDV確定的視差運(yùn)動(dòng)向量比基于GDV或STV而確定的視差運(yùn)動(dòng)向量高的優(yōu)先級，其中優(yōu)先級一般是指其中考慮候選者以用于包含在候選列表中的次序。使用SDV、TDV及IDV而產(chǎn)生的視差向量與GDV相比可提供對兩個(gè)視圖的塊之間的對應(yīng)關(guān)系的更準(zhǔn)確的估計(jì)，這是為什么在一些實(shí)施方案中視頻編碼器20及視頻解碼器30可經(jīng)配置以給予從SDV、TDV或IDV確定的視差向量比基于GDV而確定的視差向量高的優(yōu)先級的原因。另外，視頻編碼器20及視頻解碼器30可僅在一些譯碼操作中使用GDV或STV而在其它譯碼操作中不使用。舉例來說，視頻編碼器20及視頻解碼器20可針對視圖間運(yùn)動(dòng)預(yù)測使用⑶V及STV但針對視圖間殘差預(yù)測不使用。
[0179]在實(shí)施本發(fā)明的技術(shù)時(shí)，如果視差向量的當(dāng)前視圖或參考視圖不同于給定當(dāng)前視圖及目標(biāo)參考視圖的所預(yù)期的視差向量，那么視頻編碼器20及視頻解碼器30可縮放所述視差向量。也就是說，視頻編碼器20及視頻解碼器20可基于視差向量指向的視圖與目標(biāo)參考視圖之間的差來縮放所述視差向量。可例如通過考慮視圖的位置的幾何形狀(例如View_id值或水平位置)來執(zhí)行縮放過程。對于給定當(dāng)前視圖及給定目標(biāo)參考視圖，如果在視差向量候選列表中未發(fā)現(xiàn)視差向量，那么可縮放disVecCan中的視差向量。
[0180]圖1lA是說明根據(jù)本發(fā)明的技術(shù)的用以確定和使用視差向量的一種方式的流程圖。將參考一般的視頻譯碼器來描述圖1lA的技術(shù)。此一般的視頻譯碼器可例如對應(yīng)于視頻編碼器20或視頻解碼器30中的任一者。
[0181]如圖1lA中所示，視頻譯碼器(例如，編碼器20或解碼器30)對包含第一視圖的一或多個(gè)參考視圖中的一或多個(gè)圖片進(jìn)行譯碼(1102)。視頻譯碼器可基于當(dāng)前塊的一個(gè)以上相鄰塊的運(yùn)動(dòng)信息來確定當(dāng)前塊的視差向量(1104)。所述當(dāng)前塊可處于不同于第一視圖且不是參考視圖中的一者的第二視圖中。所述一或多個(gè)相鄰塊可包含空間相鄰塊及時(shí)間相鄰塊中的任一者或兩者。所述視差向量從所述當(dāng)前塊指向所述一或多個(gè)參考視圖中的一者中的相同時(shí)間實(shí)例的圖片中的對應(yīng)塊。視頻譯碼器可基于視差向量定位第一視圖中的對應(yīng)塊(1106)。視頻可(例如)確定與視差向量相關(guān)聯(lián)的參考視圖并識別所述參考視圖的視圖間參考圖片中的參考塊。所述對應(yīng)塊可為第一參考視圖中的參考塊。使用所定位的對應(yīng)塊，視頻譯碼器可執(zhí)行視圖間殘差預(yù)測和/或視圖間運(yùn)動(dòng)預(yù)測(1108)。
[0182]在一些實(shí)例中，所述一或多個(gè)相鄰塊可包含空間相鄰塊，且視頻譯碼器可通過確定與所述空間相鄰塊相關(guān)聯(lián)的視差運(yùn)動(dòng)向量來確定當(dāng)前塊的視差向量。在一些實(shí)例中，所述一或多個(gè)相鄰塊可包含時(shí)間相鄰塊，且視頻譯碼器可通過確定與所述時(shí)間相鄰塊相關(guān)聯(lián)的視差運(yùn)動(dòng)向量來確定當(dāng)前塊的視差向量。在一些實(shí)例中，視差向量可為隱式視差向量。視頻譯碼器可例如通過識別在一或多個(gè)相鄰塊的譯碼其間針對所述一或多個(gè)相鄰塊而存儲的一或多個(gè)視差向量來確定所述隱式視差向量?？稍谟糜谒鲆换蚨鄠€(gè)相鄰塊的視圖間運(yùn)動(dòng)參數(shù)預(yù)測期間針對所述相鄰塊確定所述一或多個(gè)所存儲的視差向量。
[0183]當(dāng)執(zhí)行視圖間運(yùn)動(dòng)預(yù)測時(shí)，視頻譯碼器可將視差向量添加到候選列表以用于合并模式及AMVP模式中的一者中。舉例來說，視頻譯碼器可將視差向量轉(zhuǎn)換為視差運(yùn)動(dòng)向量且將所述視差運(yùn)動(dòng)向量插入到AMVP候選列表及合并候選列表中的一者中。
[0184]圖1lB是說明根據(jù)本發(fā)明的技術(shù)的用以確定視差向量的實(shí)例操作的流程圖。將參考與圖1lA相同的通用視頻譯碼器來描述圖1lB的技術(shù)。圖1lB的技術(shù)是說明視頻解碼器可如何基于當(dāng)前塊的一或多個(gè)相鄰塊的運(yùn)動(dòng)信息來確定當(dāng)前塊的視差向量的一個(gè)實(shí)例。因此，圖1lB的技術(shù)可用于實(shí)施圖1lA的框1104。
[0185]視頻譯碼器可評估相鄰塊以確定包含于候選列表中的潛在候選者(1110)。所述相鄰塊可包含空間相鄰塊及時(shí)間相鄰塊中的任一者或兩者。如上文所闡釋，視頻譯碼器可通過確定空間相鄰塊且確定那些空間相鄰塊是否曾使用視差運(yùn)動(dòng)向量被譯碼而評估包含于候選列表中的潛在候選者。換句話說，視頻譯碼器可識別包含于候選列表中的SDV。另外，如上文所闡釋，視頻譯碼器可通過確定時(shí)間相鄰塊且確定那些時(shí)間相鄰塊是否曾使用視差運(yùn)動(dòng)向量被譯碼而評估包含于候選列表中的潛在候選者。換句話說，視頻譯碼器可識別包含于候選列表中的TDV。另外，如上文所闡釋，視頻譯碼器可確定是否用從視圖間運(yùn)動(dòng)參數(shù)預(yù)測預(yù)測(即，基于視差向量從其它視圖導(dǎo)出)的其運(yùn)動(dòng)向量中的至少一者而被譯碼。換句話說，視頻譯碼器可識別包含于候選列表中的IDV。
[0186]視頻譯碼器可將所識別的SDV、TDV及IDV添加到候選列表(1112)，且視頻譯碼器可基于候選列表中的候選者來選擇當(dāng)前塊的視差向量(1114)。視頻譯碼器可例如選擇視差向量是基于候選列表中的候選視差向量中的一或多者的出現(xiàn)頻率。
[0187]圖1lC是說明根據(jù)本發(fā)明的技術(shù)的用以確定視差向量的一種方式的流程圖。將參考通用視頻譯碼器來描述圖1lC的技術(shù)，所述通用視頻譯碼器可對應(yīng)于編碼器20、解碼器30或另一譯碼器。圖1lC的技術(shù)是視頻解碼器可如何基于當(dāng)前塊的一或多個(gè)相鄰塊的運(yùn)動(dòng)信息來確定當(dāng)前塊的視差向量的一個(gè)實(shí)例。因此，圖1lC的技術(shù)可用于實(shí)施圖1lA的框1104。
[0188]視頻譯碼器可評估相鄰塊以確定所述相鄰塊是否具有相關(guān)聯(lián)的候選視差向量(1116)。所述相鄰塊可包含空間相鄰塊及時(shí)間相鄰塊中的任一者或兩者。相關(guān)聯(lián)的候選視差向量可例如是指SDV、TDV或IDV，如上文所描述。如果所述相鄰塊不具有相關(guān)聯(lián)的候選視差向量(1118，否)，那么可評估下一相鄰塊以確定下一相鄰塊是否具有相關(guān)聯(lián)的候選視差向量(1120)。如上文所描述，視頻譯碼器可以設(shè)定的次序評估所述相鄰塊。如果相鄰塊具有相關(guān)聯(lián)的候選視差向量(1118，是)，那么視頻譯碼器可使用所述候選視差向量作為當(dāng)前塊的視差向量(1122)。根據(jù)圖1lC的技術(shù)，視頻譯碼器可評估多個(gè)相鄰塊以確定所述多個(gè)相鄰塊中的一者是否產(chǎn)生候選視差向量且在識別候選視差向量后即刻終止評估搜索多個(gè)相鄰塊。
[0189]在一或多個(gè)實(shí)例中，所描述的功能可以硬件、軟件、固件或其任何組合來實(shí)施。如果以軟件實(shí)施，那么所述功能可作為一或多個(gè)指令或代碼存儲在計(jì)算機(jī)可讀媒體上或經(jīng)由計(jì)算機(jī)可讀媒體進(jìn)行傳輸且由基于硬件的處理單元執(zhí)行。計(jì)算機(jī)可讀媒體可包含計(jì)算機(jī)可讀存儲媒體(其對應(yīng)于例如數(shù)據(jù)存儲媒體等有形媒體)或通信媒體，通信媒體包含促進(jìn)(例如)根據(jù)通信協(xié)議將計(jì)算機(jī)程序從一處傳遞到另一處的任何媒體。以此方式，計(jì)算機(jī)可讀媒體一般可對應(yīng)于(I)非暫時(shí)性的有形計(jì)算機(jī)可讀存儲媒體或(2)例如信號或載波等通信媒體。數(shù)據(jù)存儲媒體可為可由一或多個(gè)計(jì)算機(jī)或一或多個(gè)處理器存取以檢索指令、代碼和/或數(shù)據(jù)結(jié)構(gòu)來用于實(shí)施本發(fā)明中所描述的技術(shù)的任何可用媒體。計(jì)算機(jī)程序產(chǎn)品可包含計(jì)算機(jī)可讀媒體。
[0190]舉例來說且并非限制，所述計(jì)算機(jī)可讀媒體可包括RAM、ROM、EEPROM、CD-ROM或其它光盤存儲裝置、磁盤存儲裝置或其它磁性存儲裝置，快閃存儲器，或可用于存儲呈指令或數(shù)據(jù)結(jié)構(gòu)的形式的所要程序代碼且可由計(jì)算機(jī)存取的任何其它媒體。舉例來說，如果使用同軸電纜、光纖電纜、雙絞線、數(shù)字訂戶線(DSL)或例如紅外線、無線電及微波的無線技術(shù)從網(wǎng)站、服務(wù)器或其它遠(yuǎn)程源傳輸軟件，則同軸電纜、光纖電纜、雙絞線、DSL或例如紅外線、無線電及微波的無線技術(shù)包括于媒體的定義中。然而，應(yīng)理解，計(jì)算機(jī)可讀存儲媒體和數(shù)據(jù)存儲媒體不包含連接、載波、信號或其它瞬時(shí)媒體，而是針對于非瞬時(shí)的、有形存儲媒體。如本文中所使用，磁盤及光盤包含壓縮光盤(CD)、激光光盤、光學(xué)光盤、數(shù)字多功能光盤(DVD)、軟磁盤及藍(lán)光光盤，其中磁盤通常磁性地重現(xiàn)數(shù)據(jù)，而光盤使用激光光學(xué)地重現(xiàn)數(shù)據(jù)。以上各者的組合也應(yīng)包含在計(jì)算機(jī)可讀媒體的范圍內(nèi)。
[0191]可由例如一個(gè)或一個(gè)以上數(shù)字信號處理器(DSP)、通用微處理器、專用集成電路(ASIC)、現(xiàn)場可編程邏輯陣列(FPGA)或其它等效集成或離散邏輯電路等一個(gè)或一個(gè)以上處理器來執(zhí)行所述指令。因此，如本文中所使用的術(shù)語“處理器”可指上述結(jié)構(gòu)或適合于實(shí)施本文中所描述的技術(shù)的任一其它結(jié)構(gòu)中的任一者。另外，在一些方面中，本文中所描述的功能性可提供于經(jīng)配置以用于編碼及解碼的專用硬件模塊和/或軟件模塊內(nèi)，或并入組合式編解碼器中。并且，可將所述技術(shù)完全實(shí)施于一或多個(gè)電路或邏輯元件中。
[0192]本發(fā)明的技術(shù)可實(shí)施于廣泛多種裝置或設(shè)備中，包含無線手持機(jī)、集成電路(IC)或IC組(例如，芯片組)。本發(fā)明中描述各種組件、模塊或單元來強(qiáng)調(diào)經(jīng)配置以執(zhí)行所揭示的技術(shù)的裝置的若干功能性方面，但不一定需要通過不同的硬件單元來實(shí)現(xiàn)。而是，如上文所描述，各種單元可聯(lián)合合適的軟件和/或固件而組合于編解碼器硬件單元中或通過互操作的硬件單元的集合(包含如上文所描述的一或多個(gè)處理器)來提供。
[0193]已描述了各種實(shí)例。這些及其它實(shí)例屬于所附權(quán)利要求書的范圍內(nèi)。
【權(quán)利要求】
1.一種對多視圖視頻數(shù)據(jù)進(jìn)行解碼的方法，所述方法包括: 對包含第一參考視圖的一或多個(gè)參考視圖中的一或多個(gè)圖片進(jìn)行解碼； 基于當(dāng)前塊的一或多個(gè)相鄰塊的運(yùn)動(dòng)信息來確定所述當(dāng)前塊的視差向量，其中所述當(dāng)前塊在第二視圖中，其中所述視差向量從所述當(dāng)前塊指向所述一或多個(gè)參考視圖中的一者中的相同時(shí)間實(shí)例的圖片中的對應(yīng)塊。
2.一種對多視圖視頻數(shù)據(jù)進(jìn)行編碼的方法，所述方法包括: 對包含第一參考視圖的一或多個(gè)參考視圖中的一或多個(gè)圖片進(jìn)行編碼； 基于當(dāng)前塊的一或多個(gè)相鄰塊的運(yùn)動(dòng)信息來確定所述當(dāng)前塊的視差向量，其中所述當(dāng)前塊在第二視圖中，其中所述視差向量從所述當(dāng)前塊指向所述一或多個(gè)參考視圖中的一者中的相同時(shí)間實(shí)例的圖片中的對應(yīng)塊。
3.根據(jù)權(quán)利要求1或2所述的方法，其中所述一或多個(gè)相鄰塊中的一者的所述運(yùn)動(dòng)信息包括運(yùn)動(dòng)向量，且其中所述方法進(jìn)一步包括: 響應(yīng)于確定所述運(yùn)動(dòng)向量與對應(yīng)于屬于所述一或多個(gè)參考視圖中的一者的參考圖片的參考索引相關(guān)聯(lián)，將所述運(yùn)動(dòng)向量視為視差運(yùn)動(dòng)向量；及， 利用所述視差運(yùn)動(dòng)向量來導(dǎo)出所述視差向量。
4.根據(jù)權(quán)利要求1或2所述的方法，其進(jìn)一步包括: 確定與所述視差向量相關(guān)聯(lián)的參考視圖； 識別所述參考視圖的視圖間參考圖片中的參考塊。
5.根據(jù)權(quán)利要求1或2所述的方法，其進(jìn)一步包括: 確定與所述視差向量相關(guān)聯(lián)的參考視圖； 基于所述視差向量而創(chuàng)建視差運(yùn)動(dòng)向量，其中所述視差運(yùn)動(dòng)向量的所述參考索引對應(yīng)于來自所述參考視圖的所述視圖間參考圖片。
6.根據(jù)權(quán)利要求3所述的方法，其中所述一或多個(gè)相鄰塊包括一或多個(gè)空間相鄰塊，且其中確定所述當(dāng)前塊的所述視差向量包括確定所述視差運(yùn)動(dòng)向量，其中所述視差運(yùn)動(dòng)向量與所述空間相鄰塊相關(guān)聯(lián)。
7.根據(jù)權(quán)利要求3所述的方法，其中所述一或多個(gè)相鄰塊包括一或多個(gè)時(shí)間相鄰塊，且其中確定所述當(dāng)前塊的所述視差向量包括確定所述視差運(yùn)動(dòng)向量，其中所述視差運(yùn)動(dòng)向量與所述時(shí)間相鄰塊相關(guān)聯(lián)。
8.根據(jù)權(quán)利要求7所述的方法，其中所述一或多個(gè)時(shí)間相鄰塊包括一或多個(gè)時(shí)間參考圖片中的塊。
9.根據(jù)權(quán)利要求8所述的方法，其中所述一或多個(gè)時(shí)間參考圖片包括HEVC中的時(shí)間運(yùn)動(dòng)向量預(yù)測中所使用的位于同一地點(diǎn)的圖片。
10.根據(jù)權(quán)利要求7所述的方法，其中所述時(shí)間相鄰塊包括參考圖片中的譯碼單元的一或多個(gè)預(yù)測單元或預(yù)測塊，其中所述譯碼單元包括所述當(dāng)前塊的位于同一地點(diǎn)的塊。
11.根據(jù)權(quán)利要求7所述的方法，其中所述時(shí)間相鄰塊包括參考圖片中的最大譯碼單元的一或多個(gè)預(yù)測單元或預(yù)測塊，其中所述最大譯碼單元包括所述當(dāng)前塊的位于同一地點(diǎn)的塊。
12.根據(jù)權(quán)利要求3所述的方法，其中所述一或多個(gè)相鄰塊包括一或多個(gè)空間相鄰塊及一或多個(gè)時(shí)間相鄰塊，且其中確定所述當(dāng)前塊的所述視差向量包括確定所述視差運(yùn)動(dòng)向量，其中所述視差運(yùn)動(dòng)向量與所述空間相鄰塊及所述時(shí)間相鄰塊中的一者相關(guān)聯(lián)。
13.根據(jù)權(quán)利要求6所述的方法，其中所述一或多個(gè)空間相鄰塊包括將由二維2D視頻編解碼器中的現(xiàn)有譯碼工具存取的空間相鄰塊。
14.根據(jù)權(quán)利要求13所述的方法，其中所述現(xiàn)有的譯碼工具包括HEVC中界定的AMVP過程。
15.根據(jù)權(quán)利要求14所述的方法，檢查所述一或多個(gè)相鄰塊的多個(gè)空間相鄰塊所依次序?qū)?yīng)于在HEVC中界定的所述AMVP過程期間檢查對應(yīng)位置的塊所依次序。
16.根據(jù)權(quán)利要求13所述的方法，其中所述現(xiàn)有的譯碼工具包括HEVC中界定的合并過程。
17.根據(jù)權(quán)利要求15所述的方法，檢查所述一或多個(gè)相鄰塊的多個(gè)空間相鄰塊所依次序?qū)?yīng)于在HEVC中界定的所述合并過程期間檢查對應(yīng)位置的塊所依次序。
18.根據(jù)權(quán)利要求1所述的方法，其中所述視差向量包括隱式視差向量。
19.根據(jù)權(quán)利要求18所述的方法，其中確定所述隱式視差向量包括在所述一或多個(gè)相鄰塊的譯碼期間識別針對所述一或多個(gè)相鄰塊存儲的一或多個(gè)視差向量，其中在針對所述一或多個(gè)相鄰塊使用視圖間運(yùn)動(dòng)參數(shù)預(yù)測期間針對所述相鄰塊確定所述一或多個(gè)視差向量。
20.根據(jù)權(quán)利要求4所述的方法，其進(jìn)一步包括: 使用由所述當(dāng)前塊的所述視差向量確定的所述參考視圖中的所述視圖間參考圖片的所述參考塊的信息來確定視圖間運(yùn)動(dòng)預(yù)測。
21.根據(jù)權(quán)利要求20所述的方法，其中執(zhí)行視圖間運(yùn)動(dòng)預(yù)測包括基于所述視差向量而產(chǎn)生候選列表的候選者以用于合并模式及高級運(yùn)動(dòng)向量預(yù)測AMVP模式中的一者。
22.根據(jù)權(quán)利要求21所述的方法，其中產(chǎn)生所述候選列表的所述候選者包括將視差運(yùn)動(dòng)向量添加到所述候選列表，其中所述視差運(yùn)動(dòng)向量具有與所述視差向量相同的X分量，且其中所述視差運(yùn)動(dòng)向量具有與所述視差向量相同的y分量。
23.根據(jù)權(quán)利要求21所述的方法，其中產(chǎn)生所述候選列表的所述候選者包括將視差運(yùn)動(dòng)向量添加到所述候選列表，其中所述視差運(yùn)動(dòng)向量具有與所述視差向量相同的X分量，且其中所述視差運(yùn)動(dòng)向量具有等于零的y分量。
24.根據(jù)權(quán)利要求1所述的方法，其進(jìn)一步包括: 將所述視差向量轉(zhuǎn)換為視差運(yùn)動(dòng)向量； 將所述視差運(yùn)動(dòng)向量插入到AMVP候選列表及合并候選列表中的一者中。
25.根據(jù)權(quán)利要求1所述的方法，其中確定所述當(dāng)前塊的所述視差向量包括確定一或多個(gè)候選視差向量且將所述一或多個(gè)候選視差向量中的一者選擇為所述視差向量。
26.根據(jù)權(quán)利要求25所述的方法，其中所述一或多個(gè)候選視差向量包括至少一個(gè)空間視差向量。
27.根據(jù)權(quán)利要求25所述的方法，其中所述一或多個(gè)候選視差向量包括至少一個(gè)時(shí)間視差向量。
28.根據(jù)權(quán)利要求25所述的方法，其中所述一或多個(gè)候選視差向量包括至少一個(gè)隱式視差向量。
29.根據(jù)權(quán)利要求25所述的方法，其進(jìn)一步包括: 從所述一或多個(gè)候選視差向量排除指向不同于所述當(dāng)前塊的目標(biāo)視圖的目標(biāo)視圖的候選者。
30.根據(jù)權(quán)利要求25所述的方法，其進(jìn)一步包括: 對來自所述一或多個(gè)候選視差向量的視差向量執(zhí)行視差向量縮放。
31.根據(jù)權(quán)利要求25所述的方法，其中所述將所述一或多個(gè)候選視差向量中的一者選擇為所述視差向量是基于所述候選視差向量中的所述一或多者的出現(xiàn)頻率。
32.根據(jù)權(quán)利要求1或2所述的方法，其中所述方法進(jìn)一步包括: 評估多個(gè)相鄰塊以確定所述多個(gè)相鄰塊中的一者是否產(chǎn)生可用的候選視差向量； 在識別所述可用的候選視差向量之后即刻終止所述評估所述多個(gè)相鄰塊； 且其中確定所述當(dāng)前塊的所述視差向量包括將所述可用的候選視差向量用作所述視差向量。
33.根據(jù)權(quán)利要求32所述的方法，其中所述方法進(jìn)一步包括: 識別所述多個(gè)相鄰塊的所述相鄰塊中的一者的視差運(yùn)動(dòng)向量，其中所述候選視差向量指向不同于所述當(dāng)前塊的目標(biāo)參考視圖的目標(biāo)視圖； 將所述候選視差向量視為不可用的候選視差向量。
34.根據(jù)權(quán)利要求33所述的方法，其中將所述候選視差向量視為所述不可用的候選者包括在識別所述不可用的候選視差向量之后即刻不終止所述評估所述多個(gè)相鄰塊。
35.根據(jù)權(quán)利要求1所述的方法，其中所述對應(yīng)塊包括參考塊，且其中所述第一視圖包括參考視圖。
36.根據(jù)權(quán)利要求1所述的方法，其中所述一或多個(gè)相鄰塊包括對應(yīng)于在運(yùn)動(dòng)向量預(yù)測過程期間檢查的塊的多個(gè)空間相鄰塊。
37.根據(jù)權(quán)利要求36所述的方法，其中所述運(yùn)動(dòng)向量預(yù)測過程包括由3D-HEVC標(biāo)準(zhǔn)界定的運(yùn)動(dòng)向量預(yù)測過程。
38.根據(jù)權(quán)利要求1或2所述的方法，其進(jìn)一步包括: 確定第二當(dāng)前塊的第二視差向量，其中所述第二當(dāng)前塊在所述第二視圖中，其中所述第二視差向量包括全局視差向量； 針對所述第二當(dāng)前塊，基于所述第二視差向量確定所述第一視圖的所述圖片中的一者中的第二對應(yīng)塊。
39.根據(jù)權(quán)利要求1或2所述的方法，其進(jìn)一步包括: 確定第二當(dāng)前塊的第二視差向量，其中所述第二當(dāng)前塊在所述第二視圖中，其中所述第二視差向量包括平滑時(shí)間-視圖預(yù)測STV的視差向量； 針對所述第二當(dāng)前塊，基于所述第二視差向量確定所述第一視圖的所述圖片中的一者中的第二對應(yīng)塊。
40.根據(jù)權(quán)利要求1或2所述的方法，其進(jìn)一步包括: 基于所述視差向量指向的視圖與目標(biāo)參考視圖之間的差來縮放所述視差向量。
41.一種用于對多視圖視頻數(shù)據(jù)進(jìn)行譯碼的裝置，所述裝置包括: 視頻解碼器，其經(jīng)配置以:對包含第一參考視圖的一或多個(gè)參考視圖中的一或多個(gè)圖片進(jìn)行解碼；及基于當(dāng)前塊的一或多個(gè)相鄰塊的運(yùn)動(dòng)信息來確定所述當(dāng)前塊的視差向量，其中所述當(dāng)前塊在第二視圖中，其中所述視差向量從所述當(dāng)前塊指向所述一或多個(gè)參考視圖中的一者中的相同時(shí)間實(shí)例的圖片中的對應(yīng)塊。
42.一種用于對多視圖視頻數(shù)據(jù)進(jìn)行譯碼的裝置，所述裝置包括: 視頻編碼器，其經(jīng)配置以:對包含第一參考視圖的一或多個(gè)參考視圖中的一或多個(gè)圖片進(jìn)行編碼；及基于當(dāng)前塊的一或多個(gè)相鄰塊的運(yùn)動(dòng)信息來確定所述當(dāng)前塊的視差向量，其中所述當(dāng)前塊在第二視圖中，其中所述視差向量從所述當(dāng)前塊指向所述一或多個(gè)參考視圖中的一者中的相同時(shí)間實(shí)例的圖片中的對應(yīng)塊。
43.根據(jù)權(quán)利要求41或42所述的裝置，其中所述一或多個(gè)相鄰塊中的一者的所述運(yùn)動(dòng)信息包括運(yùn)動(dòng)向量，且其中所述視頻解碼器進(jìn)一步經(jīng)配置以: 響應(yīng)于確定所述運(yùn)動(dòng)向量與對應(yīng)于屬于所述一或多個(gè)參考視圖中的一者的參考圖片的參考索引相關(guān)聯(lián)，將所述運(yùn)動(dòng)向量視為視差運(yùn)動(dòng)向量；及， 利用所述視差運(yùn)動(dòng)向量來導(dǎo)出所述視差向量。
44.根據(jù)權(quán)利要求41或42所述的裝置，其中所述視頻解碼器進(jìn)一步經(jīng)配置以確定與所述視差向量相關(guān)聯(lián)的參考視圖并識別所述參考視圖的視圖間參考圖片中的參考塊。
45.根據(jù)權(quán)利要求41或42所述的裝置，其中所述視頻解碼器進(jìn)一步經(jīng)配置以:確定與所述視差向量相關(guān)聯(lián)的參考視圖； 基于所述視差向量而創(chuàng)建視差運(yùn)動(dòng)向量，其中所述視差運(yùn)動(dòng)向量的所述參考索引對應(yīng)于來自所述參考視圖的所述視圖間參考圖片。
46.根據(jù)權(quán)利要求43所述的裝置，其中所述一或多個(gè)相鄰塊包括一或多個(gè)空間相鄰塊，且其中確定所述當(dāng)前塊的所述視差向量包括確定所述視差運(yùn)動(dòng)向量，其中所述視差運(yùn)動(dòng)向量與所述空間相鄰塊相關(guān)聯(lián)。
47.根據(jù)權(quán)利要求43所述的裝置，其中所述一或多個(gè)相鄰塊包括一或多個(gè)時(shí)間相鄰塊，且其中確定所述當(dāng)前塊的所述視差向量包括確定所述視差運(yùn)動(dòng)向量，其中所述視差運(yùn)動(dòng)向量與所述時(shí)間相鄰塊相關(guān)聯(lián)。
48.根據(jù)權(quán)利要求47所述的裝置，其中所述一或多個(gè)時(shí)間相鄰塊包括一或多個(gè)時(shí)間參考圖片中的塊。
49.根據(jù)權(quán)利要求48所述的裝置，其中所述一或多個(gè)時(shí)間參考圖片包括HEVC中的時(shí)間運(yùn)動(dòng)向量預(yù)測中所使用的位于同一地點(diǎn)的圖片。
50.根據(jù)權(quán)利要求47所述的裝置，其中所述時(shí)間相鄰塊包括參考圖片中的譯碼單元的一或多個(gè)預(yù)測單元或預(yù)測塊，其中所述譯碼單元包括所述當(dāng)前塊的位于同一地點(diǎn)的塊。
51.根據(jù)權(quán)利要求47所述的裝置，其中所述時(shí)間相鄰塊包括參考圖片中的最大譯碼單元的一或多個(gè)預(yù)測單元或預(yù)測塊，其中所述最大譯碼單元包括所述當(dāng)前塊的位于同一地點(diǎn)的塊。
52.根據(jù)權(quán)利要求43所述的裝置，其中所述一或多個(gè)相鄰塊包括一或多個(gè)空間相鄰塊及一或多個(gè)時(shí)間相鄰塊，且其中確定所述當(dāng)前塊的所述視差向量包括確定所述視差運(yùn)動(dòng)向量，其中所述視差運(yùn)動(dòng)向量與所述空間相鄰塊及所述時(shí)間相鄰塊中的一者相關(guān)聯(lián)。
53.根據(jù)權(quán)利要求47所述的裝置，其中所述一或多個(gè)空間相鄰塊包括將由二維2D視頻編解碼器中的現(xiàn)有譯碼工具存取的空間相鄰塊。
54.根據(jù)權(quán)利要求53所述的裝置，其中所述現(xiàn)有的譯碼工具包括HEVC中界定的AMVP過程。
55.根據(jù)權(quán)利要求54所述的裝置，檢查所述一或多個(gè)相鄰塊的多個(gè)空間相鄰塊所依次序?qū)?yīng)于在HEVC中界定的所述AMVP過程其間檢查對應(yīng)位置的塊所依次序。
56.根據(jù)權(quán)利要求53所述的方法，其中所述現(xiàn)有的譯碼工具包括HEVC中界定的合并過程。
57.根據(jù)權(quán)利要求56所述的方法，其中檢查所述一或多個(gè)相鄰塊的多個(gè)空間相鄰塊所依次序?qū)?yīng)于在HEVC中界定的所述合并過程其間檢查對應(yīng)位置的塊所依次序。
58.根據(jù)權(quán)利要求41或42所述的裝置，其中所述視差向量包括隱式視差向量。
59.根據(jù)權(quán)利要求58所述的裝置，其中確定所述隱式視差向量包括在所述一或多個(gè)相鄰塊的譯碼期間識別針對所述一或多個(gè)相鄰塊存儲的一或多個(gè)視差向量，其中在針對所述一或多個(gè)相鄰塊使用視圖間運(yùn)動(dòng)參數(shù)預(yù)測期間針對所述相鄰塊確定所述一或多個(gè)視差向量。
60.根據(jù)權(quán)利要求44所述的裝置，其中所述視頻解碼器進(jìn)一步經(jīng)配置以: 使用由所述當(dāng)前塊的所述視差向量確定的所述參考視圖中的所述視圖間參考圖片的所述參考塊的信息來確定視圖間運(yùn)動(dòng)預(yù)測。
61.根據(jù)權(quán)利要求60所述的裝置，其中所述視頻解碼器經(jīng)配置以通過基于所述視差向量而產(chǎn)生候選列表的候選者以用于合并模式及高級運(yùn)動(dòng)向量預(yù)測AMVP模式中的一者來執(zhí)行視圖間運(yùn)動(dòng)預(yù)測。
62.根據(jù)權(quán)利要求60所述的裝置，其中所述視頻解碼器經(jīng)配置以通過將視差運(yùn)動(dòng)向量添加到所述候選列表而產(chǎn)生所述候選列表的所述候選者，其中所述視差運(yùn)動(dòng)向量具有與所述視差向量相同的X分量，且其中所述視差運(yùn)動(dòng)向量具有與所述視差向量相同的I分量。
63.根據(jù)權(quán)利要求60所述的方法，其中所述視頻解碼器經(jīng)配置以通過將視差運(yùn)動(dòng)向量添加到所述候選列表而產(chǎn)生所述候選列表的所述候選者，其中所述視差運(yùn)動(dòng)向量具有與所述視差向量相同的X分量，且其中所述視差運(yùn)動(dòng)向量具有等于零的I分量。
64.根據(jù)權(quán)利要求41或42所述的裝置，其中所述視頻解碼器進(jìn)一步經(jīng)配置以: 將所述視差向量轉(zhuǎn)換為視差運(yùn)動(dòng)向量； 將視差運(yùn)動(dòng)向量插入到AMVP候選列表及合并候選列表中的一者中。
65.根據(jù)權(quán)利要求41或42所述的裝置，其中所述視頻解碼器經(jīng)配置以通過確定一或多個(gè)候選視差向量且將所述一或多個(gè)候選視差向量中的一者選擇為所述視差向量來確定所述當(dāng)前塊的所述視差向量。
66.根據(jù)權(quán)利要求65所述的裝置，其中所述一或多個(gè)候選視差向量包括至少一個(gè)空間視差向量。
67.根據(jù)權(quán)利要求65所述的裝置，其中所述一或多個(gè)候選視差向量包括至少一個(gè)時(shí)間視差向量。
68.根據(jù)權(quán)利要求65所述的裝置，其中所述一或多個(gè)候選視差向量包括至少一個(gè)隱式視差向量。
69.根據(jù)權(quán)利要求65所述的裝置，其中所述視頻解碼器進(jìn)一步經(jīng)配置以: 從所述一或多個(gè)候選視差向量排除指向不同于所述當(dāng)前塊的目標(biāo)視圖的目標(biāo)視圖的候選者。
70.根據(jù)權(quán)利要求65所述的方法，其中所述視頻解碼器進(jìn)一步經(jīng)配置以: 對來自所述一或多個(gè)候選視差向量的視差向量執(zhí)行視差向量縮放。
71.根據(jù)權(quán)利要求65所述的裝置，其中所述視頻解碼器經(jīng)配置以將所述一或多個(gè)候選視差向量中的一者選擇為所述視差向量是基于所述候選視差向量中的所述一或多者的出現(xiàn)頻率。
72.根據(jù)權(quán)利要求41或42所述的裝置，其中所述視頻解碼器進(jìn)一步經(jīng)配置以: 評估多個(gè)相鄰塊以確定所述多個(gè)相鄰塊中的一者是否產(chǎn)生可用的候選視差向量； 在識別所述可用的候選視差向量之后即刻終止所述評估所述多個(gè)相鄰塊； 且其中所述視頻解碼器經(jīng)配置以通過將所述可用的候選視差向量用作所述視差向量來確定所述當(dāng)前塊的所述視差向量。
73.根據(jù)權(quán)利要求72所述的裝置，其中所述視頻解碼器進(jìn)一步經(jīng)配置以: 識別所述多個(gè)相鄰塊的所述相鄰塊中的一者的視差運(yùn)動(dòng)向量，其中所述候選視差向量指向不同于所述當(dāng)前塊的目標(biāo)參考視圖的目標(biāo)視圖； 將所述候選視差向量視為不可用的候選視差向量。
74.根據(jù)權(quán)利要求73所述的裝置，其中所述視頻解碼器經(jīng)配置以通過在識別所述不可用的候選視差向量之后即刻不終止所述評估所述多個(gè)相鄰塊而將所述候選視差向量視為所述不可用的候選者。
75.根據(jù)權(quán)利要求41或42所述的裝置，其中所述對應(yīng)塊包括參考塊，且其中所述第一視圖包括參考視圖。
76.根據(jù)權(quán)利要求41或42所述的裝置，其中所述一或多個(gè)相鄰塊包括對應(yīng)于在運(yùn)動(dòng)向量預(yù)測過程期間檢查的塊的多個(gè)空間相鄰塊。
77.根據(jù)權(quán)利要求76所述的裝置，其中所述運(yùn)動(dòng)向量預(yù)測過程包括由3D-HEVC標(biāo)準(zhǔn)界定的運(yùn)動(dòng)向量預(yù)測過程。
78.根據(jù)權(quán)利要求41或42所述的裝置，其中所述視頻解碼器進(jìn)一步經(jīng)配置以: 確定第二當(dāng)前塊的第二視差向量，其中所述第二當(dāng)前塊在所述第二視圖中，其中所述第二視差向量包括全局視差向量； 針對所述第二當(dāng)前塊，基于所述第二視差向量確定所述第一視圖的所述圖片中的一者中的第二對應(yīng)塊。
79.根據(jù)權(quán)利要求41或42所述的裝置，其中所述視頻解碼器進(jìn)一步經(jīng)配置以: 確定第二當(dāng)前塊的第二視差向量，其中所述第二當(dāng)前塊在所述第二視圖中，其中所述第二視差向量包括平滑時(shí)間-視圖預(yù)測STV的視差向量； 針對所述第二當(dāng)前塊，基于所述第二視差向量確定所述第一視圖的所述圖片中的一者中的第二對應(yīng)塊。
80.根據(jù)權(quán)利要求41或42所述的裝置，其中所述視頻解碼器進(jìn)一步經(jīng)配置以: 基于所述視差向量指向的視圖與目標(biāo)參考視圖之間的差來縮放所述視差向量。
81.根據(jù)權(quán)利要求41或42所述的裝置，其中所述裝置包括以下各者中的至少一者: 集成電路； 微處理器；及， 無線通信裝置，其包括視頻解碼器。
82.一種用于對多視圖視頻數(shù)據(jù)進(jìn)行解碼的裝置，所述裝置包括: 用于對包含第一參考視圖的一或多個(gè)參考視圖中的一或多個(gè)圖片進(jìn)行解碼的裝置； 用于基于當(dāng)前塊的一或多個(gè)相鄰塊的運(yùn)動(dòng)信息來確定所述當(dāng)前塊的視差向量的裝置，其中所述當(dāng)前塊在第二視圖中，其中所述視差向量從所述當(dāng)前塊指向所述一或多個(gè)參考視圖中的一者中的相同時(shí)間實(shí)例的圖片中的對應(yīng)塊。
83.一種用于對多視圖視頻數(shù)據(jù)進(jìn)行編碼的裝置，所述裝置包括: 用于對包含第一參考視圖的一或多個(gè)參考視圖中的一或多個(gè)圖片進(jìn)行編碼的裝置； 用于基于當(dāng)前塊的一或多個(gè)相鄰塊的運(yùn)動(dòng)信息來確定所述當(dāng)前塊的視差向量的裝置，其中所述當(dāng)前塊在第二視圖中，其中所述視差向量從所述當(dāng)前塊指向所述一或多個(gè)參考視圖中的一者中的相同時(shí)間實(shí)例的圖片中的對應(yīng)塊。
84.根據(jù)權(quán)利要求82或83所述的裝置，其中所述一或多個(gè)相鄰塊中的一者的所述運(yùn)動(dòng)信息包括運(yùn)動(dòng)向量，且其中所述裝置進(jìn)一步包括: 用于響應(yīng)于確定所述運(yùn)動(dòng)向量與對應(yīng)于屬于所述一或多個(gè)參考視圖中的一者的參考圖片的參考索引相關(guān)聯(lián)而將所述運(yùn)動(dòng)向量視為視差運(yùn)動(dòng)向量的裝置；及， 用于利用所述視差運(yùn)動(dòng)向量來導(dǎo)出所述視差向量的裝置。
85.根據(jù)權(quán)利要求82或83所述的裝置，其進(jìn)一步包括: 用于確定與所述視差向量相關(guān)聯(lián)的參考視圖的裝置； 用于識別所述參考視圖的視圖間參考圖片中的參考塊的裝置。
86.根據(jù)權(quán)利要求84所述的裝置，其中所述一或多個(gè)相鄰塊包括一或多個(gè)空間相鄰塊，且其中所述用于確定所述當(dāng)前塊的所述視差向量的裝置包括用于確定所述視差運(yùn)動(dòng)向量的裝置，其中所述視差運(yùn)動(dòng)向量與所述空間相鄰塊相關(guān)聯(lián)。
87.根據(jù)權(quán)利要求84所述的裝置，其中所述一或多個(gè)相鄰塊包括一或多個(gè)時(shí)間相鄰塊，且其中所述用于確定所述當(dāng)前塊的所述視差向量的裝置包括用于確定所述視差運(yùn)動(dòng)向量的裝置，其中所述視差運(yùn)動(dòng)向量與所述時(shí)間相鄰塊相關(guān)聯(lián)。
88.根據(jù)權(quán)利要求84所述的裝置，其中所述一或多個(gè)相鄰塊包括一或多個(gè)空間相鄰塊及一或多個(gè)時(shí)間相鄰塊，且其中所述用于確定所述當(dāng)前塊的所述視差向量的裝置包括用于確定所述視差運(yùn)動(dòng)向量的裝置，其中所述視差運(yùn)動(dòng)向量與所述空間相鄰塊及所述時(shí)間相鄰塊中的一者相關(guān)聯(lián)。
89.根據(jù)權(quán)利要求88所述的裝置，其中所述視差向量包括隱式視差向量。
90.根據(jù)權(quán)利要求89所述的裝置，其中所述用于確定所述隱式視差向量的裝置包括用于在所述一或多個(gè)相鄰塊的譯碼期間識別針對所述一或多個(gè)相鄰塊存儲的一或多個(gè)視差向量的裝置，其中在針對所述一或多個(gè)相鄰塊使用視圖間運(yùn)動(dòng)參數(shù)預(yù)測期間針對所述相鄰塊確定所述一或多個(gè)視差向量。
91.根據(jù)權(quán)利要求85所述的裝置，其進(jìn)一步包括: 用于使用由所述當(dāng)前塊的所述視差向量確定的所述參考視圖中的所述視圖間參考圖片的所述參考塊的信息來確定視圖間運(yùn)動(dòng)預(yù)測的裝置。
92.根據(jù)權(quán)利要求91所述的裝置，其中所述用于執(zhí)行視圖間運(yùn)動(dòng)預(yù)測的裝置包括用于基于所述視差向量而產(chǎn)生候選列表的候選者以用于合并模式及高級運(yùn)動(dòng)向量預(yù)測AMVP模式中的一者的裝置。
93.根據(jù)權(quán)利要求81或82所述的裝置，其進(jìn)一步包括: 用于將所述視差向量轉(zhuǎn)換為視差運(yùn)動(dòng)向量的裝置； 用于將所述視差運(yùn)動(dòng)向量插入到AMVP候選列表及合并候選列表中的一者中的裝置。
94.根據(jù)權(quán)利要求81或82所述的裝置，其中所述用于確定所述當(dāng)前塊的所述視差向量的裝置包括用于確定一或多個(gè)候選視差向量的裝置及用于將所述一或多個(gè)候選視差向量中的一者選擇為所述視差向量的裝置。
95.根據(jù)權(quán)利要求81或82所述的裝置，其中所述裝置進(jìn)一步包括: 用于評估多個(gè)相鄰塊以確定所述多個(gè)相鄰塊中的一者是否產(chǎn)生可用的候選視差向量的裝置； 用于在識別所述可用的候選視差向量之后即刻終止所述評估所述多個(gè)相鄰塊的裝置； 且其中所述用于確定所述當(dāng)前塊的所述視差向量的裝置包括用于將所述可用的候選視差向量用作所述視差向量的裝置。
96.根據(jù)權(quán)利要求81或82所述的裝置，其進(jìn)一步包括: 用于確定第二當(dāng)前塊的第二視差向量的裝置，其中所述第二當(dāng)前塊在所述第二視圖中，其中所述第二視差向量包括全局視差向量； 用于針對所述第二當(dāng)前塊基于所述第二視差向量確定所述第一視圖的所述圖片中的一者中的第二對應(yīng)塊的裝置。
97.根據(jù)權(quán)利要求81或82所述的裝置，其進(jìn)一步包括: 用于確定第二當(dāng)前塊的第二視差向量的裝置，其中所述第二當(dāng)前塊在所述第二視圖中，其中所述第二視差向量包括平滑時(shí)間-視圖預(yù)測STV的視差向量； 用于針對所述第二當(dāng)前塊基于所述第二視差向量確定所述第一視圖的所述圖片中的一者中的第二對應(yīng)塊的裝置。
98.根據(jù)權(quán)利要求81或82所述的裝置，其進(jìn)一步包括: 用于基于所述視差向量指向的視圖與目標(biāo)參考視圖之間的差來縮放所述視差向量的>j-U ρ?α裝直。
99.一種計(jì)算機(jī)可讀存儲媒體，其存儲指令，所述指令在被執(zhí)行時(shí)致使一或多個(gè)處理器: 對包含第一參考視圖的一或多個(gè)參考視圖中的一或多個(gè)圖片進(jìn)行解碼； 基于當(dāng)前塊的一或多個(gè)相鄰塊的運(yùn)動(dòng)信息來確定所述當(dāng)前塊的視差向量，其中所述當(dāng)前塊在第二視圖中，其中所述視差向量從所述當(dāng)前塊指向所述一或多個(gè)參考視圖中的一者中的相同時(shí)間實(shí)例的圖片中的對應(yīng)塊。
100.—種計(jì)算機(jī)可讀存儲媒體，其存儲指令，所述指令在被執(zhí)行時(shí)致使一或多個(gè)處理器: 對包含第一參考視圖的一或多個(gè)參考視圖中的一或多個(gè)圖片進(jìn)行編碼； 基于當(dāng)前塊的一或多個(gè)相鄰塊的運(yùn)動(dòng)信息來確定所述當(dāng)前塊的視差向量，其中所述當(dāng)前塊在第二視圖中，其中所述視差向量從所述當(dāng)前塊指向所述一或多個(gè)參考視圖中的一者中的相同時(shí)間實(shí)例的圖片中的對應(yīng)塊。
【文檔編號】H04N19/597GK104303502SQ201380013560
【公開日】2015年1月21日 申請日期:2013年3月14日 優(yōu)先權(quán)日:2012年3月14日
【發(fā)明者】張莉, 陳穎, 馬爾塔·卡切維奇 申請人:高通股份有限公司