在多層編碼中的層特征信令的制作方法
【技術(shù)領(lǐng)域】
[0001 ]本申請涉及…，例如，在多層視頻編碼的領(lǐng)域中。
【背景技術(shù)】
[0002] 視頻編解碼器規(guī)范（例如，HEVC基礎(chǔ)規(guī)范【1】及其擴(kuò)展，例如，多視圖擴(kuò)展【2】【3】） 通常獲得機(jī)構(gòu)，用于在分層編碼場景中信令視頻數(shù)據(jù)的每個編碼塊所屬的層。信令機(jī)構(gòu)需 要隨時可用，比較在圖1中的表格中提供的HEVC中的den NAL單元報頭(nuh_layer_id)內(nèi)的 層標(biāo)識符。
[0003] 由于其在位方面的尺寸有限，所以相應(yīng)HEVC語法元素允許64個值用于識別可擴(kuò)展 層、視圖和/或深度。對于使用當(dāng)前HEVC NAL單元報頭語法的多視圖視頻，例如，這意味著64 個視圖或32個視圖加上深度的組合限制為最大。雖然這對于很多共同的立體視圖場景和其 他應(yīng)用充分，但是對于應(yīng)用(例如，光場成像【4】、【5】或全息顯示【6】)具有不止100個視圖的 大型攝像頭陣列需要可擴(kuò)展機(jī)構(gòu)，用于信令層標(biāo)識符的更大空間。
[0004] 而且，通過其相對于彼此的編碼依賴性或空間關(guān)系將某些層或視圖分組，構(gòu)成層 標(biāo)識符的空間，可具有優(yōu)點(diǎn)。進(jìn)一步，由于在編碼的視頻位流內(nèi)從已經(jīng)可用的信息中獲得這 種信息，需要無法容忍的計算資源，所以在構(gòu)成的層標(biāo)識符空間內(nèi)提供編碼依賴性的緊湊 表示，也具有優(yōu)點(diǎn)。

【發(fā)明內(nèi)容】

[0005] 因此，本申請的目標(biāo)在于，提供用于與多層編碼相結(jié)合信令…的概念，這在(例如） 更小的邊信息開銷和/或改進(jìn)的向后兼容性方面更有效。由即將發(fā)生的獨(dú)立權(quán)利要求的主 題實(shí)現(xiàn)這個目標(biāo)。
[0006] 本申請的一個方面涉及用于多層視頻信號的層的至少一個特征的信令(例如，對 于每層，通過層間預(yù)測與相應(yīng)層直接相關(guān)的相關(guān)層的指示）或者上述第二相互依賴性語法 結(jié)構(gòu)的信令。根據(jù)該方面，在多層視頻信號內(nèi)信令最大語法元素，以指示多層視頻信號的數(shù) 據(jù)包的擴(kuò)展層ID字段的最大使用值，例如，最大語法元素的范圍是(例如)延伸穿過多層視 頻信號的幾個部分的多層視頻信號的預(yù)定部分。因此，根據(jù)該方面，對于接收多層視頻信號 的裝置(例如，解碼器或網(wǎng)絡(luò)元件），可行的是為多層視頻信號的較大預(yù)定部分獲得關(guān)于擴(kuò) 展層ID字段可信令的可能值的可能域的實(shí)際消耗部分的知識，并且不需要為基礎(chǔ)層ID字段 值和擴(kuò)展層ID字段值的每個組合信令至少一個特征，更確切地說，足以為基于最大假定值 確定的最大層數(shù)信令所述至少一個特征。因此，不需要為具有層ID的層傳輸/信令所述至少 一個特征，所述層的擴(kuò)展層ID不在多層視頻信號的預(yù)定部分內(nèi)發(fā)生。除此以外，根據(jù)進(jìn)一步 實(shí)施方式，最大假定值的知識可用于減少用于信令每個部分的層ID的邊信息開銷，即，用于 減少在多層視頻信號的數(shù)據(jù)包內(nèi)信令擴(kuò)展層ID字段所需要的位。
[0007] 本申請的一個方面涉及在多層數(shù)據(jù)流的層之間的層間依賴性的信號作用。根據(jù)該 方面，通過表示在基礎(chǔ)層ID能表示的幾對不同值之間的相互依賴性的第一相互依賴性語法 結(jié)構(gòu)以及表示在擴(kuò)展層ID能表示的幾對不同值之間的相互依賴性的第二相互依賴性語法 結(jié)構(gòu)的方式描述層間依賴性，發(fā)現(xiàn)在一方面的層間依賴性的潛在多樣性的太密集限制與另 一方面的層間依賴性的太復(fù)雜信令之間的良好折衷，所述基礎(chǔ)層ID和擴(kuò)展層ID索引與所述 多層數(shù)據(jù)流的部分相關(guān)聯(lián)的層。根據(jù)該概念，可在一方面的可信令層間依賴性的增加的多 樣性與另一方面的用于信令所述層間依賴性的減小的邊信息開銷之間轉(zhuǎn)移重點(diǎn)：例如，分 別調(diào)用具有共同的基礎(chǔ)層ID的層的組，即，"集群"，所述相同的第二相互依賴性語法結(jié)構(gòu)可 用于單獨(dú)在所有集群內(nèi)并且在通過所述第一相互依賴性語法結(jié)構(gòu)彼此相關(guān)的所有集群之 間調(diào)節(jié)所述相互依賴性。可替換地，所述第二相互依賴性語法結(jié)構(gòu)的兩個實(shí)例化可用于描 述一方面在所述集群內(nèi)并且另一方面在不同集群的層之間的層的相互依賴性。無論是將重 點(diǎn)放在增加的多樣性還是減小的邊信息開銷上，所述相互依賴性信令理念的結(jié)果是保持低 信令開銷。
[0008] 本申請的一個方面涉及與多層視頻信號的每個數(shù)據(jù)包相關(guān)聯(lián)的層ID的信令。具體 而言，這方面實(shí)現(xiàn)信令該層關(guān)聯(lián)的有效方法，然而，與編碼解碼器保持向后兼容性，根據(jù)該 向后兼容性，基礎(chǔ)層ID字段的某個值限制為不可擴(kuò)展，例如，在基礎(chǔ)層ID字段內(nèi)的基礎(chǔ)層ID 值0。并非特別相對于該不可擴(kuò)展的基礎(chǔ)層ID值避開該限制，通過將基礎(chǔ)層ID字段細(xì)分成第 一子字段和第二子字段，通過可擴(kuò)展的方式信令多層數(shù)據(jù)流的部分的層ID:每當(dāng)基礎(chǔ)層ID 字段的第一子字段滿足預(yù)定標(biāo)準(zhǔn)，提供擴(kuò)展層ID字段，并且如果基礎(chǔ)層ID字段的第一子字 段不滿足預(yù)定標(biāo)準(zhǔn)，那么省略擴(kuò)展層ID字段。上述不可擴(kuò)展基礎(chǔ)層ID值"隱藏"在這組基礎(chǔ) 層ID值內(nèi)，其中，基礎(chǔ)層ID字段的第一子字段不滿足預(yù)定標(biāo)準(zhǔn)，因此，這個不可擴(kuò)展基礎(chǔ)層 ID值不單獨(dú)處理，而是渲染前一個組的一部分。確切地說，如果基礎(chǔ)層ID字段的第一子字段 滿足預(yù)定標(biāo)準(zhǔn)，那么從在多層數(shù)據(jù)流內(nèi)信令的擴(kuò)展層ID字段中獲得擴(kuò)展值，以便這同樣位 于擴(kuò)展值的域的第一子集內(nèi)，并且如果基礎(chǔ)層ID字段的第一子字段不滿足預(yù)定標(biāo)準(zhǔn)，那么 該擴(kuò)展值設(shè)置為與擴(kuò)展值的域的第一子集不相交的值。然后，使用擴(kuò)展值以及從基礎(chǔ)層ID 字段的第二子字段中獲得的集群值，索引與相應(yīng)部分相關(guān)聯(lián)的層?？偠灾?，盡管保持向后 兼容性，也未喪失信令效率。
【附圖說明】
[0009] 上述方面可組合或者單獨(dú)使用，并且上述方面的優(yōu)選實(shí)現(xiàn)方式是從屬權(quán)利要求的 主題并且稍后參照附圖討論，其中：
[001 0 ]圖1示出了在HEVC內(nèi)的NAL單元報頭的語法；
[0011] 圖2示意性示出了包括多層視頻編碼器、網(wǎng)絡(luò)元件以及多層視頻解碼器的環(huán)境，其 中，多層視頻編碼器、網(wǎng)絡(luò)元件以及多層視頻解碼器可由在以下附圖中描述的概念的任何 概念或任何組合改進(jìn)；
[0012] 圖3示意性示出了網(wǎng)絡(luò)裝置以及通過逐個集群的方式在到達(dá)網(wǎng)絡(luò)裝置的多層數(shù)據(jù) 流內(nèi)信令層相互依賴性的概念；
[0013] 圖4示意性示出了根據(jù)圖3的概念信令層間依賴性的方式；
[0014] 圖5示意性示出了在使用圖3的信令理念的情況下獲得層間依賴性的更具體的實(shí) 例；
[0015] 圖6通過示出通過指示層ID擴(kuò)展的語法元素擴(kuò)展的一部分薄片段報頭來示出薄片 段報頭的HEVC語法的可能擴(kuò)展；
[0016]圖7示出了示例性擴(kuò)展為實(shí)現(xiàn)圖3的信令理念的VPS語法的實(shí)例；
[0017]圖8到圖10示出了圖7的實(shí)例的替換物；
[0018] 圖11示意性示出了用于設(shè)置本申請的進(jìn)一步概念的裝置，根據(jù)該概念，在數(shù)據(jù)流 內(nèi)信令擴(kuò)展層ID字段的最大假定值；
[0019] 圖12示意性示出了圖11的概念；
[0020]圖13示出了在擴(kuò)展為包括擴(kuò)展層ID字段的HEVC的薄片段報頭之中的部分的實(shí)例； [0021]圖14示出了擴(kuò)展為包括語法元素的VPS語法的實(shí)例，以便表示圖13的擴(kuò)展層ID字 段的長度；
[0022]圖15示出了擴(kuò)展為包括表示擴(kuò)展層ID字段的最大值的語法元素的VPS語法的實(shí) 例；
[0023]圖16a到16c示出了擴(kuò)展為包括擴(kuò)展層ID字段的在SEI擴(kuò)展、SPS語法或PPS語法的 語法結(jié)構(gòu)之中的部分的實(shí)例；
[0024]圖17示出了關(guān)于在視頻數(shù)據(jù)流內(nèi)的層的VPS語法信令信息的實(shí)例，根據(jù)相對于圖 11和12解釋的最大假定值，循環(huán)穿過其語法部分多次；
[0025]圖18示出了根據(jù)特定實(shí)例例證在擴(kuò)展層ID字段、基礎(chǔ)層ID字段與層ID之間的關(guān)系 的示意圖，具體而言，使用layer_id_ext表示擴(kuò)展層ID字段，使用nuh_layer_id表示基礎(chǔ)層 ID字段，并且使用layerlD表示層ID，并且擴(kuò)展層ID字段的能表示值的數(shù)量由max_layer_ id_ext(加上1)表示，通過將擴(kuò)展長度設(shè)置為等于2,將擴(kuò)展層ID字段的長度選擇為2,該數(shù) 量在此處例證地設(shè)置為3;
[0026]圖19示出了擴(kuò)展為包括擴(kuò)展層ID字段的在薄片段報頭之中的部分的實(shí)例；
[0027]圖20a示出了擴(kuò)展為包括表示基礎(chǔ)層ID字段的子字段的長度的語法元素的VPS語 法的實(shí)例；
[0028]圖20b示出了修改為有條件地明確信令擴(kuò)展層ID字段的在薄片段報頭之中的部分 的實(shí)例；以及
[0029] 圖21示出了說明根據(jù)圖18的概念使用實(shí)現(xiàn)的關(guān)系獲得層ID的網(wǎng)絡(luò)裝置的功能的 流程圖。
【具體實(shí)施方式】
[0030] 在描述本申請的某些實(shí)施方式之前，參照圖2,描述示例性多層視頻編解碼器環(huán) 境，其中，可有利地使用下面概述的實(shí)施方式和方面。雖然示例性多層視頻編解碼器環(huán)境的 這個概述不理解為限制下面進(jìn)一步概述的實(shí)施方式，但是相對于以下附圖示例性提供的細(xì) 節(jié)和功能被視為描述下面進(jìn)一步概述的實(shí)施方式的大量可能擴(kuò)展，以便產(chǎn)生更詳細(xì)的實(shí)施 方式。在任何情況下，在后文中提出的說明性多層視頻編解碼器環(huán)境使得更容易理解下面 概述的實(shí)施方式的優(yōu)點(diǎn)。
[0031] 圖2說明性示出了在其輸入處接收視頻材料202的多層視頻編碼器200。僅僅為了 說明的目的，視頻材料202說明為多視圖視頻信號，傳輸多個視圖的每個視圖的視頻數(shù)據(jù)， 例如，視頻的每個圖片的紋理和深度。一般而言，視頻材料202能表示一個場景的多維取樣。 一個維度可能是時間t。即，視頻材料202在時間上給該場景取樣，從而為每個時刻產(chǎn)生一個 圖片。而且，可從不同的視角捕捉該場景，從而在每個時刻為每個視圖產(chǎn)生一個視頻或者為 每個視圖產(chǎn)生一個圖片。進(jìn)一步，除了場景的紋理的空間取樣，即，場景的顏色的空間取樣， 視頻材料202還為每個視圖或者視圖的每個子集提供場景的深度圖，用于相應(yīng)的視圖。例 如，圖2在使用陰影線說明的深度圖與沒有陰影線繪制的紋理圖或圖像之間區(qū)分。然而，應(yīng) 注意的是，應(yīng)注意的是，下面進(jìn)一步概述的實(shí)施方式都不限于這種多視圖材料。確切地說， 提供在圖2中的說明，僅僅為了減輕下面提出的描述。
[0032]多層視頻編碼器200配置為將視頻材料202編碼入多層數(shù)據(jù)流或者視頻信號204。 具體而言，多層視頻編碼器200使用層間預(yù)測在對應(yīng)于信息量的不同等級的不同層上將視 頻材料編碼入多層數(shù)據(jù)流204。這表示以下內(nèi)容。多層視頻編碼器200生成多層數(shù)據(jù)流，以便 多層數(shù)據(jù)流包括多個數(shù)據(jù)包206,每個數(shù)據(jù)包與不同層中的一層相關(guān)聯(lián)。例如，多層視頻編 碼器200將視頻材料202的信息量的某個基礎(chǔ)等級編碼入某個基礎(chǔ)層的數(shù)據(jù)包206,例如，僅 僅一個視圖的紋理等。例如，從在每個數(shù)據(jù)包206內(nèi)的層識別語法元素結(jié)構(gòu)208中可獲得數(shù) 據(jù)包206與各種層中的任何層的關(guān)聯(lián)，其中，例如，層識別語法元素結(jié)構(gòu)208可包含在相應(yīng)數(shù) 據(jù)包206的報頭210內(nèi)。例如，為了說明的目的，數(shù)字1、2以及3顯示為刻入數(shù)據(jù)包206內(nèi)，從而 分別使用層ID 1、2以及3說明層。在這些層之中，例如，具有層ID 1的層可形成最低或者基 礎(chǔ)層，提供信息量的基礎(chǔ)等級。其他層的數(shù)據(jù)包206可僅僅在一個或多個或各種信息類型的 方面提高在基礎(chǔ)層的數(shù)據(jù)包206上可用的信息量。例如，除了在基礎(chǔ)或參考層的數(shù)據(jù)包206 內(nèi)已經(jīng)編碼的視圖，某個層的數(shù)據(jù)包206還可具有在其內(nèi)編碼的進(jìn)一步視圖?？商鎿Q地，某 個層的數(shù)據(jù)包206可具有關(guān)于視頻材料202的場景的深度信息，例如，示圖的深度信息，該信 息的紋理已經(jīng)編碼入可能是任何更低層的基礎(chǔ)或者(更具體而言）參考層的數(shù)據(jù)包。同樣， 表面反射率信息可編碼入進(jìn)一步層的數(shù)據(jù)包，g卩，相對于在該場景內(nèi)的對象的表面反射率 的場景的空間取樣，與照明環(huán)境無關(guān)。并且甚至進(jìn)一步地，阿爾法(alpha)混合信息可編碼 入進(jìn)一步層的數(shù)據(jù)包，即，對應(yīng)于單獨(dú)圖片樣本的場景點(diǎn)的透明度的空間取樣。某個層的數(shù) 據(jù)包206還可在某個顏色分量上增加信息，或者可增大空間分辨率，即，提供空間分辨率細(xì) 化。同樣，某個層的數(shù)據(jù)包206可僅僅提供SNR分辨率細(xì)化，即，提高編碼的視頻材料的信噪 比。為了就各種層而言，在多層數(shù)據(jù)流204內(nèi)避免冗余，多層視頻編碼器200使用層間預(yù)測： 即，某個層的數(shù)據(jù)包206相對于從一個或多個其他層(相對于前一層稱為參考層）中獲得的 層間預(yù)測在其內(nèi)編碼預(yù)測殘差。層間預(yù)測可應(yīng)用于不同的實(shí)體中，例如，描述視頻材料202 的語法元素和參數(shù)。例如，描述由某個層的數(shù)據(jù)包206傳輸?shù)念A(yù)測殘差可校正逐個像素地在 空間域內(nèi)從所述一個或多個參考層中獲得的層間預(yù)測?？商鎿Q地，例如，多層視頻編碼器 200可使用變換殘差編碼，并且例如，可在變換域(例如，DCT域）中逐個變換系數(shù)地發(fā)生層間 預(yù)測校正。可替換地或者此外，多層視頻編碼器200可能是使用空間和/或時間預(yù)測的混合 視頻編解碼器型，并且例如，此外或者可替換地，層間預(yù)測可屬于運(yùn)動向量的細(xì)化。甚至進(jìn) 一步地，多層視頻編碼器200可使用分層多樹細(xì)分，以便將視頻材料202的圖片細(xì)分成:編碼 塊，以所述編碼塊為單位，應(yīng)用不同的預(yù)測模式，例如，空間和時間預(yù)測;變換塊，以所述變 換塊為單位，在預(yù)測殘差上執(zhí)行上述變換;和/或其他塊體，以所述其他塊體為單位，設(shè)置某 些編碼參數(shù)，用于編碼視頻材料202，而非重新為進(jìn)一步層信令細(xì)分信息，可從所述一個或 多個基礎(chǔ)層中的任一個中完全采用所述細(xì)分，或者可信令相對于該細(xì)分信息的細(xì)化。
[0033]通過在層之中的層間依賴性，多層視頻信號204的層通過樹212的分支彼此相關(guān)， 所述樹的節(jié)點(diǎn)由上述層形成。為了傳輸關(guān)于在層之中的層間依賴性的信息，即，使關(guān)于層間 依賴性樹212的信息在解碼側(cè)上可用，多層視頻信號204可具有編碼入該信號的關(guān)于該信號 的信息。
[0034]在圖2中，例如，說明多層視頻編碼器200在視頻數(shù)據(jù)流204內(nèi)點(diǎn)綴包括或者傳輸信 息214的高級語法數(shù)據(jù)包216。信息214可包括層間依賴性語法結(jié)構(gòu)，以便描述在樹212內(nèi)的 層間依賴性。
[0035] 然而，關(guān)于樹212的信息可在編碼器和解碼器上可替換地默認(rèn)已知或者可重構(gòu)。因 此，此外或者可替換地，層相關(guān)的信息214可包括與某個層ID擴(kuò)展機(jī)構(gòu)相關(guān)的信息。具體而 言，雖然對于很多應(yīng)用，中等數(shù)量的層足以形成多層視頻信號204,但是一些其他應(yīng)用可經(jīng) 受層識別語法元素結(jié)構(gòu)208可信令的太少數(shù)量的層。換言之，構(gòu)成層識別語法元素結(jié)構(gòu)208， 以便對需要這種大量層的那些應(yīng)用，這也會容納大量層，在考慮應(yīng)用的整體多重性時，會不 利地造成高邊信息開銷，并且解釋層識別語法元素結(jié)構(gòu)208,以便這同樣僅僅容納中等數(shù)量 的層，這會拒絕其他應(yīng)用由位于數(shù)據(jù)流204之下的多層視頻編解碼器充分支持。因此，可使 用某個擴(kuò)展機(jī)構(gòu)，以便能夠在層識別語法元素結(jié)構(gòu)208僅僅容納較低的中等數(shù)量的層的數(shù) 據(jù)流204的模式與層識別語法元素結(jié)構(gòu)甚至容納大量層的模式之間切換，并且信息214可另 外或者可替換地參與在這些模式之間切換。
[0036]雖然高級語法數(shù)據(jù)包216的效力范圍可包含整個多層視頻信號204,但是數(shù)據(jù)包 216所屬的預(yù)定部分也可能更小，例如，預(yù)定部分可與多層視頻信號204在時間上分成的塊 體相關(guān)，每個塊體是圖片序列。例如，使用DASH或另一個合適的流協(xié)議，多層視頻編碼器200 可能以剛剛提及預(yù)定部分為單位，改變編碼入位流204的層數(shù)、具有樹結(jié)構(gòu)212的形式的層 間依賴性和/或相對于層識別語法元素結(jié)構(gòu)208在擴(kuò)展或非擴(kuò)展之間的切換。在任何情況 下，定期傳輸高級語法數(shù)據(jù)包216使接收者能夠在隨機(jī)訪問的基礎(chǔ)上具有多個隨機(jī)訪問時 間實(shí)例，以開始在其間解碼多層視頻信號