用于視頻編碼和解碼的裝置、方法和計(jì)算機(jī)程序的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明設(shè)及用于視頻編碼和解碼的裝置、方法和計(jì)算機(jī)程序。
【背景技術(shù)】
[0002] 視頻編解碼器可W包括；編碼器，其將輸入視頻變換到適合于存儲(chǔ)和/或傳輸?shù)?壓縮表示，W及解碼器，其能夠?qū)嚎s的視頻表示解壓縮回到能夠觀看的形式，或它們中的 任何一個(gè)。典型地，編碼器丟棄原始視頻序列中的一些信息，W便W更加緊湊的形式來(lái)表示 視頻，例如W較低的比特率。
[0003] 可伸縮視頻編碼指的是編碼結(jié)構(gòu)，在該編碼結(jié)構(gòu)中，一種比特流能夠含有W不同 比特率、分辨率或帖速率的內(nèi)容的多種表示?？缮炜s比特流典型地由"基礎(chǔ)層"（其提供可 W使用的最低質(zhì)量視頻）和一個(gè)或多個(gè)增強(qiáng)層（當(dāng)其連同較低層一起被接收和解碼時(shí)，其 增強(qiáng)視頻質(zhì)量）組成。為了改進(jìn)針對(duì)增強(qiáng)層的編碼效率，該層的編碼表示典型地依賴于較 低層。
[0004] 視頻編碼方法典型地利用運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)，其中在先前編碼視頻帖中的緊密對(duì)應(yīng)于 被編碼的塊的一個(gè)先前編碼視頻帖中的區(qū)域用作針對(duì)編碼當(dāng)前帖的參考。
[0005] 在運(yùn)動(dòng)補(bǔ)償后獲得的重建圖像通常具有各種效應(yīng)（arti化ct)，諸如成塊和振蕩 (ringing)等。為了消除該些效應(yīng)，應(yīng)用諸如環(huán)路濾波的各種后處理操作。在例如用于 H. 264/SVC視頻編碼的單環(huán)路解碼中，僅參考來(lái)自基礎(chǔ)層的帖內(nèi)編碼樣本和還參考解碼語(yǔ) 法元素來(lái)編碼增強(qiáng)層圖像。也就是說(shuō)，在基礎(chǔ)層中不解碼時(shí)域預(yù)測(cè)塊，W及僅需要單運(yùn)動(dòng)補(bǔ) 償環(huán)路來(lái)解碼增強(qiáng)層圖像。
[0006] 然而，單環(huán)路解碼具有缺點(diǎn)，主要是由于有關(guān)于帖間圖像的語(yǔ)法元素仍然需要被 解碼的事實(shí)。也就是說(shuō)，仍然需要將整個(gè)帖間基礎(chǔ)層圖像傳送給可伸縮解碼器，即使對(duì)于增 強(qiáng)層解碼過(guò)程而言需要該圖像內(nèi)的僅小部分?jǐn)?shù)據(jù)。此外，因?yàn)樾枰A(chǔ)層的語(yǔ)法元素，所W 單環(huán)路解碼很難應(yīng)用于標(biāo)準(zhǔn)可伸縮用例，其中，例如，使用可伸縮肥VC編碼來(lái)編碼增強(qiáng)層， 而使用H. 264/AVC編碼來(lái)編碼基礎(chǔ)層。

【發(fā)明內(nèi)容】

[0007] 本發(fā)明從提供新的序列級(jí)別指示的考慮出發(fā)，該新的序列級(jí)別指示能夠指示編碼 配置，其中僅來(lái)自基礎(chǔ)層的帖內(nèi)編碼圖像的樣本和語(yǔ)法用于編碼增強(qiáng)層圖像。
[000引根據(jù)第一實(shí)施例的方法設(shè)及一種方法，所述方法包括：
[0009] 獲得與使用僅來(lái)自可伸縮視頻序列的基礎(chǔ)層中的某些類型的圖像的層間預(yù)測(cè)有 關(guān)的倍息；
[0010] 編碼與針對(duì)層間預(yù)測(cè)的使用的圖像類型和/或NAL單元類型有關(guān)的一個(gè)或多個(gè)指 示；化及
[0011] 根據(jù)針對(duì)層間預(yù)測(cè)的所述一個(gè)或多個(gè)指示，將圖像編碼到所述可伸縮視頻序列的 比特流中。
[0012] 根據(jù)一個(gè)實(shí)施例，所述方法還包括；編碼特定用于某些層的一個(gè)或多個(gè)另外的指 示，所述一個(gè)或多個(gè)另外的指示精煉與針對(duì)層間預(yù)測(cè)的使用的圖像類型和/或NAL單元類 型有關(guān)的所述一個(gè)或多個(gè)指示。
[0013] 根據(jù)一個(gè)實(shí)施例，與使用層間預(yù)測(cè)有關(guān)的信息限制針對(duì)在可伸縮視頻序列的基礎(chǔ) 層中的帖內(nèi)編碼圖像使用層間預(yù)測(cè)。
[0014] 根據(jù)一個(gè)實(shí)施例，與使用層間預(yù)測(cè)有關(guān)的信息限制針對(duì)在可伸縮視頻序列的基礎(chǔ) 層中的隨機(jī)訪問(wèn)點(diǎn)（RAP)圖像使用層間預(yù)測(cè)。
[0015] 根據(jù)一個(gè)實(shí)施例，所述方法還包括基于可W使用的計(jì)算資源、針對(duì)參考帖存儲(chǔ)可 W使用的存儲(chǔ)器、可W使用的存儲(chǔ)器訪問(wèn)帶寬和/或所實(shí)現(xiàn)的層間編碼工具，來(lái)確定與使 用層間預(yù)測(cè)有關(guān)的信息。
[0016] 根據(jù)一個(gè)實(shí)施例，所述方法還包括；將所述一個(gè)或多個(gè)指示編碼在一個(gè)或多個(gè)語(yǔ) 法元素中。
[0017] 根據(jù)一個(gè)實(shí)施例，其中所述一個(gè)或多個(gè)語(yǔ)法元素被包含在視頻參數(shù)集結(jié)構(gòu)、序列 參數(shù)集結(jié)構(gòu)和/或補(bǔ)充增強(qiáng)信息（SEI)消息中。
[0018] 根據(jù)第二實(shí)施例的裝置包括：
[0019] 視頻編碼器，其被配置為用于編碼包括基礎(chǔ)層和至少一個(gè)增強(qiáng)層的可伸縮比特 流，其中所述視頻編碼器還被配置為用于
[0020] 獲得與使用僅來(lái)自可伸縮視頻序列的基礎(chǔ)層中的某些類型的圖像的層間預(yù)測(cè)有 關(guān)的倍息；
[0021] 編碼與針對(duì)層間預(yù)測(cè)的使用的圖像類型和/或NAL單元類型有關(guān)的一個(gè)或多個(gè)指 示；化及
[0022] 根據(jù)針對(duì)層間預(yù)測(cè)的所述一個(gè)或多個(gè)指示，將圖像編碼到所述可伸縮視頻序列的 比特流中。
[0023] 根據(jù)第=實(shí)施例，提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)在 其上存儲(chǔ)有供裝置使用的代碼，當(dāng)由處理器執(zhí)行所述代碼時(shí)，所述代碼使得所述裝置執(zhí) 行：
[0024] 獲得與使用僅來(lái)自可伸縮視頻序列的基礎(chǔ)層中的某些類型的圖像的層間預(yù)測(cè)有 關(guān)的倍息；
[0025] 編碼與針對(duì)層間預(yù)測(cè)的使用的圖像類型和/或NAL單元類型有關(guān)的一個(gè)或多個(gè)指 示；化及
[0026] 根據(jù)針對(duì)層間預(yù)測(cè)的所述一個(gè)或多個(gè)指示，將圖像編碼到所述可伸縮視頻序列的 比特流中。
[0027] 根據(jù)第四實(shí)施例，提供了至少一個(gè)處理器和至少一個(gè)存儲(chǔ)器，所述至少一個(gè)存儲(chǔ) 器在其上存儲(chǔ)有代碼，當(dāng)由所述至少一個(gè)處理器執(zhí)行所述代碼時(shí)，所述代碼使得裝置執(zhí) 行：
[002引獲得與使用僅來(lái)自可伸縮視頻序列的基礎(chǔ)層中的某些類型的圖像的層間預(yù)測(cè)有 關(guān)的倍息；
[0029] 編碼與針對(duì)層間預(yù)測(cè)的使用的圖像類型和/或NAL單元類型有關(guān)的一個(gè)或多個(gè)指 示；化及
[0030] 根據(jù)針對(duì)層間預(yù)測(cè)的所述一個(gè)或多個(gè)指示，將圖像編碼到所述可伸縮視頻序列的 比特流中。
[0031] 根據(jù)第五實(shí)施例的方法包括一種用于解碼包括基礎(chǔ)層和至少一個(gè)增強(qiáng)層的可伸 縮比特流的方法，所述方法包括：
[0032] 接收所述比特流的至少一部分和與所述比特流相關(guān)聯(lián)的一個(gè)或多個(gè)指示，所述指 示與針對(duì)層間預(yù)測(cè)的使用的圖像類型和/或NAL單元類型有關(guān)；
[0033] 確定用于解碼的一個(gè)或多個(gè)目標(biāo)輸出層；
[0034] 從與所述比特流相關(guān)聯(lián)的所述一個(gè)或多個(gè)指示來(lái)解碼與針對(duì)層間預(yù)測(cè)的使用的 圖像類型和/或NAL單元類型有關(guān)的信息；
[0035] 確定將不被解碼的圖像類型和/或NAL單元類型和層標(biāo)識(shí)符值的組合和/或?qū)⒈?解碼的圖像類型和/或NAL單元類型和層標(biāo)識(shí)符值的組合；W及
[0036] 解碼由將被解碼的圖像類型和/或NAL單元類型和層標(biāo)識(shí)符值的組合所指示的所 述比特流的NAL單元。
[0037] 根據(jù)一個(gè)實(shí)施例，所述方法還包括；解碼特定用于某些層的一個(gè)或多個(gè)另外的指 示，所述一個(gè)或多個(gè)另外的指示精煉與針對(duì)層間預(yù)測(cè)的使用的圖像類型和/或NAL單元類 型有關(guān)的所述一個(gè)或多個(gè)指示。
[003引根據(jù)一個(gè)實(shí)施例，所述方法還包括；忽略由將不被解碼的圖像類型和/或NAL單元 類型和層標(biāo)識(shí)符值的組合所指示的所述比特流的NAL單元。
[0039] 根據(jù)一個(gè)實(shí)施例，所述方法還包括；基于解碼裝置的可W使用的計(jì)算資源、針對(duì)參 考帖存儲(chǔ)可W使用的存儲(chǔ)器、可W使用的存儲(chǔ)器訪問(wèn)帶寬和/或所實(shí)現(xiàn)的層間編碼工具， 來(lái)確定用于解碼的所述一個(gè)或多個(gè)目標(biāo)輸出層。
[0040] 根據(jù)一個(gè)實(shí)施例，所述一個(gè)或多個(gè)目標(biāo)輸出層W超過(guò)一個(gè)層指示符為特征。
[0041] 根據(jù)一個(gè)實(shí)施例，與使用層間預(yù)測(cè)有關(guān)的信息限制針對(duì)在可伸縮視頻序列的基礎(chǔ) 層中的帖內(nèi)編碼圖像使用層間預(yù)測(cè)。
[0042] 根據(jù)一個(gè)實(shí)施例，與使用層間預(yù)測(cè)有關(guān)的信息限制針對(duì)在可伸縮視頻序列的基礎(chǔ) 層中的隨機(jī)訪問(wèn)點(diǎn)（RAP)圖像使用層間預(yù)測(cè)。
[0043] 根據(jù)一個(gè)實(shí)施例，從一個(gè)或多個(gè)語(yǔ)法元素來(lái)解碼所述一個(gè)或多個(gè)指示。
[0044] 根據(jù)一個(gè)實(shí)施例，其中所述一個(gè)或多個(gè)語(yǔ)法元素被包含在視頻參數(shù)集結(jié)構(gòu)、序列 參數(shù)集結(jié)構(gòu)和/或補(bǔ)充增強(qiáng)信息（SEI)消息中。
[0045] 根據(jù)第六實(shí)施例的裝置包括：
[0046] 視頻解碼器，其被配置為用于解碼包括基礎(chǔ)層和至少一個(gè)增強(qiáng)層的可伸縮比特 流，其中所述視頻解碼器被配置為用于
[0047] 接收所述比特流的至少一部分和與所述比特流相關(guān)聯(lián)的一個(gè)或多個(gè)指示，所述指 示與針對(duì)層間預(yù)測(cè)的使用的圖像類型和/或NAL單元類型有關(guān)；
[0048] 確定用于解碼的一個(gè)或多個(gè)目標(biāo)輸出層；
[0049] 從與所述比特流相關(guān)聯(lián)的所述一個(gè)或多個(gè)指示來(lái)解碼與針對(duì)層間預(yù)測(cè)的使用的 圖像類型和/或NAL單元類型有關(guān)的信息；
[0050] 確定將不被解碼的圖像類型和/或NAL單元類型和層標(biāo)識(shí)符值的組合和/或?qū)⒈?解碼的圖像類型和/或NAL單元類型和層標(biāo)識(shí)符值的組合；W及
[0051] 解碼由將被解碼的圖像類型和/或ML單元類型和層標(biāo)識(shí)符值的組合所指示的所 述比特流的NAL單元。
[0052] 根據(jù)第走實(shí)施例，提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)在 其上存儲(chǔ)有供裝置使用的代碼，當(dāng)由處理器執(zhí)行所述代碼時(shí)，所述代碼使得所述裝置執(zhí) 行：
[0053] 接收所述比特流的至少一部分和與所述比特流相關(guān)聯(lián)的一個(gè)或多個(gè)指示，所述指 示與針對(duì)層間預(yù)測(cè)的使用的圖像類型和/或NAL單元類型有關(guān)；
[0化4] 確定用于解碼的一個(gè)或多個(gè)目標(biāo)輸出層；
[0055] 從與所述比特流相關(guān)聯(lián)的所述一個(gè)或多個(gè)指示來(lái)解碼與針對(duì)層間預(yù)測(cè)的使用的 圖像類型和/或NAL單元類型有關(guān)的信息；
[0056] 確定將不被解碼的圖像類型和/或NAL單元類型和層標(biāo)識(shí)符值的組合和/或?qū)⒈?解碼的圖像類型和/或NAL單元類型和層標(biāo)識(shí)符值的組合；W及
[0化7] 解碼由將被解碼的圖像類型和/或NAL單元類型和層標(biāo)識(shí)符值的組合所指示的所 述比特流的NAL單元。
[0化引根據(jù)第八實(shí)施例，提供了至少一個(gè)處理器和至少一個(gè)存儲(chǔ)器，所述至少一個(gè)存儲(chǔ) 器在其上存儲(chǔ)有代碼，當(dāng)由所述至少一個(gè)處理器執(zhí)行所述代碼時(shí)，所述代碼使得裝置執(zhí) 行：
[0059] 接收所述比特流的至少一部分和與所述比特流相關(guān)聯(lián)的一個(gè)或多個(gè)指示，所述指 示與針對(duì)層間預(yù)測(cè)的使用的圖像類型和/或NAL單元類型有關(guān)；
[0060] 確定用于解碼的一個(gè)或多個(gè)目標(biāo)輸出層；
[0061] 從與所述比特流相關(guān)聯(lián)的所述一個(gè)或多個(gè)指示來(lái)解碼與針對(duì)層間預(yù)測(cè)的使用的 圖像類型和/或NAL單元類型有關(guān)的信息；
[0062] 確定將不被解碼的圖像類型和/或NAL單元類型和層標(biāo)識(shí)符值的組合和/或?qū)⒈?解碼的圖像類型和/或NAL單元類型和層標(biāo)識(shí)符值的組合；W及
[0063] 解碼由將被解碼的圖像類型和/或NAL單元類型和層標(biāo)識(shí)符值的組合所指示的所 述比特流的NAL單元。
[0064] 根據(jù)第九實(shí)施例的方法包括一種用于修改包括基礎(chǔ)層和至少一個(gè)增強(qiáng)層的可伸 縮比特流的方法，所述方法包括
[0065] 接收所述比特流的至少一部分和與所述比特流相關(guān)聯(lián)的一個(gè)或多個(gè)指示，所述指 示與針對(duì)層間預(yù)測(cè)的使用的圖像類型和/或NAL單元類型有關(guān)；
[0066] 確定用于解碼的一個(gè)或多個(gè)目標(biāo)輸出層；
[0067] 從與所述比特流相關(guān)聯(lián)的所述一個(gè)或多個(gè)指示來(lái)解碼與針對(duì)層間預(yù)測(cè)的使用的 圖像類型和/或NAL單元類型有關(guān)的信息；
[0068] 確定將不被轉(zhuǎn)發(fā)的圖像類型和/或NAL單元類型和層標(biāo)識(shí)符值的組合和/或?qū)⒈?轉(zhuǎn)發(fā)的圖像類型和/或NAL單元類型和層標(biāo)識(shí)符值的組合；W及