用于解碼器設(shè)置的對視頻進(jìn)行編碼的方法及其裝置以及基于解碼器設(shè)置對視頻進(jìn)行解碼 ...的制作方法
【技術(shù)領(lǐng)域】
[0001] 本公開設(shè)及一種視頻編碼方法和視頻解碼方法，更具體地講，設(shè)及對用于解碼器 配置的信息進(jìn)行編碼和解碼的方法。
【背景技術(shù)】
[0002] 隨著用于再現(xiàn)和存儲高分辨率或高質(zhì)量視頻內(nèi)容的硬件正被開發(fā)和提供，對于用 于有效地對高分辨率或高質(zhì)量視頻內(nèi)容進(jìn)行編碼或解碼的視頻編解碼器的需求正在增加。 根據(jù)傳統(tǒng)的視頻編解碼器，基于具有預(yù)定尺寸的宏塊，根據(jù)受限的編碼方法來對視頻進(jìn)行 編碼。
[0003] 空間域的圖像數(shù)據(jù)經(jīng)過頻率變換被變換為頻域的系數(shù)。根據(jù)視頻編解碼器，將圖 像劃分為具有預(yù)定尺寸的塊，對每個塊執(zhí)行離散余弦變換值CT)，W塊為單位對頻率系數(shù)進(jìn) 行編碼，W用于頻率變換的快速計(jì)算。與空間域的圖像數(shù)據(jù)相比，更容易對頻域的系數(shù)進(jìn)行 壓縮。具體地講，由于根據(jù)經(jīng)由視頻編解碼器的帖間預(yù)測或帖內(nèi)預(yù)測的預(yù)測誤差來表達(dá)空 間域的圖像像素值，因此當(dāng)對預(yù)測誤差執(zhí)行了頻率變換時，可將大量的數(shù)據(jù)變換為0。根據(jù) 視頻編解碼器，可通過使用少量的數(shù)據(jù)代替連續(xù)且重復(fù)地產(chǎn)生的數(shù)據(jù)來減少數(shù)據(jù)量。
[0004] 多層視頻編解碼器對基礎(chǔ)層視頻和至少一個增強(qiáng)層視頻進(jìn)行編碼和解碼?？赏ㄟ^ 去除基礎(chǔ)層視頻和增強(qiáng)層視頻的時間/空間冗余和層冗余來減少基礎(chǔ)層視頻和增強(qiáng)層視 頻的數(shù)據(jù)量。

【發(fā)明內(nèi)容】
陽00引技術(shù)問題
[0006] 本公開提供一種用于發(fā)送對于精確地再現(xiàn)由解碼器重構(gòu)的圖像所需的配置信息 的視頻編碼方法和設(shè)備。本公開提供一種用于接收對于精確地再現(xiàn)由解碼器重構(gòu)的圖像所 需的配置信息的視頻解碼方法和設(shè)備。
[0007] 解決方案
[0008] 根據(jù)本公開的一方面，提供了一種視頻解碼方法，包括：接收包括網(wǎng)絡(luò)抽象層 (NAL)單元的數(shù)據(jù)流；從數(shù)據(jù)流獲得指示是否存在對畫面的采樣的布置類型的約束的約束 信息；基于約束信息確定通過對編碼的畫面進(jìn)行解碼而產(chǎn)生的重構(gòu)的采樣的布置方法。
[0009] 有益效果
[0010] 關(guān)于采樣布置方法的約束信息和分段（segmentation)最大尺寸信息中的至少一 個可被確定為關(guān)于解碼器配置的約束信息。解碼器可基于分段最大尺寸信息通過適當(dāng)?shù)貙?來自數(shù)據(jù)流的編碼的畫面數(shù)據(jù)的子區(qū)域進(jìn)行分類來針對每個子區(qū)域并行地執(zhí)行解碼操作。 此外，解碼器可基于關(guān)于采樣布置方法的約束信息，適當(dāng)?shù)夭贾没诿總€畫面/帖而重構(gòu) 的采樣。
【附圖說明】
[0011] 圖1是根據(jù)一些實(shí)施例的視頻編碼設(shè)備的框圖。
[0012] 圖2是根據(jù)一些實(shí)施例的視頻解碼設(shè)備的框圖。
[0013] 圖3是根據(jù)實(shí)施例的用于描述編碼單元的概念的示圖。
[0014] 圖4是根據(jù)實(shí)施例的基于編碼單元的圖像編碼器的框圖。
[0015] 圖5是根據(jù)實(shí)施例的基于編碼單元的圖像解碼器的框圖。
[0016] 圖6是示出根據(jù)實(shí)施例的根據(jù)深度的較深層編碼單元W及分區(qū)的示圖。
[0017] 圖7是根據(jù)實(shí)施例的用于描述編碼單元和變換單元之間的關(guān)系的示圖。
[0018] 圖8是根據(jù)實(shí)施例的用于描述與編碼深度相應(yīng)的編碼單元的編碼信息的示圖。
[0019] 圖9是根據(jù)實(shí)施例的根據(jù)深度的較深層編碼單元的示圖。
[0020] 圖10至圖12是根據(jù)實(shí)施例的用于描述編碼單元、預(yù)測單元和變換單元之間的關(guān) 系的不圖。
[0021] 圖13是用于描述根據(jù)表1的編碼模式信息的編碼單元、預(yù)測單元和變換單元之間 的關(guān)系的示圖；
[0022] 圖14是根據(jù)各個實(shí)施例的用于解碼器配置的視頻編碼方法的流程圖。
[0023] 圖15是根據(jù)各個實(shí)施例的用于解碼器配置的視頻解碼方法的流程圖。
[0024] 圖16和圖17示出用于解碼器配置的語法的各個實(shí)施例。
[00巧]圖18至圖21是用于描述各個帖封裝類型的圖像的重構(gòu)處理的示圖。
[00%] 圖22示出用于解碼器配置的語法的另一實(shí)施例。
[0027] 圖23是用于描述可變長語法和定長語法的字節(jié)對齊方法的示圖。
[0028] 圖24是根據(jù)實(shí)施例的存儲有程序的盤的物理結(jié)構(gòu)的示圖。
[0029] 圖25是通過使用盤來記錄和讀取程序的盤驅(qū)動器的示圖。
[0030] 圖26是用于提供內(nèi)容分發(fā)服務(wù)的內(nèi)容供應(yīng)系統(tǒng)的整體結(jié)構(gòu)的示圖。
[0031] 圖27和圖28分別是應(yīng)用了根據(jù)實(shí)施例的視頻編碼方法和視頻解碼方法的移動電 話的外部結(jié)構(gòu)和內(nèi)部結(jié)構(gòu)的示圖。
[0032]圖29是根據(jù)實(shí)施例的應(yīng)用了通信系統(tǒng)的數(shù)字廣播系統(tǒng)的示圖。
[0033] 圖30是使用根據(jù)實(shí)施例的視頻編碼設(shè)備和視頻解碼設(shè)備的云計(jì)算系統(tǒng)的網(wǎng)絡(luò)結(jié) 構(gòu)的示圖。
[0034] 最佳模式
[0035] 根據(jù)本公開的一方面，提供了一種視頻解碼方法，包括：接收包括網(wǎng)絡(luò)抽象層 (NAL)單元的數(shù)據(jù)流；從數(shù)據(jù)流獲得指示是否存在關(guān)于畫面的采樣的布置類型的約束的約 束信息；基于約束信息確定通過對編碼畫面進(jìn)行解碼而產(chǎn)生的重構(gòu)的采樣的布置方法。
[0036] 獲得步驟可包括：從NAL單元之中的視頻參數(shù)集原始字節(jié)序列負(fù)荷（RBS巧區(qū)域獲 得由最多48比特組成的約束信息。
[0037] 獲得步驟可包括：獲得無符號整數(shù)類型的具有固定長度的分段最大尺寸信息，其 中，分段最大尺寸信息指示關(guān)于通過對編碼畫面進(jìn)行空間劃分而獲得的每個子區(qū)域的最大 尺寸的限制。
[0038] 視頻解碼方法還可包括：基于由分段最大尺寸信息指示的等于或大于0且小于 4096的由12比特組成的整數(shù)，確定分段的亮度采樣的數(shù)量的最大值；通過將編碼畫面劃分 為子區(qū)域來針對每個子區(qū)域?qū)幋a畫面進(jìn)行解碼。
[0039]約束信息可包括指示重構(gòu)的采樣是否按照逐行掃描類型被布置的逐行掃描信息， 確定步驟可包括基于逐行掃描信息確定重構(gòu)的采樣是否按照逐行掃描順序被布置。
[0040] 約束信息可包括指示畫面采樣是否僅W畫面單位和帖單位之中的帖單位被編碼 的帖約束信息，確定步驟可包括基于帖約束信息確定重構(gòu)的采樣是否包括至少一個帖。
[0041] 約束信息可包括指示重構(gòu)的采樣是否按照隔行掃描類型被布置的隔行掃描信息， 確定步驟可包括基于隔行掃描信息確定重構(gòu)的采樣是否按照隔行掃描順序被布置。
[0042]約束信息可包括指示重構(gòu)的采樣是否按照除帖封裝類型W外的類型被布置的非 帖封裝約束信息，確定步驟可包括基于非帖封裝約束信息確定重構(gòu)的采樣是否按照除帖封 裝類型W外的類型被布置。
[0043]根據(jù)本公開的另一方面，提供了一種視頻編碼方法，包括：對畫面的采樣進(jìn)行編 碼；基于采樣的布置方法確定指示是否存在關(guān)于采樣的布置類型的約束的約束信息；產(chǎn)生 包括包含約束信息的網(wǎng)絡(luò)抽象層（NAL)單元的數(shù)據(jù)流。
[0044] 確定步驟可包括確定由最多48比特組成的約束信息，產(chǎn)生步驟可包括將約束信 息插入到NAL單元之中的視頻參數(shù)集原始字節(jié)序列負(fù)荷（RBSP)區(qū)域。
[0045]編碼步驟可包括通過將畫面劃分為至少一個子區(qū)域來針對每個子區(qū)域?qū)Ξ嬅孢M(jìn) 行編碼。
[0046] 根據(jù)本公開的另一方面，提供了一種視頻解碼設(shè)備，包括：數(shù)據(jù)獲得器，被配置為 接收包括網(wǎng)絡(luò)抽象層（NAL)單元的數(shù)據(jù)流，并從數(shù)據(jù)流獲得指示是否存在關(guān)于畫面的采樣 的布置類型的約束的約束信息；畫面解碼器，被配置為通過對從數(shù)據(jù)流獲得的符號進(jìn)行解 碼來對采樣進(jìn)行重構(gòu)，并基于約束信息確定重構(gòu)的采樣的布置方法。
[0047] 根據(jù)本公開的另一方面，提供了一種視頻編碼設(shè)備，包括：編碼器，被配置為對畫 面的采樣進(jìn)行編碼；數(shù)據(jù)流產(chǎn)生器，被配置為基于采樣的布置方法確定指示是否存在關(guān)于 采樣的布置類型的約束的約束信息，并產(chǎn)生包括包含約束信息的網(wǎng)絡(luò)抽象層（NAL)單元的 數(shù)據(jù)流。
[0048] 根據(jù)本公開的另一方面，提供了一種記錄有用于執(zhí)行視頻解碼方法的程序的計(jì)算 機(jī)可讀記錄介質(zhì)。根據(jù)本公開的另一方面，提供了一種記錄有用于執(zhí)行視頻編碼方法的程 序的計(jì)算機(jī)可讀記錄介質(zhì)。
【具體實(shí)施方式】
[0049] W下，將參照圖1至圖13描述基于具有樹結(jié)構(gòu)的編碼單元的視頻編碼技術(shù)和視頻 解碼技術(shù)。此外，將參照圖14至圖24描述由視頻編碼設(shè)備和視頻解碼設(shè)備基于具有樹結(jié) 構(gòu)的編碼單元確定用于解碼器配置的信息的技術(shù)。此外，將參照圖24至圖30描述可應(yīng)用 參照圖1至圖24提出的視頻編碼方法和視頻解碼方法的各個實(shí)施例。
[0050] W下，"圖像"可表示視頻的靜止圖像或運(yùn)動圖像或視頻本身。
[0051] W下采樣"表示分配到圖像的采樣位置的數(shù)據(jù)，其中，該數(shù)據(jù)是處理目標(biāo)。例如， 空間域的圖像的像素可W是采樣。
[0052] 首先，將參照圖1至圖13描述基于具有樹結(jié)構(gòu)的編碼單元和變換單元的視頻編碼 方法、視頻編碼設(shè)備、視頻解碼方法和視頻解碼設(shè)備。
[0053] 圖I是根據(jù)實(shí)施例的基于根據(jù)樹結(jié)構(gòu)的編碼單元的視頻編碼設(shè)備100的框圖。
[0054] 根據(jù)實(shí)施例的視頻編碼設(shè)備100(設(shè)及基于根據(jù)樹結(jié)構(gòu)的編碼單元的視頻預(yù)測） 包括畫面編碼器120和數(shù)據(jù)流產(chǎn)生器130。W下，為了便于描述，根據(jù)實(shí)施例的視頻編碼設(shè) 備100 (設(shè)及基于根據(jù)樹結(jié)構(gòu)的編碼單元的視頻預(yù)測）被稱為"視頻編碼設(shè)備100"。 陽化5] 畫面編碼器120可基于用于圖像的當(dāng)前畫面的最大編碼單元（即，具有最大尺 寸的編碼單元）對當(dāng)前畫面進(jìn)行劃分。如果當(dāng)前畫面大于最大編碼單元，則可將當(dāng)前畫 面的圖像數(shù)據(jù)劃分為至少一個最大編碼單元。根據(jù)實(shí)施例的最大編碼單元可W是尺寸為 32X32、64X64、128X128、256X256等的數(shù)據(jù)單元，其中，數(shù)據(jù)單元的形狀是寬度和長度為 2的若干次方的正方形。
[0056] 根據(jù)實(shí)施例的編碼單元可由最大尺寸和深度表征。深度表示編碼單元從最大編碼 單元被空間劃分的次數(shù)，并且隨著深度加深，根據(jù)深度的較深層編碼單元可從最大編碼單 元被劃分到最小編碼單元。最大編碼單元的深度為最高深度，最小編碼單元的深度為最低 深度。由于隨著最大編碼單元的深度加深，與每個深度相應(yīng)的編碼單元的尺寸減小，因此與 更高深度相應(yīng)的編碼單元可包括多個與更低深度相應(yīng)的編碼單元。
[0057] 如上所述，當(dāng)前畫面的圖像數(shù)據(jù)根據(jù)編碼單元的最大尺寸被劃分為最大編碼單 元，并且每個最大編碼單元可包括根據(jù)深度被劃分的較深層編碼單元。由于根據(jù)深度對根 據(jù)實(shí)施例的最大編碼單元進(jìn)行劃分，因此可根據(jù)深度對包括在最大編碼單元中的空間域的 圖像數(shù)據(jù)進(jìn)行分層地分類。
[0058] 可預(yù)先確定編碼單元的最大深度和最大尺寸，其中，所述最大深度和最大尺寸限 制對最大編碼單元的高度和寬度進(jìn)行分層劃分的總次數(shù)。
[0059] 畫面編碼器120對通過根據(jù)深度對最大編碼單元的區(qū)域進(jìn)行劃分而獲得的至少 一個劃分區(qū)域進(jìn)行編碼，并且根據(jù)所述至少一個劃分區(qū)域來確定用于輸出最終編碼的圖像 數(shù)據(jù)的深度。換句話說，畫面編碼器120通過根據(jù)當(dāng)前畫面的最大編碼單元按照根據(jù)深度 的較深層編碼單元對圖像數(shù)據(jù)進(jìn)行編碼，并選擇具有最小編碼誤差的深度，來確定編碼深 度。確定的編碼深度和根據(jù)確定的編碼深度的編碼的圖像數(shù)據(jù)被輸出到數(shù)據(jù)流產(chǎn)生器。
[0060] 基于與等于或低于最大深度的至少一個深度相應(yīng)的較深層編碼單元，對最大編碼 單元中的圖像數(shù)據(jù)進(jìn)行編碼，并且基于每個較深層編碼單元比較對圖像數(shù)據(jù)進(jìn)行編碼的結(jié) 果。在對較深層編碼單元的編碼誤差進(jìn)行比較之后，可選擇具有最小編碼誤差的深度?？?針對每個最大編碼單元選擇至少一個編碼深度。
[0061] 隨著編碼單元根據(jù)深度而被分層地劃分并且隨著編碼單元的數(shù)量增加，最大編碼 單元的尺寸被劃分。此外，即使在一個最大編碼單元中編碼單元與同一深度相應(yīng)，也通過分 別測量每個編碼單元的圖像數(shù)據(jù)的編碼誤差來確定是否將與同一深度相應(yīng)的每個編碼單 元劃分為更低深度。因此，即使當(dāng)圖像數(shù)據(jù)被包括在一個最大編碼單元中時，在所述一個 最大編碼單元中編碼誤差可根據(jù)區(qū)域而不同，因此在圖像數(shù)據(jù)中編碼深度可根據(jù)區(qū)域而不 同。因此，可在一個最大編碼單元中確定一個或更多個編碼深度，并且可根據(jù)至少一個編碼 深度的編碼單元來對最大編碼單元的圖像數(shù)據(jù)進(jìn)行劃分。
[0062] 因此，根據(jù)實(shí)施例的畫面編碼器120可確定包括在最大編碼單元中的具有樹結(jié)構(gòu) 的編碼單元。根據(jù)實(shí)施例的"具有樹結(jié)構(gòu)的編碼單元"包括最大編碼單元中所包括的所有 較深層編碼單元之中的與被確定為編碼深度的深度相應(yīng)的編碼單元?？稍谧畲缶幋a單元的 相同區(qū)域中根據(jù)深度來分層地確定編碼深度的編碼單元，并可在不同區(qū)域中獨(dú)立地確定編 碼深度的編碼單元。類似地，可與另一區(qū)域中的編碼深度相獨(dú)立地確定當(dāng)前區(qū)域中的編碼 深度。
[0063] 根據(jù)實(shí)施例的最大深度是與從最大編碼單元到最小編碼單元的劃分次數(shù)有關(guān)的 索引。根據(jù)實(shí)施例的第一最大深度可表示從最大編碼單元到最小編碼單元的總劃分次數(shù)。 根據(jù)實(shí)施例的第二最大深度可表示從最大編碼單元到最小編碼單元的深度等級的總數(shù)。例 如，當(dāng)最大編碼單元的深度是0時，對最大編碼單元劃分一次的編碼單元的深度可被設(shè)置 為1，對最大編碼單元劃分兩次的編碼單元的深度可被設(shè)置為2。運(yùn)里，如果最小編碼單元 是對最大編碼單元劃分四次的編碼單元，則存在深度0、1、2、3和4的5個深度等級，并因此 第一最大深度可被設(shè)置為4,第二最大深度可被設(shè)置為5。
[0064] 可根據(jù)最大編碼單元執(zhí)行預(yù)測編碼和變換。還根據(jù)最大編碼單元，基于根據(jù)等于 或小于最大深度的深度的較深層編碼單元來執(zhí)行預(yù)測編碼和變換。 陽0化]由于每當(dāng)根據(jù)深度對最大編碼單元進(jìn)行劃分時，較深層編碼單元的數(shù)量增加，因 此對隨著深度加深而產(chǎn)生的所有較深層編碼單元執(zhí)行包括預(yù)測編碼和變換的編碼。為了便 于描述，在最大編碼單元中，現(xiàn)在將基于當(dāng)前深度的編碼單元來描述預(yù)測編碼和變換。
[0066] 根據(jù)實(shí)施例的視頻編碼設(shè)備100可不同地選擇用于對圖像數(shù)據(jù)進(jìn)行編碼的數(shù)據(jù) 單元的尺寸或形狀。為了對圖像數(shù)據(jù)進(jìn)行編碼，執(zhí)行諸如預(yù)測編碼、變換和賭編碼的操作， 此時，可針對所有操作使用相同的數(shù)據(jù)單元，或者可針對每個操作使用不同的數(shù)據(jù)單元。
[0067] 例如，視頻編碼設(shè)備100不僅可選擇用于對圖像數(shù)據(jù)進(jìn)行編碼的編碼單元，還可 選擇不同于編碼單元的數(shù)據(jù)單元，W便對編碼單元中的圖像數(shù)據(jù)執(zhí)行預(yù)測編碼。
[0068] 為了在最大編碼單元中執(zhí)行預(yù)測編碼，可基于與編碼深度相應(yīng)的編碼單元（即， 基于不再被劃分到與更低深度相應(yīng)的編碼單元的編碼單元）來執(zhí)行預(yù)測編碼。在下文中， 不再被劃分且成為用于預(yù)測編碼的基本單元的編碼單元現(xiàn)在將被稱為"預(yù)測單元"。通過劃 分預(yù)測單元而獲得的分區(qū)可包括通過對從預(yù)測單元的高度和寬度中選擇的至少一個進(jìn)行 劃分而獲得的預(yù)測單元或數(shù)據(jù)單元。分區(qū)是編碼單元的預(yù)測單元被劃分的數(shù)據(jù)單元，預(yù)測 單元可W是與編碼單元具有相同的尺寸的分區(qū)。
[0069] 例如，當(dāng)2NX2N(其中，N是正整數(shù)）的編碼單元不再被劃分，并且成為2NX2N的 預(yù)測單元時，分區(qū)的尺寸可W是2NX2NJNXN、NX2N或NXN。分區(qū)類型的示例包括通過 對預(yù)測單元的高度或?qū)挾冗M(jìn)行對稱地劃分而獲得的對稱分區(qū)、通過對預(yù)測單元的高度或?qū)?度進(jìn)行非對稱地劃分（諸如，1 :n或n:l)而獲得的分區(qū)、通過對預(yù)測單元進(jìn)行幾何地劃分 而獲得的分區(qū)、W及具有任意形狀的分區(qū)。
[0070] 預(yù)測單元的預(yù)測模式可W是從帖內(nèi)模式、帖間模式和跳過模式中選擇的至少一 個。例如，可對2NX2N、2NXN、NX2N或NXN的分區(qū)執(zhí)行帖內(nèi)模式或帖間模式。另外，可僅 對2NX2N的分區(qū)執(zhí)行跳過模式?？蓪幋a單元中的一個預(yù)測單元獨(dú)立地執(zhí)行編碼，從而選 擇具有最小編碼誤差的預(yù)測模式。
[0071] 根據(jù)實(shí)施例的視頻編碼設(shè)備100不僅可基于用于對圖像數(shù)據(jù)進(jìn)行編碼的編碼單 元，還可基于與編碼單元不同的數(shù)據(jù)單元，來對編碼單元中的圖像數(shù)據(jù)執(zhí)行變換。為了在編 碼單元中執(zhí)行變換，可基于具有小于或等于編碼單元的尺寸的數(shù)據(jù)單元來執(zhí)行變換。例如， 用于變換的數(shù)據(jù)單元可包括帖內(nèi)模式的數(shù)據(jù)單元和帖間模式的數(shù)據(jù)單元。
[0072] W與根據(jù)實(shí)施例的基于樹結(jié)構(gòu)劃分編碼單元的方式類似的方式，編碼單元中的變 換單元可被遞歸地劃分為更小尺寸的區(qū)域。因此，還可基于根據(jù)變換深度的具有樹結(jié)構(gòu)的 變換單元，對編碼單元的殘差數(shù)據(jù)進(jìn)行劃分。
[0073] 根據(jù)實(shí)施例，還可在變換單元中設(shè)置變換深度，其中，變換深度表示通過對編碼單 元的高度和寬度進(jìn)行劃分W達(dá)到變換單元的劃分次數(shù)。例如，在2NX2N的當(dāng)前編碼單元 中，當(dāng)變換單元的尺寸是2NX2N時，變換深度可W為0,當(dāng)變換單元的尺寸是NXN時，變換 深度可W為1，當(dāng)變換單元的尺寸是N/2XN/2時，變換深度可W為2。換句話說，可根據(jù)變 換深度設(shè)置具有樹結(jié)構(gòu)的變換單元。
[0074] 根據(jù)與編碼深度相應(yīng)的編碼單元的編碼信息不僅需要關(guān)于編碼深度的信息，還需 要關(guān)于與預(yù)測編碼和變換相關(guān)的信息的信息。因此，畫面編碼器120不僅確定具有最小編 碼誤差的編碼深度，還確定預(yù)測單元中的分區(qū)類型、根據(jù)預(yù)測單元的預(yù)測模式和用于變換 的變換單元的尺寸。
[00巧]稍后