在多層譯碼中用于對層間參考圖片集(rps)進(jìn)行譯碼及對位流末端(eob)網(wǎng)絡(luò)接入層(nal ...的制作方法
【專利摘要】本發(fā)明揭示在多層譯碼中用于對層間參考圖片集RPS進(jìn)行譯碼及對位流末端EoB網(wǎng)絡(luò)接入NAL單元進(jìn)行譯碼的方法。在一個方面中，所述方法包含確定候選層間參考圖片是否存在于所述視頻信息中。所述視頻信息包括包含多個子集的層間RPS。所述方法進(jìn)一步包含：響應(yīng)于確定所述候選層間參考圖片不存在，確定所述候選層間參考圖片屬于的層間RPS子集；以及指示無參考圖片存在于所述候選層間參考圖片屬于的所述層間RPS子集中。
【專利說明】
在多層譚碼中用于對層間參考圖片集(RPS)進(jìn)行譚碼及對位 流末端(EOB)網(wǎng)絡(luò)接入層(NAL)單元進(jìn)行譚碼的方法
技術(shù)領(lǐng)域
[0001 ]本發(fā)明設(shè)及視頻譯碼及壓縮的領(lǐng)域，確切地說，設(shè)及可縮放視頻譯碼、多視圖視頻 譯碼和/或=維(3D)視頻譯碼。
【背景技術(shù)】
[0002] 數(shù)字視頻能力可并入到多種多樣的裝置中，包括數(shù)字電視、數(shù)字直播系統(tǒng)、無線廣 播系統(tǒng)、個人數(shù)字助理(PDA)、膝上型或桌上型計算機、數(shù)碼相機、數(shù)字記錄裝置、數(shù)字媒體 播放器、視頻游戲裝置、視頻游戲控制臺、蜂窩式或衛(wèi)星無線電電話、視頻電話會議裝置和 類似者。數(shù)字視頻裝置實施視頻壓縮技術(shù)，例如在由運動圖像專家組-2 (MPEG-2)、MPEG-4、 國際電信聯(lián)盟電信標(biāo)準(zhǔn)化部口（ITU-T化.263、ITU-T H. 264/M陽G-4、第10部分定義的標(biāo)準(zhǔn)、 高級視頻譯碼(AVC)、高效視頻譯碼化EVC)標(biāo)準(zhǔn)和此些標(biāo)準(zhǔn)的擴展中描述的視頻壓縮技術(shù)。 視頻裝置可通過實施此些視頻譯碼技術(shù)而更有效地發(fā)射、接收、編碼、解碼和/或存儲數(shù)字 視頻信息。
[0003] 經(jīng)編碼視頻序列可包含參考圖片集(RPS)，其與圖片相關(guān)聯(lián)且含有參考圖片列表， 所述參考圖片列表識別可W用于所述相關(guān)聯(lián)圖片或任何隨后圖片的帖間預(yù)測的圖片。RPS 還可包含用于層間預(yù)測的圖片。經(jīng)編碼視頻序列還可包含位流末端化oB)網(wǎng)絡(luò)接入層(NAL) 單元，其任選地包含在存取單元的末端處。在多層譯碼方案中，NAL單元包含層識別符，其識 別所述NAL單元屬于的層。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明的系統(tǒng)、方法及裝置各自具有若干創(chuàng)新方面，其中沒有單個方面單獨負(fù)責(zé) 本文所掲示的合乎需要的屬性。
[0005] 在一個方面中，一種用于對多層位流的視頻信息進(jìn)行譯碼的方法包括:確定候選 層間參考圖片是否存在于所述視頻信息中，其中所述視頻信息包括包含多個子集的層間參 考圖片集(RPS);響應(yīng)于確定所述候選層間參考圖片不存在，確定所述候選層間參考圖片屬 于的層間WS子集;指示無參考圖片存在于所述候選層間參考圖片屬于的所述層間WS子集 中；W及至少部分地基于無參考圖片存在于所述層間RPS子集中的所述指示而對所述視頻 信息進(jìn)行譯碼。
[0006] 在另一方面，一種用于對多層位流的視頻信息進(jìn)行解碼的裝置包括:存儲器，其經(jīng) 配置W存儲所述視頻信息；W及處理器，其與所述存儲器通信且經(jīng)配置W :確定候選層間參 考圖片是否存在于所述視頻信息中，其中所述視頻信息包括包含多個子集的RPS;響應(yīng)于確 定所述候選層間參考圖片不存在，確定所述候選層間參考圖片屬于的層間WS子集;指示無 參考圖片存在于所述候選層間參考圖片屬于的所述層間RPS子集中；W及至少部分地基于 無參考圖片存在于所述層間WS子集中的所述指示而對所述視頻信息進(jìn)行解碼。
[0007] 在又一方面中，一種用于對多層位流的視頻信息進(jìn)行編碼的方法包含:確定包含 在所述視頻信息中的存取單元是否包含位流末端化oB)網(wǎng)絡(luò)抽象層ML單元;根據(jù)約束將用 于所述EoB NAL單元的層識別值設(shè)定為零；W及至少部分地基于用于所述層識別值的零的 值而對所述視頻信息進(jìn)行編碼。
[0008] 在再一方面中，一種用于對多層位流的視頻信息進(jìn)行編碼的裝置包括:存儲器，其 經(jīng)配置W存儲所述視頻信息；W及處理器，其與所述存儲器通信且經(jīng)配置W :確定包含在所 述視頻信息中的存取單元是否包含EoB NAL單元;根據(jù)約束將用于所述EoB NAL單元的層識 別值設(shè)定為零；W及至少部分地基于用于所述層識別值的零的值而對所述視頻信息進(jìn)行編 碼。
【附圖說明】
[0009] 圖IA是說明可利用根據(jù)本發(fā)明中描述的方面的技術(shù)的實例視頻編碼及解碼系統(tǒng) 的框圖。
[0010] 圖IB是說明可執(zhí)行根據(jù)本發(fā)明中描述的方面的技術(shù)的另一實例視頻編碼和解碼 系統(tǒng)的框圖。
[0011] 圖2A是說明可實施根據(jù)本發(fā)明中描述的方面的技術(shù)的視頻編碼器的實例的框圖。
[0012] 圖2B是說明可實施根據(jù)本發(fā)明中描述的方面的技術(shù)的視頻編碼器的實例的框圖。
[0013] 圖3A是說明可實施本發(fā)明中描述的方面的技術(shù)的視頻解碼器的實例的框圖。
[0014] 圖3B是說明可實施根據(jù)本發(fā)明中描述的方面的技術(shù)的視頻解碼器的實例的框圖。
[0015] 圖4是說明根據(jù)本發(fā)明中描述的方面的多層位流的存取單元的框圖。
[0016] 圖5是說明編碼器或解碼器如何產(chǎn)生WS的實例的框圖。
[0017] 圖6至化是說明根據(jù)本發(fā)明中描述的方面的用于對視頻信息進(jìn)行編碼或解碼的方 法的流程圖。
【具體實施方式】
[0018] 本文所描述的某些實施例設(shè)及在例如高效率視頻譯碼化EVC)等高級視頻編解碼 器的上下文中用于多層視頻譯碼的位流末端化oB)網(wǎng)絡(luò)接入層(NAL)單元和RPS。更具體來 說，本發(fā)明設(shè)及用于改善在肥VC的多視圖和可縮放擴展（即MV-肥VC和甜VC)中EoB NAL單元 和WS的編碼或解碼中的性能的系統(tǒng)和方法。
[0019] 在W下描述中，描述設(shè)及某些實施例的H.264/高級視頻譯碼(AVC)技術(shù);也論述了 肥VC標(biāo)準(zhǔn)和相關(guān)技術(shù)。確切地說，一些視頻譯碼方案包含存取單元，其可包含指示對應(yīng)存取 單元的位流末端的EoB NAL單元。NAL單元可具有識別所述NAL單元包含于的層的層識別符。 當(dāng)EoB NAL單元的層識別符不受限制時，EoB NAL單元可能從位流丟失（或經(jīng)不正確地處 理）。由于位流的正確解碼可能依賴于EoB NAL單元的存在，因此運可能導(dǎo)致不正確的位流 解碼。一些視頻譯碼方案還可維持與經(jīng)譯碼視頻序列（CVS)的圖片相關(guān)聯(lián)的參考圖片集 (RPS)。用于給定圖片的WS含有包含按解碼次序在相關(guān)聯(lián)圖片之前的可W用于相關(guān)聯(lián)圖片 的帖間預(yù)測的全部參考圖片或按解碼次序在相關(guān)聯(lián)圖片之后的任何圖片的參考圖片集合。 常規(guī)譯碼方案并不確定當(dāng)圖片從位流丟失(或經(jīng)不正確地處理)時應(yīng)將"無參考圖片"的條 目插入到哪一 WS層間子集中。因此，WS層間子集可能不具有正確內(nèi)容。
[0020] 本發(fā)明設(shè)及用于多層譯碼方案的語義，其可防止EoB NAL單元由于不受限制層識 別符而從位流丟失(或經(jīng)不正確地處理）。具體來說，用于EoB NAL單元的層識別符可受限制 W防止EoB NAL單元丟失，進(jìn)而當(dāng)依賴于EoB NAL單元的存在時實現(xiàn)位流的正確解碼。本發(fā) 明還設(shè)及可將"無參考圖片"條目輸入到正確RPS層間子集中的用于多層譯碼方案的語義。 因此，可基于當(dāng)前圖片的視圖識別符將"無參考圖片"的條目輸入到正確WS層間子集中。
[0021] 雖然本文中在肥VC和/或H. 264標(biāo)準(zhǔn)和情況下描述某些實施例，但所屬領(lǐng)域的一般 技術(shù)人員可了解，本文中掲示的系統(tǒng)和方法可適用于任何合適的視頻譯碼標(biāo)準(zhǔn)。舉例來說， 本文中所公開的實施例可適用于W下標(biāo)準(zhǔn)中的一或多者：國際電信聯(lián)盟(ITU)電信標(biāo)準(zhǔn)化 部口（ITU-T化.261、國際標(biāo)準(zhǔn)化組織/國際電工委員會（IS0/1EC)MPEG-1視覺、ITU-T H. 262 或IS0/IEC MPEG-2視覺、ITU-T H.263JS0/IEC MPEG-4視覺和mJ-T H.264(也稱為ISO/ IEC MPEG-4AVC)，包含其可縮放和多視圖擴展。
[0022] 在許多方面，皿VC通常遵循先前視頻譯碼標(biāo)準(zhǔn)的框架。皿VC中的預(yù)測單元不同于 某些先前視頻譯碼標(biāo)準(zhǔn)中的預(yù)測單元(例如，宏塊）。事實上，在肥VC中不存在如在某些先前 視頻譯碼標(biāo)準(zhǔn)中所理解的宏塊的概念。宏塊由基于四叉樹方案的分層結(jié)構(gòu)替換，分層結(jié)構(gòu) 可提供高靈活性W及其它可能益處。舉例來說，在肥VC方案內(nèi)，定義S個類型的塊，例如譯 碼單元(CU)、預(yù)測單元(PU)和變換單元(TU)XU可指區(qū)分裂的基本單元?？烧J(rèn)為CU類似于宏 塊的概念，但皿VC不約束CU的最大大小，且可允許遞歸分裂成四個相等大小的CU W改善內(nèi) 容適應(yīng)性。PU可認(rèn)為是帖間/帖內(nèi)預(yù)測的基本單元，且單個PU可含有多個任意形狀分區(qū)W有 效地譯碼不規(guī)則圖像模式。TU可認(rèn)為是變換的基本單元?？瑟毩⒂赑U界定TU;然而，TU的大 小可限于TU屬于的CU的大小。此塊結(jié)構(gòu)分離為S個不同概念可允許根據(jù)單元的相應(yīng)作用來 優(yōu)化每一單元，運可得到改善的譯碼效率。
[0023] 僅出于說明的目的，用僅包含視頻數(shù)據(jù)的兩個層(例如，比如基礎(chǔ)層等較低層，和 比如增強層等較高層）的實例來描述本文中掲示的某些實施例。視頻數(shù)據(jù)的"層"一般可指 具有至少一個共同特性(例如，視圖、帖率、分辨率等等)的圖片序列。舉例而言，層可包含與 多視圖視頻數(shù)據(jù)的特定視圖（例如，透視圖）相關(guān)聯(lián)的視頻數(shù)據(jù)。作為另一實例，層可包含與 可縮放視頻數(shù)據(jù)的特定層相關(guān)聯(lián)的視頻數(shù)據(jù)。因此，本發(fā)明可互換地參考視頻數(shù)據(jù)的層和 視圖。也就是說，視頻數(shù)據(jù)的視圖可被稱作視頻數(shù)據(jù)的層，且視頻數(shù)據(jù)的層可被稱作視頻數(shù) 據(jù)的視圖。此外，多層編解碼器(還被稱作多層視頻譯碼器或多層編碼器-解碼器)可共同指 多視圖編解碼器或可縮放編解碼器(例如，經(jīng)配置W使用MV-HEVC、3D-肥VC、SHVC或另一多 層譯碼技術(shù)編碼和/或解碼視頻數(shù)據(jù)的編解碼器）。視頻編碼和視頻解碼可通常被稱作視頻 譯碼。應(yīng)理解，運些實例可適用于包含多個基礎(chǔ)層及/或增強層的配置。此外，為了易于解 釋，參照某些實施例，W下掲示內(nèi)容包含術(shù)語"帖"或"塊"。然而，運些術(shù)語不打算具有限制 性。舉例來說，下文描述的技術(shù)可供任何合適的視頻單元(例如，塊(例如，〇]、？1]、1'1]、宏塊 等）、切片、帖等)使用。
[0024] 視頻譯碼標(biāo)準(zhǔn)
[0025] 例如視頻圖像、TV圖像、靜態(tài)圖像或由錄像機或計算機產(chǎn)生的圖像等數(shù)字圖像可 由布置成水平和垂直線的像素或樣本構(gòu)成。單個圖像中的像素的數(shù)目通常有數(shù)萬個。每一 像素通常含有明度及色度信息。在無壓縮的情況下，將從圖像編碼器傳送到圖像解碼器的 信息的絕對量將使實時圖像發(fā)射不可能。為了減少待發(fā)射的信息的量，已開發(fā)出例如肝EG、 MPEG及H. 263標(biāo)準(zhǔn)等數(shù)個不同壓縮方法。
[00%]視頻譯碼標(biāo)準(zhǔn)包含ITU-T H. 261、ISO/IEC MPEG-I視覺、ITU-T H. 262或ISO/IEC MPEG-2視覺、ITU-T H.263、IS0/IEC MPEG-4視覺和ITU-T H.264(也被稱作IS0/IEC MPEG-4AVC)，包含其可縮放和多視圖擴展。
[0027] 另外，ITU-T視頻編碼專家組(VCEG)和ISO/IEC MPEG的視頻譯碼聯(lián)合協(xié)作小組 (JCT-VC)已經(jīng)開發(fā)視頻譯碼標(biāo)準(zhǔn)（即皿VC)。對皿VC草案10的完全引用為布羅斯(Bross)等 人的文件JCTVC-L1003，"高效率視頻譯碼化EVC)文本規(guī)范草案ICKHigh Efficiency Video Coding(肥VC)Text Specification Draft l〇r，mJ-T SG16WP3與ISO/IEC JTC1/SC29/ WGll的關(guān)于視頻譯碼的聯(lián)合合作小組(JCT-VC)，第12次會議:瑞±日內(nèi)瓦，2013年I月14日 到2013年1月23日。對肥VC的多視圖擴展（即，MV-皿VC)及對皿VC的可縮放擴展（名為SHVC) 也正分別由JCT-3V(3D視頻譯碼擴展開發(fā)口 U-T/IS0/IEC聯(lián)合合作小組)及JCT-VC開發(fā)。
[002引視頻譯碼系統(tǒng)
[0029] 下文參考附圖更充分地描述新穎系統(tǒng)、設(shè)備及方法的各個方面。然而，本發(fā)明可W 許多不同形式來體現(xiàn)，且不應(yīng)將其解釋為限于貫穿本發(fā)明所呈現(xiàn)的任何特定結(jié)構(gòu)或功能。 相反，提供運些方面W使得本發(fā)明將為透徹且完整的，并且將向所屬領(lǐng)域的技術(shù)人員充分 傳達(dá)本發(fā)明的范圍?；诒疚闹械慕淌荆鶎兕I(lǐng)域的技術(shù)人員應(yīng)了解，本發(fā)明的范圍既定涵 蓋無論是獨立于本發(fā)明的任何其它方面而實施還是與之組合而實施的本文中所掲示的新 穎系統(tǒng)、設(shè)備及方法的任何方面。舉例來說，可W使用本文中所闡述的任何數(shù)目個方面來實 施設(shè)備或?qū)嵺`方法。另外，本發(fā)明的范圍既定涵蓋使用除本文中所闡述的本發(fā)明的各種方 面之外的或不同于本文中所闡述的本發(fā)明的各種方面的其它結(jié)構(gòu)、功能性或結(jié)構(gòu)與功能性 來實踐的此設(shè)備或方法。應(yīng)理解，可通過權(quán)利要求的一或多個要素來體現(xiàn)本文中所掲示的 任何方面。
[0030] 盡管本文描述了特定方面，但運些方面的許多變化及排列落在本發(fā)明的范圍內(nèi)。 盡管提及了優(yōu)選方面的一些益處及優(yōu)點，但本發(fā)明的范圍不希望限于特定益處、用途或目 標(biāo)。而是，本發(fā)明的方面既定廣泛地適用于不同無線技術(shù)、系統(tǒng)配置、網(wǎng)絡(luò)及發(fā)射協(xié)議，其中 的一些是借助于實例而在圖中W及在優(yōu)選方面的W下描述中說明?！揪唧w實施方式】和圖式僅 說明本發(fā)明，而不是限制由所附權(quán)利要求書和其等效物界定的本發(fā)明的范圍。
【附圖說明】 [0031] 若干實例。由附圖中的參考標(biāo)號指示的元件對應(yīng)于在W下描述中由相同 參考標(biāo)號指示的元件。在本發(fā)明中，名稱W序數(shù)詞(例如，"第一"、"第二"、"第立"等)開始的 元件未必暗示所述元件具有特定次序。而是，此些序數(shù)詞僅用于指代相同或類似類型的不 同元件。
[0032] 圖IA是說明可利用根據(jù)本發(fā)明中所描述的方面的技術(shù)的實例視頻譯碼系統(tǒng)10的 框圖。如本文中所描述地使用，術(shù)語"視頻譯碼器"一般指代視頻編碼器和視頻解碼器兩者。 在本發(fā)明中，術(shù)語"視頻譯碼"或"譯碼"可一般地指代視頻編碼和視頻解碼。除了視頻編碼 器和視頻解碼器外，本申請案中描述的方面可擴展到其它相關(guān)裝置，例如，轉(zhuǎn)碼器(例如，可 解碼位流且重新編碼另一位流的裝置)及中間框(例如，可修改、變換及/或另外操縱位流的 裝置）。
[0033] 如圖IA中所示，視頻譯碼系統(tǒng)10包含源裝置12,其產(chǎn)生在稍后時間由目的地裝置 14解碼的經(jīng)編碼視頻數(shù)據(jù)。在圖IA的實例中，源裝置12和目的地裝置14構(gòu)成單獨裝置。然 而，應(yīng)注意，源裝置12和目的地模塊14可在同一裝置上或為同一裝置的部分，如在圖IB的實 施中所展示。
[0034] 再次參考圖1A，源裝置12和目的地裝置14可分別包括廣泛范圍的裝置中的任一 者，包含桌上型計算機、筆記型(例如，膝上型)計算機、平板計算機、機頂盒、例如所謂的"智 能"電話的電話手持機、所謂的"智能"板、電視、相機、顯示裝置、數(shù)字媒體播放器、視頻游戲 控制臺、視頻流裝置或類似者。在各種實施例中，源裝置12和目的地裝置14可經(jīng)裝備W用于 無線通信。
[0035] 目的地裝置14可經(jīng)由鏈路16接收待解碼的經(jīng)編碼視頻數(shù)據(jù)。鏈路16可包括能夠?qū)?經(jīng)編碼視頻數(shù)據(jù)從源裝置12移動到目的地裝置14的任何類型媒體或裝置。在圖IA的實例 中，鏈路16可包括使得源裝置12能夠?qū)崟r將經(jīng)編碼視頻數(shù)據(jù)發(fā)射到目的地裝置14的通信媒 體?？筛鶕?jù)通信標(biāo)準(zhǔn)(例如，無線通信協(xié)議)調(diào)制經(jīng)編碼的視頻數(shù)據(jù)，并將其發(fā)射到目的地裝 置14。通信媒體可包括任何無線或有線通信媒體，例如射頻(RF)頻譜或一或多個物理傳輸 線。通信媒體可形成分組網(wǎng)絡(luò)(例如，局域網(wǎng)、廣域網(wǎng)或全球網(wǎng)絡(luò)，例如因特網(wǎng)）的部分。通信 媒體可包含路由器、交換器、基站或可用于促進(jìn)從源裝置12到目的地裝置14的通信的任何 其它裝備。
[0036] 或者，經(jīng)編碼數(shù)據(jù)可從輸出接口 22輸出到存儲裝置31(任選地呈現(xiàn)）。類似地，可由 (例如）目的地裝置14的輸入接口28自存儲裝置31存取經(jīng)編碼數(shù)據(jù)。存儲裝置31可包含多種 分布式或本地存取數(shù)據(jù)存儲媒體中的任一者，例如硬盤驅(qū)動器、快閃存儲器、易失性或非易 失性存儲器，或用于存儲經(jīng)編碼視頻數(shù)據(jù)的任何其它合適的數(shù)字存儲媒體。在另一實例中， 存儲裝置31可對應(yīng)于文件服務(wù)器或可保持源裝置12產(chǎn)生的經(jīng)編碼視頻的另一中間存儲裝 置。目的地裝置14可經(jīng)由流式傳輸或下載從存儲裝置31存取所存儲的視頻數(shù)據(jù)。文件服務(wù) 器可為能夠存儲經(jīng)編碼視頻數(shù)據(jù)且將經(jīng)編碼視頻數(shù)據(jù)發(fā)射至目的地裝置14的任何類型的 服務(wù)器。實例文件服務(wù)器包含網(wǎng)絡(luò)服務(wù)器(例如，用于網(wǎng)站）、文件傳輸協(xié)議(FTP)服務(wù)器、網(wǎng) 絡(luò)附接存儲(NAS)裝置，或本地磁盤驅(qū)動器。目的地裝置14可通過任何標(biāo)準(zhǔn)數(shù)據(jù)連接(包含 因特網(wǎng)連接）來存取經(jīng)編碼的視頻數(shù)據(jù)。運可包含無線信道（例如，無線局域網(wǎng)（WLAN)連 接）、有線連接(例如，數(shù)字訂戶線(D化）、電纜調(diào)制解調(diào)器等），或適合于存取存儲在文件服 務(wù)器上的經(jīng)編碼視頻數(shù)據(jù)的兩者的組合。經(jīng)編碼視頻數(shù)據(jù)從存儲裝置31的發(fā)射可為流式傳 輸發(fā)射、下載發(fā)射或兩者的組合。
[0037] 本發(fā)明的技術(shù)不限于無線應(yīng)用或設(shè)置。所述技術(shù)可應(yīng)用于支持多種多媒體應(yīng)用中 的任一者的視頻譯碼，所述多媒體應(yīng)用例如空中電視廣播、有線電視發(fā)射、衛(wèi)星電視發(fā)射、 (例如)經(jīng)由因特網(wǎng)的流式視頻發(fā)射(例如，根據(jù)超文本傳送協(xié)議化TTP)的動態(tài)自適應(yīng)流式 處理等）、用于存儲在數(shù)據(jù)存儲媒體上的數(shù)字視頻的編碼、存儲在數(shù)據(jù)存儲媒體上的數(shù)字視 頻的解碼，或其它應(yīng)用。在一些實例中，視頻譯碼系統(tǒng)10可經(jīng)配置W支持單向或雙向視頻傳 輸W支持例如視頻流式傳輸、視頻回放、視頻廣播及/或視頻電話等應(yīng)用。
[0038] 在圖IA的實例中，源裝置12包含視頻源18、視頻編碼器20和輸出接口 22。在一些情 況下，輸出接口 22可包含調(diào)制器/解調(diào)器(調(diào)制解調(diào)器)及/或發(fā)射器。在源裝置12中，視頻源 18可包含例如W下各項的源:視頻俘獲裝置(例如，攝像機）、含有先前所俘獲的視頻的視頻 存檔、用于從視頻內(nèi)容提供者接收視頻的視頻饋入接口和/或用于產(chǎn)生計算機圖形數(shù)據(jù)W 作為源視頻的計算機圖形系統(tǒng)，或此類源的組合等。作為一個實例，如果視頻源18是攝像 機，那么源裝置12和目的地裝置14可形成所謂的"相機電話"或"視頻電話"，如圖IB的實例 中所說明。然而，本發(fā)明中所描述的技術(shù)一般來說可適用于視頻譯碼，且可應(yīng)用于無線和/ 或有線應(yīng)用。
[0039] 可由視頻編碼器20對所俘獲、預(yù)俘獲或計算機產(chǎn)生的視頻進(jìn)行編碼?？山?jīng)由源裝 置12的輸出接口 22將經(jīng)編碼視頻數(shù)據(jù)傳輸?shù)侥康牡匮b置14。經(jīng)編碼視頻數(shù)據(jù)還可(或替代 地)存儲到存儲裝置31上用于稍后由目的地裝置14或其它裝置存取W用于解碼和/或重放。 圖IA和IB中說明的視頻編碼器20可包括圖2A所說明的視頻編碼器20、圖2B中說明的視頻編 碼器23,或本文所描述的任何其它視頻編碼器。
[0040] 在圖IA的實例中，目的地裝置14包含輸入接口28、視頻解碼器30和顯示裝置32。在 一些狀況下，輸入接口 28可包含接收器和/或調(diào)制解調(diào)器。目的地裝置14的輸入接口 28可經(jīng) 由鏈路16和/或從存儲裝置31接收經(jīng)編碼的視頻數(shù)據(jù)。經(jīng)由鏈路16傳送或在存儲裝置31上 提供的經(jīng)編碼視頻數(shù)據(jù)可包含由視頻編碼器20所產(chǎn)生的多種語法元素 W供由例如視頻解 碼器30的視頻解碼器用于解碼視頻數(shù)據(jù)。此類語法元素可與在通信媒體上發(fā)射、存儲于存 儲媒體上或存儲文件服務(wù)器的經(jīng)編碼視頻數(shù)據(jù)包含在一起。圖IA和IB中說明的視頻解碼器 30可包括圖3A所說明的視頻解碼器30、圖3B中說明的視頻解碼器33,或本文所描述的任何 其它視頻解碼器。
[0041] 顯示裝置32可W與目的地裝置14集成或者在目的地裝置14外部。在一些實例中， 目的地裝置14可包含集成顯示裝置，且還可經(jīng)配置W與外部顯示裝置介接。在其它實例中， 目的地裝置14可能是顯示裝置。一般來說，顯示裝置32將經(jīng)解碼視頻數(shù)據(jù)顯示給用戶，且可 包括多種顯示裝置中的任一者，例如液晶顯示器化CD)、等離子顯示器、有機發(fā)光二極管 (OLED)顯示器或另一類型的顯示裝置。
[0042] 在相關(guān)方面中，圖IB展示實例性視頻編解碼系統(tǒng)1〇/，其中源裝置12和目的地裝置 14在裝置11上或為裝置11的部分。裝置11可為電話手持機，例如"智能"電話或類似者。裝置 11可包含與源裝置12和目的地裝置14可操作通信的控制器/處理器裝置13(任選地呈現(xiàn)）。 圖IB的視頻編解碼系統(tǒng)1〇/可進(jìn)一步包含在視頻編碼器20與輸出接口22之間的視頻處理單 元21。在一些實施方案中，視頻處理單元21為單獨單元，如圖IB中所說明；然而，在其它實施 方案中，視頻處理單元21可被實施為視頻編碼器20和/或處理器/控制器裝置13的一部分。 視頻編解碼系統(tǒng)1〇/還可包含跟蹤器29(任選地呈現(xiàn)），其可跟蹤視頻序列中的感興趣對象。 待跟蹤的對象或興趣可通過結(jié)合本發(fā)明的一或多個方面描述的技術(shù)來分段。在相關(guān)方面 中，跟蹤可由顯示裝置32單獨地或聯(lián)合跟蹤器29而執(zhí)行。圖IB的視頻編解碼系統(tǒng)1〇/和其組 件另外類似于圖IA的視頻編解碼系統(tǒng)10和其組件。
[0043] 視頻編碼器20和視頻解碼器30可根據(jù)例如皿VC的視頻壓縮標(biāo)準(zhǔn)操作，且可符合 皿VC測試模型化M)。或者，視頻編碼器20和視頻解碼器30可W根據(jù)其它專有或業(yè)界標(biāo)準(zhǔn)操 作，所述標(biāo)準(zhǔn)例如ITU-T H. 264標(biāo)準(zhǔn)，或者被稱作MPEG-4第10部分AVC，或此類標(biāo)準(zhǔn)的擴展。 但是，本發(fā)明的技術(shù)不限于任何特定譯碼標(biāo)準(zhǔn)。視頻壓縮標(biāo)準(zhǔn)的其它實例包含MPEG-2和 ITU-T H.263。
[0044] 盡管圖IA和IB的實例中未展示，視頻編碼器20和視頻解碼器30可各自與音頻編碼 器和解碼器集成，且可包含適當(dāng)?shù)亩嗦窂?fù)用器-多路分用器單元或其它硬件和軟件W處置 共同數(shù)據(jù)流或單獨數(shù)據(jù)流中的音頻和視頻兩者的編碼。在一些實例中，如果適用的話，那么 多路復(fù)用器-多路分用器單元可W符合ITU H.223多路復(fù)用器協(xié)議，或例如用戶數(shù)據(jù)報協(xié)議 (UDP)等其它協(xié)議。
[0045]視頻編碼器20和視頻解碼器30各自可實施為多種合適的編碼器電路中的任一者， 例如一或多個微處理器、數(shù)字信號處理器(DSP)、專用集成電路(ASIC)、現(xiàn)場可編程口陣列 (FPGA)、離散邏輯、軟件、硬件、固件或其任何組合。當(dāng)部分W軟件實施所述技術(shù)時，裝置可 將用于所述軟件的指令存儲于合適非暫時性計算機可讀媒體中并使用一或多個處理器用 硬件執(zhí)行所述指令W執(zhí)行本發(fā)明的技術(shù)。視頻編碼器20和視頻解碼器30中的每一者可包含 在一或多個編碼器或解碼器中，所述編碼器或解碼器中的任一者可集成為相應(yīng)裝置中的組 合編碼器/解碼器的部分。
[OOW 視頻譯碼過程
[0047] 如上文簡要提及，視頻編碼器20編碼視頻數(shù)據(jù)。視頻數(shù)據(jù)可W包括一或多個圖片。 圖片中的每一者為形成視頻的部分的靜態(tài)圖像。在一些情況下，圖片可被稱為視頻"帖"。當(dāng) 視頻編碼器20對視頻數(shù)據(jù)進(jìn)行編碼時，視頻編碼器20可產(chǎn)生位流。位流可W包含形成視頻 數(shù)據(jù)的經(jīng)譯碼的表示的一連串位。位流可包含經(jīng)譯碼圖片和相關(guān)聯(lián)數(shù)據(jù)。經(jīng)譯碼的圖片是 圖片的經(jīng)譯碼的表示。
[0048] 為了產(chǎn)生位流，視頻編碼器20可對視頻數(shù)據(jù)中的每一圖片執(zhí)行編碼操作。當(dāng)視頻 編碼器20對所述圖片執(zhí)行編碼操作時，視頻編碼器20可產(chǎn)生一系列經(jīng)譯碼圖片和相關(guān)聯(lián)數(shù) 據(jù)。相關(guān)聯(lián)數(shù)據(jù)可包含視頻參數(shù)集(VPS)、序列參數(shù)集(SPS)、圖片參數(shù)集(PPS)、自適應(yīng)參數(shù) 集(APS)和其它語法結(jié)構(gòu)。SPS可W含有適用于零個或更多的圖片序列的參數(shù)。PPS可含有適 用于零個或更多圖片的參數(shù)。APS可含有適用于零個或更多圖片的參數(shù)。APS中的參數(shù)可為 比PI^中的參數(shù)更可能改變的參數(shù)。
[0049] 為產(chǎn)生經(jīng)譯碼圖片，視頻編碼器20可將圖片分割為大小相等的視頻塊。視頻塊可 為樣本的二維陣列。視頻塊中的每一者與樹塊相關(guān)聯(lián)。在一些情況下，樹塊可被稱作最大譯 碼單元化CU)。肥VC的樹塊可廣泛類似于例如H.264/AVC等先前標(biāo)準(zhǔn)的宏塊。然而，樹塊不必 限于特定大小且可包含一或多個CU。視頻編碼器20可使用四叉樹分割將樹塊的視頻塊分割 成與CU相關(guān)聯(lián)的視頻塊(因此名稱為"樹塊"）。
[0050] 在一些實例中，視頻編碼器20可將圖片分割成多個切片。所述切片中的每一者可 包含整數(shù)數(shù)目個CU。在一些情況下，一個切片包括整數(shù)數(shù)目個樹塊。在其它情況下，切片的 邊界可在樹塊內(nèi)。
[0051] 作為對圖片執(zhí)行編碼操作的一部分，視頻編碼器20可對圖片的每一切片執(zhí)行編碼 操作。當(dāng)視頻編碼器20對切片執(zhí)行編碼操作時，視頻編碼器20可產(chǎn)生與切片相關(guān)聯(lián)的經(jīng)編 碼數(shù)據(jù)。與切片相關(guān)聯(lián)的經(jīng)編碼數(shù)據(jù)可稱為"經(jīng)譯碼切片"。
[0052] 為了產(chǎn)生經(jīng)譯碼切片，視頻編碼器20可對切片中的每一樹塊執(zhí)行編碼操作。當(dāng)視 頻編碼器20對樹塊執(zhí)行編碼操作時，視頻編碼器20可產(chǎn)生經(jīng)譯碼樹塊。經(jīng)譯碼樹塊可包括 表示樹塊的經(jīng)編碼版本的數(shù)據(jù)。
[0053] 當(dāng)視頻編碼器20產(chǎn)生經(jīng)譯碼切片時，視頻編碼器20可根據(jù)光柵掃描次序?qū)η衅?的樹塊執(zhí)行編碼操作(例如，編碼）。舉例來說，視頻編碼器20可按如下次序來編碼切片的樹 塊:跨越切片中的樹塊的最頂行從左到右進(jìn)行，接著跨越樹塊的下一較低行從左到右進(jìn)行， W此類推，直到視頻編碼器20已編碼切片中的樹塊的每一者。
[0054] 作為根據(jù)光柵掃描次序編碼樹塊的結(jié)果，可已編碼在給定樹塊的上方和左邊的樹 塊，但尚未編碼在給定樹塊的下方和右邊的樹塊。因此，當(dāng)對給定樹塊進(jìn)行編碼時，視頻編 碼器20可能能夠存取通過對給定樹塊的上方和左邊的樹塊進(jìn)行編碼而產(chǎn)生的信息。然而， 當(dāng)編碼給定樹塊時，視頻編碼器20可能不能夠存取通過編碼在給定樹塊的下方和右邊的樹 塊而產(chǎn)生的信息。
[0055] 為了產(chǎn)生經(jīng)譯碼樹塊，視頻編碼器20可對樹塊的視頻塊遞歸地執(zhí)行四叉樹分割W 將視頻塊劃分成越來越小的視頻塊。較小視頻塊中的每一者可與不同CU相關(guān)聯(lián)。舉例來說， 視頻編碼器20可將樹塊的視頻塊分割成四個大小相等的子塊、將所述子塊中的一或多者分 割成四個大小相等的子子塊，W此類推。分割的CU可為其視頻塊被分割成與其它CU相關(guān)聯(lián) 的視頻塊的CU。未分割CU可為其視頻塊未被分割成與其它CU相關(guān)聯(lián)的視頻塊的CU。
[0056] 位流中的一或多個語法元素可指示視頻編碼器20可分割樹塊的視頻塊的最大次 數(shù)。CU的視頻塊在形狀上可為正方形。CU的視頻塊的大小(例如，CU的大?。┓秶蓮?x8像 素直到具有最大64x64個像素或更大的樹塊的視頻塊的大小(例如，樹塊的大?。?。
[0057] 視頻編碼器20可根據(jù)Z掃描次序?qū)鋲K的每一 CU執(zhí)行編碼操作(例如，編碼）。換句 話說，視頻編碼器20可將左上CU、右上CU、左下CU和接著右下CU按此次序編碼。當(dāng)視頻編碼 器20對經(jīng)分割的CU執(zhí)行編碼操作時，視頻編碼器20可根據(jù)Z掃描次序?qū)εc經(jīng)分割的CU的視 頻塊的子塊相關(guān)聯(lián)的CU進(jìn)行編碼。換句話說，視頻編碼器20可對與左上子塊相關(guān)聯(lián)的CU、與 右上子塊相關(guān)聯(lián)的CU、與左下子塊相關(guān)聯(lián)的CU,且接著是與右下子塊相關(guān)聯(lián)的CU按所述順 序進(jìn)行編碼。
[0058] 作為根據(jù)Z掃描次序編碼樹塊的CU的結(jié)果，可已編碼在給定CU的上方、左上方、右 上方、左邊和左下方的CU。尚未對給定CU的下方和右邊的CU進(jìn)行編碼。因此，當(dāng)對給定CU進(jìn) 行編碼時，視頻編碼器20可能能夠存取通過對與給定CU相鄰的一些CU進(jìn)行編碼而產(chǎn)生的信 息。然而，當(dāng)對給定CU進(jìn)行編碼時，視頻編碼器20可能不能夠存取通過對與給定CU相鄰的其 它CU進(jìn)行編碼而產(chǎn)生的信息。
[0059] 當(dāng)視頻編碼器20對未分割的CU進(jìn)行編碼時，視頻編碼器20可產(chǎn)生用于所述CU的一 或多個PUXU的PU中的每一者可與CU的視頻塊內(nèi)的不同視頻塊相關(guān)聯(lián)。視頻編碼器20可產(chǎn) 生用于CU的每一 PU的經(jīng)預(yù)測視頻塊。PU的經(jīng)預(yù)測視頻塊可為樣本塊。視頻編碼器20可使用 帖內(nèi)預(yù)測或帖間預(yù)測來產(chǎn)生用于PU的預(yù)測視頻塊。
[0060] 當(dāng)視頻編碼器20使用帖內(nèi)預(yù)測來產(chǎn)生PU的經(jīng)預(yù)測視頻塊時，視頻編碼器20可基于 與PU相關(guān)聯(lián)的圖片的經(jīng)解碼樣本來產(chǎn)生PU的經(jīng)預(yù)測視頻塊。如果視頻編碼器20使用帖內(nèi)預(yù) 測來產(chǎn)生CU的PU的經(jīng)預(yù)測視頻塊，那么CU為經(jīng)帖內(nèi)預(yù)測的CU。當(dāng)視頻編碼器20使用帖間預(yù) 測來產(chǎn)生PU的經(jīng)預(yù)測視頻塊時，視頻編碼器20可基于不同于與所述PU相關(guān)聯(lián)的圖片的一或 多個圖片的經(jīng)解碼樣本產(chǎn)生所述PU的經(jīng)預(yù)測視頻塊。如果視頻編碼器20使用帖間預(yù)測來產(chǎn) 生CU的PU的經(jīng)預(yù)測視頻塊，那么所述CU為經(jīng)帖間預(yù)測CU。
[0061 ]此外，當(dāng)視頻編碼器20使用帖間預(yù)測來產(chǎn)生PU的預(yù)測視頻塊時，視頻編碼器20可 產(chǎn)生所述PU的運動信息。用于PU的運動信息可指示所述PU的一或多個參考塊。PU的每一參 考塊可為參考圖片內(nèi)的視頻塊。參考圖片可為除與PU相關(guān)聯(lián)的圖片W外的圖片。在一些情 況下，PU的參考塊也可被稱作PU的"參考樣本"。視頻編碼器20可基于PU的參考塊產(chǎn)生所述 PU的預(yù)測視頻塊。
[0062]在視頻編碼器20產(chǎn)生用于CU的一或多個PU的預(yù)測視頻塊之后，視頻編碼器20可基 于用于CU的所述PU的預(yù)測視頻塊產(chǎn)生所述CU的殘余數(shù)據(jù)。CU的殘余數(shù)據(jù)可指示用于CU的PU 的預(yù)測視頻塊中的樣本與CU的原始視頻塊之間的差。
[0063] 此外，作為對未經(jīng)分割CU執(zhí)行編碼操作的部分，視頻編碼器20可對CU的殘余數(shù)據(jù) 執(zhí)行遞歸四叉樹分割W將CU的殘余數(shù)據(jù)分割成與CU的TU相關(guān)聯(lián)的一或多個殘余數(shù)據(jù)塊(例 如，殘余視頻塊）。CU的每一TU可與不同殘余視頻塊相關(guān)聯(lián)。
[0064] 視頻編碼器20可將一或多個變換應(yīng)用到與TU相關(guān)聯(lián)的殘余視頻塊W產(chǎn)生與TU相 關(guān)聯(lián)的變換系數(shù)塊(例如，變換系數(shù)塊）。在概念上，變換系數(shù)塊可為變換系數(shù)的二維(2D)矩 陣。
[0065] 在產(chǎn)生變換系數(shù)塊之后，視頻編碼器20可對所述變換系數(shù)塊執(zhí)行量化處理。量化 總體上是指對變換系數(shù)進(jìn)行量化W可能減少用W表示變換系數(shù)的數(shù)據(jù)的量從而提供進(jìn)一 步壓縮的過程。量化過程可減少與變換系數(shù)中的一些或全部相關(guān)聯(lián)的位深度。例如，可在量 化期間將n位變換系數(shù)向下舍入到m位變換系數(shù)，其中n大于m。
[0066] 視頻編碼器20可使每一 CU與量化參數(shù)(QP)值相關(guān)聯(lián)。與CU相關(guān)聯(lián)的QP值可確定視 頻編碼器20如何對與所述CU相關(guān)聯(lián)的變換系數(shù)塊進(jìn)行量化。視頻編碼器20可通過調(diào)整與CU 相關(guān)聯(lián)的QP值來調(diào)整應(yīng)用于與CU相關(guān)聯(lián)的變換系數(shù)塊的量化的程度。
[0067] 在視頻編碼器20量化變換系數(shù)塊之后，視頻編碼器20可產(chǎn)生表示經(jīng)量化變換系數(shù) 塊中的變換系數(shù)的語法元素集。視頻編碼器20可將例如上下文自適應(yīng)二進(jìn)制算術(shù)譯碼 (CABAC)操作的賭編碼操作應(yīng)用于運些語法元素中的一些。還可使用例如上下文自適應(yīng)可 變長度譯碼(CA化C)、概率區(qū)間分割賭(PIPE)譯碼或其它二進(jìn)制算術(shù)譯碼等其它賭譯碼技 術(shù)。
[0068] 由視頻編碼器20產(chǎn)生的位流可包含一系列NAL單元。所述NAL單元中的每一者可為 含有NAL單元中的數(shù)據(jù)類型的指示及含有數(shù)據(jù)的字節(jié)的語法結(jié)構(gòu)。舉例來說，NAL單元可含 有表示視頻參數(shù)集、序列參數(shù)集、圖片參數(shù)集、經(jīng)譯碼切片、補充增強信息（SEI)、存取單元 分隔符、填充數(shù)據(jù)或另一類型的數(shù)據(jù)的數(shù)據(jù)。NAL單元中的數(shù)據(jù)可包含各種語法結(jié)構(gòu)。
[0069] 視頻解碼器30可接收由視頻編碼器20產(chǎn)生的位流。所述位流可包含由視頻編碼器 20編碼的視頻數(shù)據(jù)的經(jīng)譯碼表示。當(dāng)視頻解碼器30接收到位流時，視頻解碼器30可對位流 執(zhí)行剖析操作。當(dāng)視頻解碼器30執(zhí)行剖析操作時，視頻解碼器30可從所述位流提取語法元 素。視頻解碼器30可基于從位流提取的語法元素重構(gòu)視頻數(shù)據(jù)的圖片?；谡Z法元素重構(gòu) 視頻數(shù)據(jù)的過程可與通過視頻編碼器20執(zhí)行W產(chǎn)生語法元素的過程大體上互逆。
[0070] 在視頻解碼器30提取與CU相關(guān)聯(lián)的語法元素之后，視頻解碼器30可基于所述語法 元素產(chǎn)生用于CU的PU的經(jīng)預(yù)測視頻塊。另外，視頻解碼器30可對與CU的TU相關(guān)聯(lián)的變換系 數(shù)塊進(jìn)行逆量化。視頻解碼器30可對變換系數(shù)塊執(zhí)行逆變換W重構(gòu)與CU的TU相關(guān)聯(lián)的殘余 視頻塊。在產(chǎn)生經(jīng)預(yù)測視頻塊且重構(gòu)殘余視頻塊之后，視頻解碼器30可基于經(jīng)預(yù)測視頻塊 及殘余視頻塊重構(gòu)CU的視頻塊。W此方式，視頻解碼器30可基于位流中的語法元素重構(gòu)CU 的視頻塊。
[007。視頻編碼器
[0072]圖2A為說明可實施根據(jù)本發(fā)明中描述的方面的技術(shù)的視頻編碼器20的實例的框 圖。視頻編碼器20可經(jīng)配置W處理視頻帖的單層(例如針對肥VC)。此外，視頻編碼器20可經(jīng) 配置W執(zhí)行本發(fā)明的技術(shù)中的任一者或全部。在一些實例中，本發(fā)明中描述的技術(shù)可在視 頻編碼器20的各種組件之間共享。在一些實例中，另外或替代地，處理器(未圖示)可經(jīng)配置 W執(zhí)行本發(fā)明中描述的技術(shù)中的任一者或全部。
[0073] 出于解釋的目的，本發(fā)明描述在皿VC譯碼的上下文中的視頻編碼器20。然而，本發(fā) 明的技術(shù)可W適用于其它譯碼標(biāo)準(zhǔn)或方法。圖2A中所描繪的實例是針對單層編解碼器。然 而，如將關(guān)于圖2B進(jìn)一步描述，可復(fù)制視頻編碼器20中的一些或全部W用于多層編解碼器 的處理。
[0074] 視頻編碼器20可執(zhí)行視頻切片內(nèi)的視頻塊的帖內(nèi)和帖間譯碼。帖內(nèi)譯碼依賴于空 間預(yù)測W減小或移除給定視頻帖或圖片內(nèi)的視頻的空間冗余。帖間譯碼依賴于時間預(yù)測來 減少或移除視頻序列的鄰近帖或圖片內(nèi)的視頻中的時間冗余。帖內(nèi)模式（I模式)可指代若 干基于空間的譯碼模式中的任一者。例如單向預(yù)測(P模式)或雙向預(yù)測(B模式)等帖間模式 可指代若干基于時間的譯碼模式中的任一者。
[0075] 在圖2A的實例中，視頻編碼器20包含多個功能組件。視頻編碼器20的功能組件包 含預(yù)測處理單元100、殘余產(chǎn)生單元102、變換處理單元104、量化單元106、逆量化單元108、 逆變換單元110、重構(gòu)單元112、濾波器單元113、經(jīng)解碼圖片緩沖器114和賭編碼單元116。預(yù) 測處理單元100包含帖間預(yù)測單元121、運動估計單元122、運動補償單元124、帖內(nèi)預(yù)測單元 126及層間預(yù)測單元128。在其它實例中，視頻編碼器20可包含更多、更少或不同功能組件。 此外，運動估計單元122和運動補償單元124可高度集成，但出于解釋的目的而在圖2A的實 例中分開表示。
[0076] 視頻編碼器20可接收視頻數(shù)據(jù)。視頻編碼器20可從各種源接收視頻數(shù)據(jù)。舉例來 說，視頻編碼器20可從視頻源18(例如，圖IA或IB中所展示)或另一源接收視頻數(shù)據(jù)。視頻數(shù) 據(jù)可表示一系列圖片。為編碼視頻數(shù)據(jù)，視頻編碼器20可對圖片中的每一者執(zhí)行編碼操作。 作為對圖片執(zhí)行編碼操作的一部分，視頻編碼器20可對圖片的每一切片執(zhí)行編碼操作。作 為對切片執(zhí)行編碼操作的部分，視頻編碼器20可對切片中的樹塊執(zhí)行編碼操作。
[0077] 作為對樹塊執(zhí)行編碼操作的部分，預(yù)測處理單元100可對樹塊的視頻塊執(zhí)行四叉 樹分割W將所述視頻塊劃分成逐漸變小的視頻塊。較小視頻塊中的每一者可與不同CU相關(guān) 聯(lián)。舉例來說，預(yù)測處理單元100可將樹塊的視頻塊分割成四個相等大小的子塊，將所述子 塊中的一或多者分割成四個相等大小的子子塊，等等。
[0078] 與CU相關(guān)聯(lián)的視頻塊的大小范圍可從8x8樣本高達(dá)最大64x64像素或更大的樹塊 大小。在本發(fā)明中，"NxN"和"N乘N"可互換使用來指代在垂直和水平尺寸方面的視頻塊的樣 本尺寸，例如，16x16樣本或16乘16樣本。一般來說，16x16視頻塊在垂直方向上具有16個樣 本(y=16)，且在水平方向上具有16個樣本(x=16)。同樣，化N塊一般在垂直方向上具有N個 樣本，且在水平方向上具有N個樣本，其中N表示非負(fù)整數(shù)值。
[0079] 此外，作為對樹塊執(zhí)行編碼操作的部分，預(yù)測處理單元100可產(chǎn)生用于所述樹塊的 階層式四叉樹數(shù)據(jù)結(jié)構(gòu)。例如，樹塊可對應(yīng)于四叉樹數(shù)據(jù)結(jié)構(gòu)的根節(jié)點。如果預(yù)測處理單元 100將樹塊的視頻塊分割成四個子塊，則所述根節(jié)點在所述四叉樹數(shù)據(jù)結(jié)構(gòu)中具有四個子 節(jié)點。所述子節(jié)點中的每一者對應(yīng)于與子塊中的一者相關(guān)聯(lián)的CU。如果預(yù)測處理單元100將 子塊中的一者分割成四個子子塊，那么對應(yīng)于與子塊相關(guān)聯(lián)的CU的節(jié)點可具有四個子節(jié) 點，其中每一者對應(yīng)于與子子塊中的一者相關(guān)聯(lián)的CU。
[0080] 四叉樹數(shù)據(jù)結(jié)構(gòu)的每一節(jié)點可含有對應(yīng)樹塊或CU的語法數(shù)據(jù)(例如，語法元素）。 例如，四叉樹中的節(jié)點可包含分裂旗標(biāo)，其指示對應(yīng)于所述節(jié)點的CU的視頻塊是否被分割 (例如，分裂)成四個子塊。用于CU的語法元素可遞歸地界定，且可取決于所述CU的視頻塊是 否分裂成子塊。視頻塊未被分割的CU可對應(yīng)于四叉樹數(shù)據(jù)結(jié)構(gòu)中的葉節(jié)點。經(jīng)譯碼樹塊可 包含基于用于對應(yīng)樹塊的四叉樹數(shù)據(jù)結(jié)構(gòu)的數(shù)據(jù)。
[0081] 視頻編碼器20可對樹塊的每一未經(jīng)分割的CU執(zhí)行編碼操作。當(dāng)視頻編碼器20對未 分割CU執(zhí)行編碼操作時，視頻編碼器20產(chǎn)生表示未分割CU的經(jīng)編碼表示的數(shù)據(jù)。
[0082] 作為對CU執(zhí)行編碼操作的部分，預(yù)測處理單元100可在CU的一或多個PU之間分割 CU的視頻塊。視頻編碼器20和視頻解碼器30可支持各種PU大小。假定特定CU的大小為 2化2N，則視頻編碼器20及視頻解碼器30可支持2Nx2N或NxN的PU大小，及2化2N、2化N、化2N、 NxN、2NxnU、nLx2N、nRx2N或類似的對稱PU大小的帖間預(yù)測。視頻編碼器20和視頻解碼器30 還可支持用于2NxnU、2NxnD、化x2N和nRx2N的PU大小的不對稱分割。在一些實例中，預(yù)測處 理單元100可執(zhí)行幾何分割W沿并不按直角與CU的視頻塊的側(cè)會合的邊界來在CU的PU間分 割CU的視頻塊。
[0083] 帖間預(yù)測單元121可對CU的每一 PU執(zhí)行帖間預(yù)測。帖間預(yù)測可提供時間壓縮。為了 對PU執(zhí)行帖間預(yù)測，運動估計單元122可產(chǎn)生用于所述PU的運動信息。運動補償單元124可 基于運動信息和除與CU相關(guān)聯(lián)的圖片(例如，參考圖片）W外的圖片的經(jīng)解碼樣本而產(chǎn)生PU 的經(jīng)預(yù)測視頻塊。在本發(fā)明中，由運動補償單元124產(chǎn)生的經(jīng)預(yù)測視頻塊可稱作經(jīng)帖間預(yù)測 視頻塊。
[0084] 切片可為I切片、P切片，或B切片。運動估計單元122和運動補償單元124可取決于 PU處于I切片、P切片還是B切片中而對CU的PU執(zhí)行不同操作。在I切片中，所有PU都是經(jīng)帖內(nèi) 預(yù)測。因此，如果PU在I切片中，那么運動估計單元122和運動補償單元124不對PU執(zhí)行帖間 預(yù)測。
[0085] 如果PU在P切片中，那么含有所述PU的圖片與被稱作"列表0"的參考圖片列表相關(guān) 聯(lián)。列表0中的參考圖片中的每一者含有可用于其它圖片的帖間預(yù)測的樣本。當(dāng)運動估計單 元122關(guān)于P切片中的PU執(zhí)行運動估計操作時，運動估計單元122可捜索列表0中的參考圖片 W找出用于PU的參考塊。PU的參考塊可為最緊密對應(yīng)于PU的視頻塊中的樣本的一組樣本， 例如，樣本塊。運動估計單元122可使用多種度量來確定參考圖片中的一組樣本如何緊密地 對應(yīng)于PU的視頻塊中的樣本。例如，運動估計單元122可通過絕對差總和(SAD)、平方差總和 (SSD)或其它差異度量來確定參考圖片中的一組樣本對應(yīng)于PU的視頻塊中的樣本的接近程 度。
[0086] 在識別出P切片中的PU的參考塊之后，運動估計單元122可產(chǎn)生指示列表0中含有 參考塊的參考圖片的參考索引，W及指示PU與參考塊之間的空間位移的運動向量。在各種 實例中，運動估計單元122可W不同精確度產(chǎn)生運動向量。舉例來說，運動估計單元122可W 四分之一樣本精確度、八分之一樣本精確度或其它分?jǐn)?shù)樣本精確度產(chǎn)生運動向量。在分?jǐn)?shù) 樣本精確度的情況下，參考塊值可從參考圖片中的整數(shù)位置樣本值內(nèi)插。運動估計單元122 可將參考索引及運動向量輸出為PU的運動信息。運動補償單元124可基于由PU的運動信息 識別的參考塊而產(chǎn)生PU的經(jīng)預(yù)測視頻塊。
[0087] 如果PU處于B切片中，那么含有PU的圖片可與被稱作"列表0"和"列表r的兩個參 考圖片列表相關(guān)聯(lián)。在一些實例中，含有B切片的圖片可與為列表0與列表1的組合的列表組 合相關(guān)聯(lián)。
[0088] 此外，如果PU在B切片中，那么運動估計單元122可對PU執(zhí)行單向預(yù)測或雙向預(yù)測。 當(dāng)運動估計單元122對PU執(zhí)行單向預(yù)測時，運動估計單元122可捜索列表0或列表1中的參考 圖片W找出用于所述PU的參考塊。運動估計單元122可接著產(chǎn)生指示列表0或列表1中的含 有參考塊的參考圖片的參考索引和指示PU與所述參考塊之間的空間位移的運動向量。運動 估計單元122可輸出參考索引、預(yù)測方向指示符和運動向量作為所述PU的運動信息。預(yù)測方 向指示符可指示參考索引指示列表0還是列表1中的參考圖片。運動補償單元124可基于由 PU的運動信息指示的參考塊來產(chǎn)生PU的經(jīng)預(yù)測視頻塊。
[0089] 當(dāng)運動估計單元122針對PU執(zhí)行雙向預(yù)測時，運動估計單元122可捜索列表0中的 參考圖片W找到用于所述PU的參考塊，且還可捜索列表1中的參考圖片W找到用于所述PU 的另一參考塊。運動估計單元122可接著產(chǎn)生指示列表0和列表1中的含有參考塊的參考圖 片的參考索引，W及指示所述參考塊與PU之間的空間位移的運動向量。運動估計單元122可 輸出PU的參考索引及運動向量作為PU的運動信息。運動補償單元124可基于由PU的運動信 息指示的參考塊而產(chǎn)生PU的經(jīng)預(yù)測視頻塊。
[0090] 在一些情況下，運動估計單元122不將PU的運動信息的完整集合輸出到賭編碼單 元116。實際上，運動估計單元122可參考另一 PU的運動信息用信號表示PU的運動信息。舉例 來說，運動估計單元122可確定PU的運動信息足夠類似于相鄰PU的運動信息。在此實例中， 運動估計單元122可在與PU相關(guān)聯(lián)的語法結(jié)構(gòu)中指示一值，所述值向視頻解碼器30指示PU 具有與相鄰PU相同的運動信息。在另一實例中，運動估計單元122可在與PU相關(guān)聯(lián)的語法結(jié) 構(gòu)中識別相鄰PU和運動向量差(MVD)。運動向量差指示PU的運動向量與所指示的相鄰PU的 運動向量之間的差。視頻解碼器30可使用所指示的相鄰PU的運動向量和運動向量差來確定 PU的運動向量。通過在用信號表示第二PU的運動信息時參考第一PU的運動信息，視頻編碼 器20可能夠使用較少的位用信號表示第二PU的運動信息。
[0091] 作為對CU執(zhí)行編碼操作的部分，帖內(nèi)預(yù)測單元126可對CU的PU執(zhí)行帖內(nèi)預(yù)測。帖內(nèi) 預(yù)測可提供空間壓縮。當(dāng)帖內(nèi)預(yù)測單元12 6對PU執(zhí)行帖內(nèi)預(yù)測時，帖內(nèi)預(yù)測單元12 6可基于 同一圖片中的其它PU的經(jīng)解碼樣本來產(chǎn)生用于PU的預(yù)測數(shù)據(jù)。用于PU的預(yù)測數(shù)據(jù)可包含經(jīng) 預(yù)測視頻塊和各種語法元素。帖內(nèi)預(yù)測單元126可對I切片、P切片和B切片中的PU執(zhí)行帖內(nèi) 預(yù)測。
[0092] 為了對PU執(zhí)行帖內(nèi)預(yù)測，帖內(nèi)預(yù)測單元126可使用多個帖內(nèi)預(yù)測模式W產(chǎn)生用于 PU的預(yù)測數(shù)據(jù)的多個集合。當(dāng)帖內(nèi)預(yù)測單元126使用帖內(nèi)預(yù)測模式來產(chǎn)生用于PU的預(yù)測數(shù) 據(jù)的集合時，帖內(nèi)預(yù)測單元126可在與帖內(nèi)預(yù)測模式相關(guān)聯(lián)的方向和/或梯度上跨PU的視頻 塊從相鄰PU的視頻塊擴展樣本。相鄰PU可在所述PU的上方、右上方、左上方或左側(cè)，假定對 于PU、CU和樹塊采用從左到右、從上到下的編碼次序。帖內(nèi)預(yù)測單元126可取決于PU的大小 而使用各種數(shù)目個帖內(nèi)預(yù)測模式，例如33個方向性帖內(nèi)預(yù)測模式。
[0093] 預(yù)測處理單元100可從由運動補償單元124針對PU產(chǎn)生的預(yù)測數(shù)據(jù)或由帖內(nèi)預(yù)測 單元126針對PU產(chǎn)生的預(yù)測數(shù)據(jù)當(dāng)中選擇用于PU的預(yù)測數(shù)據(jù)。在一些實例中，預(yù)測處理單元 100基于預(yù)測數(shù)據(jù)集合的速率/失真量度來選擇用于PU的預(yù)測數(shù)據(jù)。
[0094] 如果預(yù)測處理單元100選擇由帖內(nèi)預(yù)測單元126產(chǎn)生的預(yù)測數(shù)據(jù)，那么預(yù)測處理單 元100可用信號表示用W產(chǎn)生用于PU的預(yù)測數(shù)據(jù)的帖內(nèi)預(yù)測模式，例如，選定帖內(nèi)預(yù)測模 式。預(yù)測處理單元100可W各種方式用信號表示所選帖內(nèi)預(yù)測模式。舉例來說，有可能所選 帖內(nèi)預(yù)測模式與相鄰PU的帖內(nèi)預(yù)測模式相同。換句話說，相鄰PU的帖內(nèi)預(yù)測模式可為用于 當(dāng)前PU的最可能模式。因此，預(yù)測處理單元100可產(chǎn)生用W指示選定帖內(nèi)預(yù)測模式與相鄰PU 的帖內(nèi)預(yù)測模式相同的語法元素。
[00M]如上文所論述，視頻編碼器20可包含層間預(yù)測單元128。層間預(yù)測單元128經(jīng)配置 W使用在對HEVC的可縮放擴展中可用的一或多個不同層(例如，基礎(chǔ)或參考層)預(yù)測當(dāng)前塊 (例如，中的當(dāng)前塊）。此預(yù)測可稱作層間預(yù)測。層間預(yù)測單元128利用預(yù)測方法來減少層 間冗余，進(jìn)而改進(jìn)譯碼效率且減少計算資源要求。層間預(yù)測的一些實例可包含層間帖內(nèi)預(yù) 、層間運動預(yù)測及層間殘余預(yù)測。層間帖內(nèi)預(yù)測使用基礎(chǔ)層中的協(xié)同定位塊的重構(gòu)來預(yù) 測增強層中的當(dāng)前塊。層間運動預(yù)測使用基礎(chǔ)層的運動信息來預(yù)測增強層中的運動。層間 殘余預(yù)測使用基礎(chǔ)層的殘余來預(yù)測增強層的殘余。
[0096] 在預(yù)測處理單元100選擇用于CU的PU的預(yù)測數(shù)據(jù)之后，殘余產(chǎn)生單元102可通過從 CU的視頻塊減去(例如，由減號指示)CU的PU的經(jīng)預(yù)測視頻塊而產(chǎn)生用于CU的殘余數(shù)據(jù)。CU 的殘余數(shù)據(jù)可包含對應(yīng)于CU的視頻塊中的樣本的不同樣本分量的2D殘余視頻塊。舉例來 說，殘余數(shù)據(jù)可包含對應(yīng)于CU的PU的經(jīng)預(yù)測視頻塊中的樣本的明度分量與CU的原始視頻塊 中的樣本的明度分量之間的差的殘余視頻塊。另外，CU的殘余數(shù)據(jù)可包含對應(yīng)于CU的PU的 預(yù)測視頻塊中的樣本的色度分量與CU的原始視頻塊中的樣本的色度分量之間的差的殘余 視頻塊。
[0097] 預(yù)測處理單元100可執(zhí)行四叉樹分割W將CU的殘余視頻塊分割成子塊。每一未分 割殘余視頻塊可與CU的不同TU相關(guān)聯(lián)。與CU的TU相關(guān)聯(lián)的殘余視頻塊的大小及位置可基于 或可不基于與CU的PU相關(guān)聯(lián)的視頻塊的大小及位置。被稱為"殘余四叉樹"（RQT)的四叉樹 結(jié)構(gòu)可包含與殘余視頻塊中的每一者相關(guān)聯(lián)的節(jié)點。CU的TU可W對應(yīng)于RQT的葉節(jié)點。
[0098] 變換處理單元104可通過將一或多個變換應(yīng)用到與CU的每一 TU相關(guān)聯(lián)的殘余視頻 塊而產(chǎn)生用于所述TU的一或多個變換系數(shù)塊。所述變換系數(shù)塊中的每一者可為變換系數(shù)的 2D矩陣。變換處理單元104可將各種變換應(yīng)用到與TU相關(guān)聯(lián)的殘余視頻塊。舉例來說，變換 處理單元104可將離散余弦變換化CT)、方向性變換或概念上類似的變換應(yīng)用到與TU相關(guān)聯(lián) 的殘余視頻塊。
[0099] 在變換處理單元104產(chǎn)生與TU相關(guān)聯(lián)的變換系數(shù)塊之后，量化單元106可量化所述 變換系數(shù)塊中的變換系數(shù)。量化單元106可基于與CU相關(guān)聯(lián)的QP值而對與CU的TU相關(guān)聯(lián)的 變換系數(shù)塊進(jìn)行量化。
[0100] 視頻編碼器20可W各種方式使QP值與CU相關(guān)聯(lián)。例如，視頻編碼器20可對與CU相 關(guān)聯(lián)的樹塊執(zhí)行速率失真分析。在速率失真分析中，視頻編碼器20可通過對樹塊執(zhí)行多次 編碼操作而產(chǎn)生所述樹塊的多個經(jīng)譯碼表示。當(dāng)視頻編碼器20產(chǎn)生樹塊的不同經(jīng)編碼表示 時，視頻編碼器20可使不同QP值與CU相關(guān)聯(lián)。當(dāng)給定QP值與具有最低位速率和失真度量的 樹塊的經(jīng)譯碼表示中的CU相關(guān)聯(lián)時，視頻編碼器20可用信號表示給定QP值與CU相關(guān)聯(lián)。
[0101] 逆量化單元108和逆變換單元110可分別將逆量化及逆變換應(yīng)用于變換系數(shù)塊W 從變換系數(shù)塊重構(gòu)殘余視頻塊。重構(gòu)單元112可W將經(jīng)重構(gòu)的殘余視頻塊添加到來自由預(yù) 測處理單元100產(chǎn)生的一或多個預(yù)測視頻塊的對應(yīng)樣本，W產(chǎn)生與TU相關(guān)聯(lián)的經(jīng)重構(gòu)視頻 塊。通過W此方式重構(gòu)CU的每一 TU的視頻塊，視頻編碼器20可重構(gòu)CU的視頻塊。
[0102] 在重構(gòu)單元112重構(gòu)CU的視頻塊之后，濾波器單元113可執(zhí)行解塊操作W減小與所 述CU相關(guān)聯(lián)的視頻塊中的成塊假象。在執(zhí)行一或多個解塊操作之后，濾波器單元113可將CU 的經(jīng)重構(gòu)視頻塊存儲在經(jīng)解碼圖片緩沖器114中。運動估計單元122和運動補償單元124可 使用含有經(jīng)重構(gòu)視頻塊的參考圖片來對后續(xù)圖片的PU執(zhí)行帖間預(yù)測。另外，帖內(nèi)預(yù)測單元 126可使用經(jīng)解碼圖片緩沖器114中的經(jīng)重構(gòu)視頻塊對處于與CU相同圖片中的其它PU執(zhí)行 帖內(nèi)預(yù)測。
[0103] 賭編碼單元116可從視頻編碼器20的其它功能組件接收數(shù)據(jù)。舉例來說，賭編碼單 元116可從量化單元106接收變換系數(shù)塊，且可從預(yù)測處理單元100接收語法元素。當(dāng)賭編碼 單元116接收所述數(shù)據(jù)時，賭編碼單元116可執(zhí)行一或多個賭編碼操作W產(chǎn)生經(jīng)賭編碼數(shù) 據(jù)。舉例來說，視頻編碼器20可對所述數(shù)據(jù)執(zhí)行CAVLC操作、CABAC操作、可變到可變(V2V)長 度譯碼操作、基于語法的上下文自適應(yīng)二進(jìn)制算術(shù)譯碼（SBAC)操作、概率區(qū)間分割賭 (PIPE)譯碼，或另一類型的賭編碼操作。賭編碼單元116可輸出包含經(jīng)賭編碼數(shù)據(jù)的位流。
[0104] 作為對數(shù)據(jù)執(zhí)行賭編碼操作的一部分，賭編碼單元116可選擇上下文模型。如果賭 編碼單元116正執(zhí)行CABAC操作，那么上下文模型可指示特定二進(jìn)位具有特定值的概率的估 計。在CABAC的情況下，術(shù)語"二進(jìn)位"用W指語法元素的二進(jìn)制化版本的位。
[01化]多層視頻編碼器
[0106] 圖2B為說明可實施根據(jù)本發(fā)明中描述的方面的技術(shù)的多層視頻編碼器23(也被簡 稱為視頻編碼器23)的實例的框圖。視頻編碼器23可經(jīng)配置W處理（例如）用于細(xì)VC和MV-肥VC的多層視頻帖。此外，視頻編碼器23可經(jīng)配置W執(zhí)行本發(fā)明的技術(shù)中的任一者或全部。
[0107] 視頻編碼器23包含視頻編碼器20A和視頻編碼器20B，其中的每一者可經(jīng)配置為視 頻編碼器20并且可執(zhí)行上文關(guān)于視頻編碼器20所描述的功能。此外，如再使用參考數(shù)字所 指示，視頻編碼器20A和20B可包含系統(tǒng)及子系統(tǒng)中的至少一些作為視頻編碼器20。雖然將 視頻編碼器23說明為包含兩個視頻編碼器20A和20B，但視頻編碼器23不受如此限制且可包 含任何數(shù)目的視頻編碼器20層。在一些實施例中，視頻編碼器23可包含針對存取單元中的 每一圖片或帖的視頻編碼器20。例如，包含五個圖片的存取單元可由包含五個編碼器層的 視頻編碼器處理或編碼。在一些實施例中，視頻編碼器23可包含比存取單元中的帖更多的 編碼器層。在一些此類情況下，當(dāng)處理一些存取單元時，一些視頻編碼器層可能不在作用 中。
[0108] 除了視頻編碼器20A及20B之外，視頻編碼器23可包含再取樣單元90。在一些情況 下，再取樣單元90可對所接收的視頻帖的基礎(chǔ)層進(jìn)行上取樣W例如創(chuàng)建增強層。再取樣單 元90可對與帖的所接收的基礎(chǔ)層相關(guān)聯(lián)的特定信息上取樣，但不對其它信息上取樣。舉例 來說，再取樣單元90可上取樣基礎(chǔ)層的空間大小或像素數(shù)目，但切片的數(shù)目或圖片次序計 數(shù)可保持恒定。在一些情況下，再取樣單元90可不處理所接收的視頻及/或可為任選的。例 如，在一些情況下，預(yù)測處理單元100可執(zhí)行上取樣。在一些實施例中，再取樣單元90經(jīng)配置 W對層進(jìn)行上取樣且重新組織、重新界定、修改或調(diào)整一或多個切片W符合一組切片邊界 規(guī)則及/或光柵掃描規(guī)則。雖然主要描述為對基礎(chǔ)層或存取單元中的較低層進(jìn)行上取樣，但 在一些情況下，再取樣單元90可對層進(jìn)行下取樣。例如，如果在視頻的流式傳輸期間減小帶 寬，那么可對帖進(jìn)行下取樣而不是上取樣。
[0109] 再取樣單元90可經(jīng)配置W從較低層編碼器(例如，視頻編碼器20A)的經(jīng)解碼圖片 緩沖器114接收圖片或帖(或與圖片相關(guān)聯(lián)的圖片信息)并對所述圖片(或所接收的圖片信 息）進(jìn)行上取樣。隨后可將經(jīng)上取樣圖片提供到較高層編碼器(例如，視頻編碼器20B)的預(yù) 測處理單元100,所述較高層編碼器經(jīng)配置W編碼與較低層編碼器相同的存取單元中的圖 片。在一些情況下，較高層編碼器為從較低層編碼器去除的一個層。在其它情況下，在圖2B 的層0視頻編碼器與層1編碼器之間可存在一或多個較高層編碼器。
[0110] 在一些情況下，可省略或繞過再取樣單元90。在運些情況下，可直接或在至少不提 供到再取樣單元90的情況下將來自視頻編碼器20A的經(jīng)解碼圖片緩沖器114的圖片提供到 視頻編碼器20B的預(yù)測處理單元100。舉例來說，如果提供到視頻編碼器20B的視頻數(shù)據(jù)和來 自視頻編碼器20A的經(jīng)解碼圖片緩沖器114的參考圖片具有相同的大小或分辨率，那么可將 參考圖片提供到視頻編碼器20B而沒有任何再取樣。
[0111] 在一些實施例中，視頻編碼器23使用下取樣單元94下取樣待提供到較低層編碼器 的視頻數(shù)據(jù)，隨后將所述視頻數(shù)據(jù)提供到視頻編碼器20A。替代地，下取樣單元94可為能夠 對視頻數(shù)據(jù)上取樣或下取樣的再取樣單元90。在另外其它實施例中，可省略下取樣單元94。
[0112] 如圖2B中所說明，視頻編碼器23可進(jìn)一步包含多路復(fù)用器(或mux)98。多路復(fù)用器 98可輸出來自視頻編碼器23的組合位流。通過從視頻編碼器20A和20B中的每一者取得位流 且使在給定時間輸出哪一位流進(jìn)行交替可產(chǎn)生組合位流。雖然在一些情況下，可一次一個 位地交替來自兩個(或在兩個W上視頻編碼器層的情況下，兩個W上)位流的位，但在許多 情況下，不同地組合所述位流。舉例來說，可通過一次一個塊地交替選定位流來產(chǎn)生輸出位 流。在另一實例中，可通過從視頻編碼器20A和20B中的每一者輸出非1:1比率的塊來產(chǎn)生輸 出位流。舉例來說，可從視頻編碼器20B輸出用于從視頻編碼器20A輸出的每一塊的兩個塊。 在一些實施例中，可預(yù)編程來自多路復(fù)用器98的輸出流。在其它實施例中，多路復(fù)用器98可 基于從視頻編碼器23外部的系統(tǒng)（例如從包含源裝置12的源裝置上的處理器)接收的控制 信號而組合來自視頻編碼器20AJ0B的位流?？苫趤碜砸曨l源18的視頻的分辨率或位速 率、基于鏈路16的帶寬、基于與用戶相關(guān)聯(lián)的預(yù)訂(例如，付費預(yù)訂與免費預(yù)訂)或基于用于 確定來自視頻編碼器23的所要分辨率輸出的任何其它因素而產(chǎn)生控制信號。
[?！璢視頻解碼器
[0114] 圖3A是說明可實施本發(fā)明中描述的方面的技術(shù)的視頻解碼器30的實例的框圖。視 頻解碼器30可經(jīng)配置W處理視頻帖的單層(例如針對皿VC)。此外，視頻解碼器30可經(jīng)配置 W執(zhí)行本發(fā)明的技術(shù)中的任一者或全部。在一些實例中，本發(fā)明中描述的技術(shù)可在視頻解 碼器30的各種組件之間共享。在一些實例中，另外或替代地，處理器(未圖示)可經(jīng)配置W執(zhí) 行本發(fā)明中描述的技術(shù)中的任一者或全部。
[0115] 出于解釋的目的，本發(fā)明在皿VC譯碼的上下文中描述視頻解碼器30。然而，本發(fā)明 的技術(shù)可W適用于其它譯碼標(biāo)準(zhǔn)或方法。圖3A中所描繪的實例是針對單層編解碼器。然而， 如將關(guān)于圖3B進(jìn)一步描述，可復(fù)制視頻編碼器30中的一些或全部W用于多層編解碼器的處 理。
[0116] 在圖3A的實例中，視頻解碼器30包含多個功能組件。視頻解碼器30的功能組件包 含賭解碼單元150、預(yù)測處理單元152、逆量化單元154、逆變換單元156、重構(gòu)單元158、濾波 器單元159和經(jīng)解碼圖片緩沖器160。預(yù)測處理單元152包含運動補償單元162、帖內(nèi)預(yù)測單 元164和層間預(yù)測單元166。在一些實例中，視頻解碼器30可執(zhí)行與關(guān)于圖2A的視頻編碼器 20描述的編碼遍次大體互逆的解碼遍次。在其它實例中，視頻解碼器30可包含較多、較少或 不同的功能組件。
[0117]視頻解碼器30可接收包括經(jīng)編碼視頻數(shù)據(jù)的位流。所述位流可包含多個語法元 素。當(dāng)視頻解碼器30接收到位流時，賭解碼單元150可對所述位流執(zhí)行剖析操作。對位流執(zhí) 行剖析操作的結(jié)果是，賭解碼單元150可從所述位流提取語法元素。作為執(zhí)行剖析操作的一 部分，賭解碼單元150可對位流中的經(jīng)賭編碼語法元素進(jìn)行賭解碼。預(yù)測處理單元152、逆量 化單元154、逆變換單元156、重構(gòu)單元158及濾波器單元159可執(zhí)行重構(gòu)操作，重構(gòu)操作基于 從位流提取的語法元素產(chǎn)生經(jīng)解碼視頻數(shù)據(jù)。
[011引如上文所論述，位流可包括一系列NAL單元。位流的NAL單元可包含視頻參數(shù)集NAL 單元、序列參數(shù)集NAL單元、圖片參數(shù)集NAL單元、SEI NAL單元等等。作為對位流執(zhí)行剖析操 作的一部分，賭解碼單元150可執(zhí)行剖析操作，所述剖析操作從序列參數(shù)集NAL單元提取且 賭解碼序列參數(shù)集、從圖片參數(shù)集NAL單元提取且賭解碼圖片參數(shù)集、從SEI NAL單元提取 且賭解碼SEI數(shù)據(jù)等等。
[0119] 此外，位流的NAL單元可包含經(jīng)譯碼切片NAL單元。作為對位流執(zhí)行剖析操作的部 分，賭解碼單元150可執(zhí)行剖析操作，所述剖析操作從經(jīng)譯碼切片NAL單元提取且賭解碼經(jīng) 譯碼切片。經(jīng)譯碼切片中的每一者可包含切片標(biāo)頭W及切片數(shù)據(jù)。切片標(biāo)頭可W含有關(guān)于 切片的語法元素。切片標(biāo)頭中的語法元素可包含識別與含有所述切片的圖片相關(guān)聯(lián)的圖片 參數(shù)集的語法元素。賭解碼單元150可對經(jīng)譯碼切片標(biāo)頭中的語法元素執(zhí)行賭解碼操作(例 如，CABAC解碼操作），W恢復(fù)切片標(biāo)頭。
[0120] 作為從經(jīng)譯碼切片NAL單元提取切片數(shù)據(jù)的部分，賭解碼單元150可執(zhí)行從切片數(shù) 據(jù)中的經(jīng)譯碼CU提取語法元素的剖析操作。所提取的語法元素可包含與變換系數(shù)塊相關(guān)聯(lián) 的語法元素。賭解碼單元150可接著對語法元素中的一些執(zhí)行CABAC解碼操作。
[0121] 在賭解碼單元150對未分割的CU執(zhí)行剖析操作之后，視頻解碼器30可對未分割的 CU執(zhí)行重構(gòu)操作。為對未經(jīng)分割CU執(zhí)行重構(gòu)操作，視頻解碼器30可對CU的每一 TU執(zhí)行重構(gòu) 操作。通過對CU的每一 TU執(zhí)行重構(gòu)操作，視頻解碼器30可重構(gòu)與CU相關(guān)聯(lián)的殘余視頻塊。
[0122] 作為對TU執(zhí)行重構(gòu)操作的一部分，逆量化單元154可逆量化(例如，解量化)與TU相 關(guān)聯(lián)的變換系數(shù)塊。逆量化單元154可W類似于針對肥VC所提議或由H. 264解碼標(biāo)準(zhǔn)定義的 逆量化過程的方式來逆量化變換系數(shù)塊。逆量化單元154可使用由視頻編碼器20針對變換 系數(shù)塊的C聽十算的量化參數(shù)QP來確定量化程度，且同樣地，確定逆量化單元154應(yīng)用的逆量 化的程度。
[0123] 在逆量化單元154逆量化變換系數(shù)塊之后，逆變換單元156可產(chǎn)生用于與變換系數(shù) 塊相關(guān)聯(lián)的TU的殘余視頻塊。逆變換單元156可將逆變換應(yīng)用到變換系數(shù)塊W便產(chǎn)生所述 TU的殘余視頻塊。舉例來說，逆變換單元156可將逆DCT、逆整數(shù)變換、逆卡忽南-拉維 化arhunen-Loeve)變換化LT)、逆旋轉(zhuǎn)變換、逆定向變換或另一逆變換應(yīng)用于變換系數(shù)塊。 在一些實例中，逆變換單元156可基于來自視頻編碼器20的信令而確定適用于變換系數(shù)塊 的逆變換。在運些實例中，逆變換單元156可基于在用于與變換系數(shù)塊相關(guān)聯(lián)的樹塊的四叉 樹的根節(jié)點處的用信號表示的變換來確定逆變換。在其它實例中，逆變換單元156可從例如 塊大小、譯碼模式或類似者等一或多個譯碼特性推斷逆變換。在一些實例中，逆變換單元 156可應(yīng)用級聯(lián)的逆變換。
[0124] 在一些實例中，運動補償單元162可通過基于內(nèi)插濾波器執(zhí)行內(nèi)插而精煉PU的預(yù) 測視頻塊。用于將用于W子樣本精確度進(jìn)行運動補償?shù)膬?nèi)插濾波器的識別符可包含在語法 元素中。運動補償單元162可使用由視頻編碼器20在產(chǎn)生PU的經(jīng)預(yù)測視頻塊期間使用的相 同內(nèi)插濾波器來計算參考塊的子整數(shù)樣本的內(nèi)插值。運動補償單元162可根據(jù)所接收的語 法信息而確定由視頻編碼器20使用的內(nèi)插濾波器且使用所述內(nèi)插濾波器來產(chǎn)生預(yù)測視頻 塊。
[0125] 如果PU是使用帖內(nèi)預(yù)測編碼，那么帖內(nèi)預(yù)測單元164可執(zhí)行帖內(nèi)預(yù)測W產(chǎn)生用于 PU的經(jīng)預(yù)測視頻塊。舉例來說，帖內(nèi)預(yù)測單元164可基于位流中的語法元素確定用于PU的帖 內(nèi)預(yù)測模式。位流可包含帖內(nèi)預(yù)測模塊164可用W確定PU的帖內(nèi)預(yù)測模式的語法元素。
[0126] 在一些情況下，語法元素可指示帖內(nèi)預(yù)測單元164將使用另一PU的帖內(nèi)預(yù)測模式 來確定當(dāng)前PU的帖內(nèi)預(yù)測模式。舉例來說，可能有可能當(dāng)前PU的帖內(nèi)預(yù)測模式與相鄰PU的 帖內(nèi)預(yù)測模式相同。換句話說，相鄰PU的帖內(nèi)預(yù)測模式可為用于當(dāng)前PU的最可能模式。因 此，在此實例中，位流可包含小語法元素，所述小語法元素指示PU的帖內(nèi)預(yù)測模式與相鄰PU 的帖內(nèi)預(yù)測模式相同。帖內(nèi)預(yù)測單元164可接著使用帖內(nèi)預(yù)測模式基于空間相鄰PU的視頻 塊而產(chǎn)生PU的預(yù)測數(shù)據(jù)(例如，經(jīng)預(yù)測樣本）。
[0127] 如上文所論述，視頻解碼器30還可包含層間預(yù)測單元166。層間預(yù)測單元166經(jīng)配 置W使用在對HEVC的可縮放擴展中可用的一或多個不同層(例如，基礎(chǔ)或參考層)預(yù)測當(dāng)前 塊(例如，增強層中的當(dāng)前塊）。此預(yù)測可稱作層間預(yù)測。層間預(yù)測單元166利用預(yù)測方法減 少層間冗余，借此改進(jìn)譯碼效率且降低計算資源要求。層間預(yù)測的一些實例包含層間帖內(nèi) 預(yù)測、層間運動預(yù)測及層間殘余預(yù)測。層間帖內(nèi)預(yù)測使用基礎(chǔ)層中的協(xié)同定位塊的重構(gòu)來 預(yù)測增強層中的當(dāng)前塊。層間運動預(yù)測使用基礎(chǔ)層的運動信息來預(yù)測增強層中的運動。層 間殘余預(yù)測使用基礎(chǔ)層的殘余來預(yù)測增強層的殘余。W下更詳細(xì)地論述層間預(yù)測方案中的 每一者。
[01%]重構(gòu)單元158可使用與CU的TU相關(guān)聯(lián)的殘余視頻塊和CU的PU的經(jīng)預(yù)測視頻塊(例 如，帖內(nèi)預(yù)測數(shù)據(jù)或帖間預(yù)測數(shù)據(jù)，如果適用)來重構(gòu)CU的視頻塊。因此，視頻解碼器30可基 于位流中的語法元素而產(chǎn)生所預(yù)測的視頻塊及殘余視頻塊，且可基于所預(yù)測的視頻塊及殘 余視頻塊而產(chǎn)生視頻塊。
[0129]在重構(gòu)單元158重構(gòu)CU的視頻塊之后，濾波器單元159可執(zhí)行解塊操作W減少與所 述CU相關(guān)聯(lián)的成塊假象。在濾波器單元159執(zhí)行解塊操作W減小與CU相關(guān)聯(lián)的成塊假象之 后，視頻解碼器30可將所述CU的視頻塊存儲在經(jīng)解碼圖片緩沖器160中。經(jīng)解碼圖片緩沖器 160可提供參考圖片W用于后續(xù)運動補償、帖內(nèi)預(yù)測和在例如圖IA或IB的顯示裝置32等顯 示裝置上的呈現(xiàn)。舉例來說，視頻解碼器30可基于經(jīng)解碼圖片緩沖器160中的視頻塊對其它 CU的PU執(zhí)行帖內(nèi)預(yù)測或帖間預(yù)測操作。
[0。0]多層解碼器
[0131] 圖3B是說明可實施根據(jù)本發(fā)明中所描述的方面的技術(shù)的多層視頻解碼器33(也被 簡稱為視頻解碼器33)的實例的框圖。視頻解碼器33可經(jīng)配置W處理多層視頻帖，例如，用 于SHVC及多視圖譯碼。另外，視頻解碼器33可經(jīng)配置W執(zhí)行本發(fā)明的技術(shù)中的任一者或全 部。
[0132] 視頻解碼器33包含視頻解碼器30A和視頻解碼器30B，其中的每一者可被配置為視 頻解碼器30且可執(zhí)行上文關(guān)于視頻解碼器30所描述的功能。此外，如再使用參考數(shù)字所指 示，視頻解碼器30A和30B可包含系統(tǒng)及子系統(tǒng)中的至少一些作為視頻解碼器30。盡管將視 頻解碼器33說明為包含兩個視頻解碼器30A和30B，但視頻解碼器33不受此限制且可包含任 何數(shù)目個視頻解碼器30層。在一些實施例中，視頻解碼器33可包含用于存取單元中的每一 圖片或帖的視頻解碼器30。舉例來說，可由包含五個解碼器層的視頻解碼器處理或解碼包 含五個圖片的存取單元。在一些實施例中，視頻解碼器33可包含比存取單元中的帖多的解 碼器層。在一些此類情況下，當(dāng)處理一些存取單元時，一些視頻解碼器層可能不在作用中。
[0133] 除了視頻解碼器30A和30B之外，視頻解碼器33還可包含上取樣單元92。在一些實 施例中，上取樣單元92可上取樣所接收的視頻帖的基礎(chǔ)層W創(chuàng)建將添加到用于帖或存取單 元的參考圖片列表的增強型層。此增強型層可存儲在經(jīng)解碼圖片緩沖器160中。在一些實施 例中，上取樣單元92可包含關(guān)于圖2A的再取樣單元90描述的實施例中的一些或全部。在一 些實施例中，上取樣單元92經(jīng)配置W對層進(jìn)行上取樣且重新組織、重新界定、修改或調(diào)整一 或多個切片W符合一組切片邊界規(guī)則和/或光柵掃描規(guī)則。在一些情況下，上取樣單元92可 為經(jīng)配置W對所接收的視頻帖的層上取樣及/或下取樣的再取樣單元。
[0134] 上取樣單元92可經(jīng)配置W從較低層解碼器(例如，視頻解碼器30A)的經(jīng)解碼圖片 緩沖器160接收圖片或帖(或與圖片相關(guān)聯(lián)的圖片信息)并對所述圖片(或所接收的圖片信 息）進(jìn)行上取樣。隨后可將此經(jīng)上取樣圖片提供到較高層解碼器(例如，視頻解碼器30B)的 預(yù)測處理單元152,所述較高層解碼器經(jīng)配置W解碼與較低層解碼器相同的存取單元中的 圖片。在一些情況下，較高層解碼器為從較低層解碼器移除的一個層。在其它情況下，在圖 3B的層0解碼器與層1解碼器之間可存在一或多個較高層解碼器。
[0135] 在一些情況下，可省略或繞過上取樣單元92。在此些情況下，可直接提供來自視頻 解碼器30A的經(jīng)解碼圖片緩沖器160的圖片到視頻解碼器30B的預(yù)測處理單元152,或至少不 提供到上取樣單元92。例如，如果提供到視頻解碼器30B的視頻數(shù)據(jù)及來自視頻解碼器30A 的經(jīng)解碼圖片緩沖器160的參考圖片具有相同的大小或分辨率，那么可將參考圖片提供到 視頻解碼器30B而不需要上取樣。另外，在一些實施例中，上取樣單元92可為經(jīng)配置W對從 視頻解碼器30A的經(jīng)解碼圖片緩沖器160接收的參考圖片上取樣或下取樣的再取樣單元90。
[0136] 如圖3B中所說明，視頻解碼器33可進(jìn)一步包含多路分用器(或demux)99。多路分用 器99可將經(jīng)編碼視頻位流分裂成多個位流，其中由多路分用器99輸出的每一位流被提供到 不同的視頻解碼器30A和30B?？赏ㄟ^接收位流來產(chǎn)生多個位流，且視頻解碼器30A和30B中 的每一者在給定時間接收位流的一部分。雖然在一些情況下，可在視頻解碼器(例如，在圖 3B的實例中的視頻解碼器30A和30B)中的每一者之間一次一個位地交替來自在多路分用器 99處接收的位流的位，但在許多情況下，W不同方式劃分所述位流。舉例來說，可通過一次 一個塊地交替哪一視頻解碼器接收位流而劃分所述位流。在另一實例中，可通過到視頻解 碼器30A和30B中的每一者的塊的非1:1比率來劃分位流。舉例來說，可針對提供到視頻解碼 器30A的每一塊將兩個塊提供到視頻解碼器30B。在一些實施例中，可預(yù)編程由多路分用器 99對位流的劃分。在其它實施例中，多路分用器99可基于從視頻解碼器33外部的系統(tǒng)（例 如，從包含目的地模塊14的目的地裝置上的處理器)接收的控制信號而劃分位流。可基于來 自輸入接口 28的視頻的分辨率或位速率、基于鏈路16的帶寬、基于與用戶相關(guān)聯(lián)的預(yù)訂(例 如，付費預(yù)訂與免費預(yù)訂)或基于用于確定可由視頻解碼器33獲得的分辨率的任何其它因 素而產(chǎn)生控制信號。
[0。7] 帖內(nèi)隨機存取點（IRAP)圖片
[0138] -些視頻譯碼方案可提供貫穿位流的各種隨機存取點W使得可從那些隨機存取 點中的任一者開始解碼位流而無需解碼在位流中在那些隨機存取點之前的任何圖片。在此 類視頻譯碼方案中，可正確地解碼除隨機存取跳過前導(dǎo)(RA化)圖片外的按解碼次序跟隨隨 機存取點的所有圖片，而不需使用在所述隨機存取點之前的任何圖片。舉例來說，即使位流 的一部分在發(fā)射期間或在解碼期間丟失，解碼器也可從下一隨機存取點開始恢復(fù)解碼位 流。對隨機存取的支持可促進(jìn)(例如)動態(tài)流式傳輸服務(wù)、捜尋操作、信道切換等。
[0139] 在一些譯碼方案中，此些隨機存取點可由稱為帖內(nèi)隨機存取點（IRAP)圖片的圖片 提供。舉例來說，包含于存取單元（"auA")中的與增強層（"層A")中的增強層IRAP圖片相關(guān) 聯(lián)的隨機存取點可提供層特定隨機存取，W使得對于層A的具有與包含于在層B中且按解碼 次序在auA之前的存取單元（"auB")中的圖片相關(guān)聯(lián)的隨機存取點（或包含于auA中的隨機 存取點）的每一參考層（"層B")(例如，作為用W預(yù)測層A的層的參考層），可正確解碼層A中 按解碼次序跟隨auA的圖片（包含位于auA中的那些圖片）而無需解碼層A中在auA之前的任 何圖片。
[0140] IRAP圖片可使用帖內(nèi)預(yù)測（例如，在不參考其它圖片的情況下進(jìn)行譯碼)和/或?qū)?間預(yù)測經(jīng)譯碼，且可包含（例如）即時解碼器刷新（IDR)圖片、清潔隨機存取(CRA)圖片和斷 鏈存取(BLA)圖片。當(dāng)在位流中存在IDR圖片時，按解碼次序在IDR圖片之前的所有圖片不用 于通過在所述IDR圖片之后的圖片的預(yù)測。當(dāng)在位流中存在CRA圖片時，在CRA圖片之后的圖 片可或可不將按解碼次序在CRA圖片之前的圖片用于預(yù)測。按解碼次序在CRA圖片之后但使 用按解碼次序在CRA圖片之前的圖片的那些圖片可稱作RA化圖片。按解碼次序可在IRAP圖 片之后且按輸出次序在IRAP圖片之前的另一類型的圖片為隨機存取可解碼前導(dǎo)（RA化）圖 片，其可不含有對按解碼次序在IRAP圖片之前的任何圖片的參考。如果在CRA圖片之前的圖 片不可用，那么RA化圖片可由解碼器丟失。BLA圖片對解碼器指示在BLA圖片之前的圖片可 能不對解碼器可用(例如，因為兩個位流經(jīng)拼接在一起且BLA圖片為按解碼次序的第二位流 的第一圖片）。含有為IRAP圖片的基礎(chǔ)層圖片(例如，具有層ID值0)的存取單元(例如，由與 跨越多個層相同的輸出時間相關(guān)聯(lián)的所有經(jīng)譯碼圖片組成的圖片群組)可稱作IRAP存取單 J L O
[0141] 位流末端NAL單元
[0142] 圖4是說明根據(jù)實施例的多層位流的存取單元的框圖。如圖4中所展示，存取單元 400包含第一視頻譯碼層(V化)NAL單元460且可包含一或多個其它任選的NAL單元。舉例來 說，存取單元400可包含W下各項中的每一者的一或多個:存取單元定界符NAL單元410、VPS NAL單元420、SPS NAL單元430、PPS NAL單元440、前綴沈I NAL單元450、額外經(jīng)譯碼圖片或 非V化NAL單元470，W及EoB NAL單元480。取決于實施方案的方面可包含列出的任選的NAL 單元中的每一者，且取決于用W對存取單元進(jìn)行編碼或解碼的視頻譯碼方案也可W包含其 它語法結(jié)構(gòu)。
[0143] 根據(jù)皿VC方案，當(dāng)EoB NAL單元480存在于存取單元400中時，下一存取單元將為 IRAP存取單元，其可為IDR存取單元、BLA存取單元或CRA存取單元，W便經(jīng)譯碼位流符合 肥VC方案。因此，當(dāng)包含在存取單元中時，EoB NAL單元480指示隨后的存取單元是IRAP存取 單元。
[0144] 在常規(guī)單層譯碼方案（例如，皿VC版本I)中，每一存取單元唯一地對應(yīng)于單個圖 片。舉例來說，在采用恢復(fù)點SEI消息方面，由于每一存取單元含有單個圖片，因此術(shù)語"存 取單元"與"圖片"能夠在單層譯碼方案的上下文中互換使用。然而，多層譯碼方案的存取單 元可包含針對位流的每一層的單獨圖片。換句話說，在多層位流中，單個存取單元可含有 (即，包含或包括)多個圖片。在例如MV-HEVC和SHVC等一些多層譯碼實施方案中，每一NAL單 元包含層識別符，其識別所述NAL單元屬于的層。因此，基于EoB NAL單元的層識別符的值而 界定EoB NAL單元的層。在常規(guī)單層譯碼方案中，用于全部NAL單元的層識別符限于同一層， 即層零。換句話說，常規(guī)單層譯碼方案的NAL單元全部識別為屬于同一層。然而，在多層譯碼 方案中，對NAL單元內(nèi)包含的層識別符不存在此些限制，包含與EoB NAL單元相關(guān)聯(lián)的層識 別符。
[0145] 由于多層譯碼方案中EoB NAL單元的層識別符的不受限制的性質(zhì)，當(dāng)EoB NAL單元 具有除零之外的值的層識別符時可能發(fā)生許多不合意的解碼錯誤。作為一實例，經(jīng)譯碼位 流可包含基礎(chǔ)層(BL)和增強層巧L)。當(dāng)編碼器與解碼器之間的帶寬受限制或下降到低于某 一水平時，所述增強層(或具有除層零外的層識別符的其它層)可從位流丟失(或經(jīng)不正確 地處理)而節(jié)省帶寬。運可例如當(dāng)視頻編碼器(例如，視頻編碼器20或視頻編碼器23)與視頻 解碼器(例如，視頻解碼器30或視頻解碼器33)之間的帶寬受到限制時發(fā)生。在此情形下，如 果EoB NAL單元具有帶有值一（"n的層識別符，即，EoB NAL單元包含于增強層化L)中，那 么所述EoB NAL單元將從位流丟失且將不被解碼器接收。
[0146] 存在許多依賴于EoB NAL單元內(nèi)含有的信息的譯碼方案的功能性。因此，當(dāng)EoB NAL單元從位流丟失時，運些功能將不如預(yù)期那樣執(zhí)行。在一個實例中，解碼器可基于EoB NAL單元是否存在于緊鄰CRA存取單元之前而W不同方式對包含清潔隨機存取(CRA)存取單 元的位流進(jìn)行解碼。因此，如果EoB NAL單元從增強層丟失，那么隨后的CRA存取單元的解碼 將不如預(yù)期那樣執(zhí)行。類似地，其它解碼功能性依賴于EoB NAL單元的存在W進(jìn)行恰當(dāng)解 碼，且因此，當(dāng)EoB NAL單元具有指示除層零外的層的層識別符值時，EoB NAL單元可丟失， 因為其包含在除基礎(chǔ)層外的層中，有可能解碼器將不能夠恰當(dāng)?shù)亟獯a位流。
[0147] 另外，多層譯碼標(biāo)準(zhǔn)并不界定任何額外功能性W允許EoB NAL單元具有除零之外 的值的層識別符。因此，在本發(fā)明的至少一個實施例中，將全部EoB NAL單元設(shè)定成具有零 的層識別符。具體來說，根據(jù)本發(fā)明，基于EoB NAL單元具有零的層識別符的約束而執(zhí)行位 流的編碼。通過將全部EoB NAL單元的層識別符限制于層零，NAL單元將不丟失(或經(jīng)不正確 地處理），因為如上文所論述僅具有除層零外的層識別符的NAL單元丟失。
[014引 些查
[0149]視頻譯碼方案可維持與經(jīng)譯碼視頻序列(CVS)的圖片相關(guān)聯(lián)的RPS。用于給定圖片 的WS含有包含按解碼次序在相關(guān)聯(lián)圖片之前的可W用于相關(guān)聯(lián)圖片的帖間預(yù)測的全部參 考圖片或按解碼次序在相關(guān)聯(lián)圖片之后的任何圖片的參考圖片集合。作為一實例，在皿VC 方案中，RPS包含五個RPS列表，其中S個共同地稱為短期RPS，且剩余兩個共同稱為長期 RPS。短期WS含有可W用于相關(guān)聯(lián)圖片W及按解碼次序在相關(guān)聯(lián)圖片之后的一或多個圖片 的帖間預(yù)測的全部參考圖片。長期RPS含有不用于相關(guān)聯(lián)圖片的帖間預(yù)測但可W用于按解 碼次序在相關(guān)聯(lián)圖片之后的一或多個圖片的帖間預(yù)測的全部參考圖片。
[0150] 圖5是說明編碼器或解碼器如何產(chǎn)生RPS的實例的框圖。在W下描述中，經(jīng)解碼圖 片緩沖器510將描述為包含在解碼器(例如，視頻解碼器30或視頻解碼器33)中，然而W下相 等地適用于編碼器。如圖5中所展示，解碼器的經(jīng)解碼圖片緩沖器510中保持多個圖片520到 528"RPS可針對圖片產(chǎn)生且可包含對經(jīng)解碼圖片緩沖器510中包含的圖片的參考。第一 RPS 列表530包含圖片520、522、526和528,而第二RPS列表540包含圖片520、524、526和528。圖5 的實施例僅是實例且包含在WS中的圖片可為來自位流的根據(jù)用W對位流進(jìn)行編碼的譯碼 方案的條件而用于參考的任何圖片。RPS列表530和540可為包含用作用于對同一層內(nèi)的圖 片進(jìn)行解碼的參考的圖片的常規(guī)RPS列表，或可為用于對不同層中的圖片進(jìn)行解碼的層間 WS列表。
[0151] 例如對肥VC方案的可縮放和多視圖擴展等多視圖視頻譯碼方案將WS的使用擴展 到包含用于層間預(yù)測的RPS。在一些實施例中，針對位流的每一層界定RPS，即，每一圖片維 持其自身的RPS。此外，可提供額外RPS，其包含用于相關(guān)聯(lián)圖片的層間預(yù)測的圖片的列表。 用于每一圖片的層間RPS可劃分成對應(yīng)于位流的層的子集。舉例來說，在2層位流中，層間 WS可劃分成層零子集和層一子集，其在下文將分別稱為WS層間零和WS層間一。
[0152] 如先前描述，圖片可出于例如帶寬要求等各種原因而從位流丟失（或經(jīng)不正確地 處理），或圖片可在編碼器與解碼器之間的發(fā)射中失去。當(dāng)候選層間參考圖片不存在于由解 碼器接收的位流中時，即未接收到WS層間子集中經(jīng)識別的參考圖片時，應(yīng)將指示無參考圖 片存在的"無參考圖片"的條目插入到對應(yīng)RPS層間子集中。可基于當(dāng)前層的視圖識別符 (ID)、候選層間參考圖片屬于的層的視圖IDW及基礎(chǔ)層的視圖ID而確定適當(dāng)子集。此處，視 圖ID是指類似于層ID且可指代多視圖編碼標(biāo)準(zhǔn)內(nèi)的圖片的視圖。
[0153] 在當(dāng)前的可縮放和多視圖擴展中，"無參考圖片"條目僅輸入到WS層間零中，即使 已所述解碼器接收的候選層間參考圖片原本將已經(jīng)添加到WS層間一。此行為是不合意的， 因為應(yīng)在遺失的層間參考圖片將已經(jīng)輸入的位置中指示"無參考圖片"的條目。無校正的情 況下，此行為可導(dǎo)致當(dāng)層間參考圖片遺失時兩個RPS層間子集中的層間參考圖片的不合需 要的或不正確的相對定位。另外，此行為也可導(dǎo)致包含于WS層間子集中的列表的大小不正 確。運可潛在地導(dǎo)致當(dāng)解碼位流時層間參考圖片的不正確參考。因此，本發(fā)明的另一目的是 校正此行為。
[0154] 在一個實施例中，當(dāng)前圖片的視圖ID用W確定"無參考圖片"的條目插入到哪一 RPS層間子集中。舉例來說，當(dāng)候選層間參考圖片對于圖片不存在時，基于遺失的層間參考 圖片的視圖I明尋"無參考圖片"的條目包含到對應(yīng)WS層間子集中。在其它實施例中，在哪一 RPS層間子集對應(yīng)于遺失的候選層間參考圖片的確定中也可W使用其它層的視圖ID。舉例 來說，在所述確定中可W使用候選層間參考圖片的視圖ID和基礎(chǔ)層的視圖ID。因此，通過將 "無參考圖片'的條目包含到對應(yīng)R喲！間子集中，可校正RPS層間子集中的層間參考圖片的 相對定位，且也可校正WS層間子集的相應(yīng)大小。
[0155] 本發(fā)明的另一方面可解決位流的發(fā)射損失的不正確推斷。可縮放和多視圖擴展提 出包含可拋棄的旗標(biāo)，所述旗標(biāo)指示與所述可拋棄旗標(biāo)相關(guān)聯(lián)的圖片是否既不用于任何其 它圖片的層間預(yù)測也不用于任何其它圖片的帖間預(yù)測。在一些實施例中，此旗標(biāo)包含在位 流的切片標(biāo)頭中，且針對相關(guān)聯(lián)圖片內(nèi)的全部切片片段具有相同值。在常規(guī)多層譯碼方案 中，當(dāng)圖片具有指示所述圖片可拋棄的相關(guān)聯(lián)可拋棄旗標(biāo)時，沒有所述可拋棄圖片不存在 于任何時間或?qū)娱gWS中的要求。此外，常規(guī)方案也不會不允許可拋棄圖片存在于參考圖片 列表中，只要沒有PU參考可拋棄圖片中的PU即可。因此，可拋棄圖片可包含在RPS或參考圖 片列表中，只要其不用于參考即可。
[0156] 如果可拋棄圖片包含在WS或參考圖片列表中，那么由于所述包含，解碼器可能不 正確地推斷損失和/或可能引入帶寬和解碼低效率。舉例來說，當(dāng)在帶寬約束下時，可從位 流移除可拋棄圖片W便節(jié)省帶寬，因為當(dāng)解碼位流中的其它圖片時其將不用于參考。當(dāng)拋 棄的圖片包含在RPS中時，解碼器將辨識出拋棄的圖片可W用于由尚未在解碼器處接收的 另一圖片參考。由于解碼器辨識出拋棄的圖片可W用于參考，因此其可請求從編碼器重新 發(fā)射拋棄的圖片。此行為將減少在拋棄可拋棄圖片中初始地獲得的帶寬節(jié)省，且導(dǎo)致解碼 器中的低效率。
[0157] 因此，在至少一個實施例中，不允許與指示圖片可拋棄（即，具有值一）的可拋棄旗 標(biāo)相關(guān)聯(lián)的圖片包含在層間WS或時間WS中。
[0158] 在另一實施例中，用于參考的旗標(biāo)可與圖片唯一地相關(guān)聯(lián)。用于參考的旗標(biāo)指示 相關(guān)聯(lián)圖片是否包含在至少一個WS中。在此實施例中，僅準(zhǔn)許具有值為一的用于參考的旗 標(biāo)的圖片包含在WS中。
[0159] 用于對視頻信息進(jìn)行編碼的實例流程圖
[0160] 參考圖6,將描述基于具有值零的層識別值的EoB NAL單元對視頻信息進(jìn)行編碼的 實例程序。圖6是說明根據(jù)實施例的用于對視頻信息進(jìn)行編碼的方法600的流程圖。圖6中說 明的步驟可由視頻編碼器(例如，視頻編碼器20或視頻編碼器23 )、視頻解碼器(例如，視頻 解碼器30或視頻解碼器33)或任何其它組件執(zhí)行。為方便起見，將方法600描述為由視頻編 碼器(也簡稱為編碼器)執(zhí)行，其可為視頻編碼器20或23、視頻解碼器30或33或另一組件。
[0161] 方法600開始于框601。在框605處，編碼器確定包含在視頻信息中的存取單元是否 包含EoB NAL單元。在框610處，編碼器根據(jù)約束將用于EoB NAL單元的層識別值設(shè)定為零。 待編碼視頻信息包含至少一個EoB NAL單元，其包含識別所述EoB NAL單元屬于的層的層識 別值。在框615處，編碼器至少部分地基于層識別值的為零的值而對視頻信息進(jìn)行編碼。所 述方法在620處結(jié)束。
[0162] 參考圖7,將描述指示用于視頻解碼的RPS層間子集中不存在參考圖片的實例程 序。圖7是說明根據(jù)實施例的用于對視頻信息進(jìn)行解碼的方法700的流程圖。圖7中說明的步 驟可由視頻編碼器(例如，視頻編碼器20或視頻編碼器23)、視頻解碼器(例如，視頻解碼器 30或視頻解碼器33)或任何其它組件執(zhí)行。為方便起見，將方法700描述為由視頻解碼器(也 簡稱為解碼器)執(zhí)行，其可為視頻編碼器20或23、視頻解碼器30或33或另一組件。
[0163] 方法700開始于框701。在框705處，解碼器確定候選層間參考圖片是否存在于視頻 信息中。圖片可響應(yīng)于帶寬限制而從經(jīng)譯碼視頻信息丟失，或可在從編碼器的發(fā)射期間意 外地失去。因此，解碼器可通過確定候選層間參考圖片是否存在而確定候選層間參考圖片 是否已從視頻信息丟失。
[0164] 所述方法在框710處繼續(xù)，其中解碼器響應(yīng)于確定候選層間參考圖片不存在而確 定候選層間參考圖片屬于的WS層間子集。舉例來說，此確定可包含確定候選層間參考圖片 如果存在于視頻信息中則將已包含在哪一子集中。在一些實施例中，運可包含確定當(dāng)前層 的視圖ID、候選層間參考圖片的視圖ID和/或基礎(chǔ)層的視圖ID。
[0165] 在框715處繼續(xù)，解碼器指示無參考圖片存在于候選層間參考圖片屬于的WS層間 子集中。所述方法在720處結(jié)束。
[0166] 參考圖8,將描述用于確定是否在用于視頻譯碼的RPS中包含圖片的實例程序。圖8 是說明根據(jù)實施例的用于對視頻信息進(jìn)行編碼的方法800的流程圖。圖8中說明的步驟可由 編碼器(例如，視頻編碼器20或視頻編碼器23)、視頻解碼器(例如，視頻解碼器30或視頻解 碼器33)或任何其它組件執(zhí)行。為方便起見，將方法800描述為由視頻編碼器執(zhí)行，其可為視 頻編碼器20或23、視頻解碼器30或33或另一組件。
[0167] 方法800開始于框801。在框805處，編碼器確定視頻信息的當(dāng)前圖片是否是可拋棄 圖片。每一圖片例如包含指示所述圖片是否是可拋棄圖片的可拋棄旗標(biāo)。在一些實施例中， 僅當(dāng)圖片不包含在任何WS中時才可將其識別為可拋棄圖片。
[0168] 所述方法在框810處繼續(xù)，其中編碼器基于當(dāng)前圖片是可拋棄圖片的確定而避免 在WS中包含當(dāng)前圖片。所述方法在815處結(jié)束。
[0169] 在方法600至化00中，可移除(例如，不執(zhí)行）圖6至化中所示的框中的一或多者和/或 可切換所述方法執(zhí)行的次序。在一些實施例中，可對方法600至化00添加額外的框。本發(fā)明的 實施例不限于圖6至化中所示的實例，且在不脫離本發(fā)明的精神的情況下可實施其它變化。
[0170] 實例實施方案
[0171] 下文概括且描述一些實施例。當(dāng)再現(xiàn)皿VC規(guī)范的某些部分W說明可經(jīng)并入W實施 本文所描述的方法中的一或多者的添加和刪除時，分別W斜體字和艦換續(xù)展示此些修改。 [017。與EoB NAL單元相關(guān)的改變
[0173] 在本發(fā)明的一些實施方案中，可如下所述修改EoB NAL單元。
[0174]
[0175]
[0176] 表1-EoB NAL單元語義修改
[0177] 對層間RPS的解碼過程的改變
[0178] 在本發(fā)明的一些實施方案中，可如下所述修改層間RPS。
[0179]
[0180]
[0181]表2-層間RPS語義修改 [01劇對RPS的解碼過程的改變
[0183] 在一些實施方案中（例如，SHVC、MV-HEVC等），可如下所述修改RPS。
[01841
[01851
[01化」表3-RPS語義修改
[0187] 其它考慮
[0188] 可使用多種不同技術(shù)和技藝中的任一者來表示本文中所掲示的信息和信號。例 如，可通過電壓、電流、電磁波、磁場或磁粒子、光場或光粒子或或其任何組合來表示貫穿W 上描述可能參考的數(shù)據(jù)、指令、命令、信息、信號、位、符號和碼片。
[0189] 結(jié)合本文掲示的實施例所描述的各種說明性邏輯塊、電路及算法步驟可實施為電 子硬件、計算機軟件，或兩者的組合。為清晰地說明硬件與軟件的此可互換性，W上已大體 就其功能性來描述了各種說明性組件、塊、電路和步驟。此功能性是實施為硬件還是軟件取 決于特定應(yīng)用及施加于整個系統(tǒng)的設(shè)計約束。熟練的技術(shù)人員可針對每一特定應(yīng)用W不同 方式實施所描述的功能性，但此類實施決策不應(yīng)被解釋為引起偏離本發(fā)明的范圍。
[0190] 本文中所描述的技術(shù)可W硬件、軟件、固件或其任一組合來實施。所述技術(shù)可實施 于多種裝置中的任一者中，例如通用計算機、無線通信裝置手持機或集成電路裝置，其具有 包含在無線通信裝置手持機及其它裝置中的應(yīng)用的多種用途。被描述為組件的任何特征可 共同實施于集成邏輯裝置中或單獨實施為離散但可互操作的邏輯裝置。如果W軟件實施， 那么所述技術(shù)可至少部分地由包括程序代碼的計算機可讀數(shù)據(jù)存儲媒體來實現(xiàn)，所述程序 代碼包含在執(zhí)行時執(zhí)行上文所描述的方法中的一或多者的指令。計算機可讀數(shù)據(jù)存儲媒體 可形成計算機程序產(chǎn)品的一部分，所述計算機程序產(chǎn)品可包含封裝材料。計算機可讀媒體 可包括存儲器或數(shù)據(jù)存儲媒體，例如隨機存取存儲器(RAM)(例如，同步動態(tài)隨機存取存儲 器(SDRAM))、只讀存儲器(ROM)、非易失性隨機存取存儲器(NVRAM)、電可擦除可編程只讀存 儲器化EPROM)、快閃存儲器、磁性或光學(xué)數(shù)據(jù)存儲媒體及類似物。另外或作為替代，所述技 術(shù)可至少部分地由計算機可讀通信媒體來實現(xiàn)，所述計算機可讀通信媒體W指令或數(shù)據(jù)結(jié) 構(gòu)的形式載運或傳達(dá)程序代碼且可由計算機存取、讀取和/或執(zhí)行（例如，傳播的信號或 波)。
[0191 ] 程序代碼可由處理器執(zhí)行，所述處理器可包含一或多個處理器，例如，一或多個數(shù) 字信號處理器(DSP)、通用微處理器、專用集成電路(ASIC)、現(xiàn)場可編程邏輯陣列(FPGA)或 其它等效集成或離散邏輯電路。此處理器可經(jīng)配置W執(zhí)行本發(fā)明中描述的技術(shù)中的任一 者。通用處理器可為微處理器;但在替代方案中，處理器可為任何常規(guī)處理器、控制器、微控 制器或狀態(tài)機。處理器還可實施為計算裝置的組合，例如，DSP與微處理器的組合、多個微處 理器、一或多個微處理器結(jié)合DSP核屯、，或任何其它此類配置。因此，如本文中所使用的術(shù)語 "處理器"可指前述結(jié)構(gòu)中的任一者、前述結(jié)構(gòu)的任何組合，或適用于實施本文中所描述的 技術(shù)的任何其它結(jié)構(gòu)或設(shè)備。另外，在某些方面中，可將本文中所描述的功能性提供于經(jīng)配 置W用于編碼和解碼的專用軟件或硬件內(nèi)或并入組合的視頻編碼器-解碼器（編解碼器） 中。并且，可將所述技術(shù)完全實施于一或多個電路或邏輯元件中。
[0192] 本發(fā)明的技術(shù)可在多種多樣的裝置或設(shè)備中實施，包含無線手持機、集成電路 (IC)或一組IC(例如，忍片組）。本發(fā)明中描述各種組件或單元是為了強調(diào)經(jīng)配置W執(zhí)行所 掲示技術(shù)的裝置的功能方面，但未必需要通過不同硬件單元實現(xiàn)。實際上，如上文所描述， 各種單元可W配合合適的軟件和/或固件組合在編解碼器硬件單元中，或者通過互操作硬 件單元的集合來提供，所述硬件單元包含如上文所描述的一或多個處理器。
[0193] 已描述本發(fā)明的各種實施例。運些和其它實施例在所附權(quán)利要求書的范圍內(nèi)。
【主權(quán)項】
1. 一種用于對多層位流的視頻信息進(jìn)行解碼的方法，其包括： 確定候選層間參考圖片是否存在于所述視頻信息中，其中所述視頻信息包括包含多個 子集的層間參考圖片集RPS; 響應(yīng)于確定所述候選層間參考圖片不存在，確定所述候選層間參考圖片屬于的層間 RPS子集；以及 指示無參考圖片存在于所述候選層間參考圖片屬于的所述層間RPS子集中。2. 根據(jù)權(quán)利要求1所述的方法，其中所述確定所述候選層屬于的所述層間RPS子集是至 少部分地基于所述候選層間參考圖片的視圖識別符。3. 根據(jù)權(quán)利要求2所述的方法，其中所述確定所述候選層屬于的所述層間RPS子集是基 于：i)當(dāng)前層的視圖識別符，ii)所述候選層間參考圖片的所述視圖識別符，以及iii)基礎(chǔ) 層的視圖識別符。4. 根據(jù)權(quán)利要求1所述的方法，其進(jìn)一步包括至少部分地基于無參考圖片存在于所述 層間RPS子集中的所述指示而對所述視頻信息進(jìn)行解碼。5. 根據(jù)權(quán)利要求4所述的方法，其中所述對所述視頻信息進(jìn)行解碼是至少部分地基于 多視圖視頻譯碼標(biāo)準(zhǔn)。6. -種用于對多層位流的視頻信息進(jìn)行解碼的裝置，其包括： 存儲器，其經(jīng)配置以存儲所述視頻信息；以及 處理器，其與所述存儲器通信且經(jīng)配置以： 確定候選層間參考圖片是否存在于所述視頻信息中，其中所述視頻信息包括包含多個 子集的層間參考圖片集RPS; 響應(yīng)于確定所述候選層間參考圖片不存在，確定所述候選層間參考圖片屬于的層間 RPS子集；以及 指示無參考圖片存在于所述候選層間參考圖片屬于的所述層間RPS子集中。7. 根據(jù)權(quán)利要求6所述的裝置，其中所述處理器進(jìn)一步經(jīng)配置以至少部分地基于所述 候選層間參考圖片的視圖識別符而確定所述候選層屬于的所述層間RPS子集。8. 根據(jù)權(quán)利要求7所述的裝置，其中所述處理器進(jìn)一步經(jīng)配置以基于以下各項來確定 所述候選層屬于的所述層間RPS子集：i)當(dāng)前層的視圖識別符，ii)所述候選層間參考圖片 的所述視圖識別符，以及i i i)基礎(chǔ)層的視圖識別符。9. 根據(jù)權(quán)利要求6所述的裝置，其中所述處理器進(jìn)一步經(jīng)配置以至少部分地基于無參 考圖片存在于所述層間RPS子集中的所述指示而對所述視頻信息進(jìn)行解碼。10. 根據(jù)權(quán)利要求9所述的裝置，其中所述處理器進(jìn)一步經(jīng)配置以至少部分地基于多視 圖視頻譯碼標(biāo)準(zhǔn)而對所述視頻信息進(jìn)行解碼。11. 一種用于對多層位流的視頻信息進(jìn)行編碼的方法，其包括： 確定包含在所述視頻信息中的存取單元是否包含位流末端EoB網(wǎng)絡(luò)抽象層NAL單元； 根據(jù)約束將用于所述EoB NAL單元的層識別值設(shè)定為零；以及 至少部分地基于用于所述層識別值的為零的值而對所述視頻信息進(jìn)行編碼。12. -種用于對多層位流的視頻信息進(jìn)行編碼的裝置，其包括： 存儲器，其經(jīng)配置以存儲所述視頻信息；以及 處理器，其與所述存儲器通信且經(jīng)配置以： 確定包含在所述視頻信息中的存取單元是否包含位流末端EoB網(wǎng)絡(luò)抽象層NAL單元； 根據(jù)約束將用于所述EoB NAL單元的層識別值設(shè)定為零；以及 至少部分地基于用于所述層識別值的為零的值而對所述視頻信息進(jìn)行編碼。
【文檔編號】H04N19/30GK105830446SQ201480068502
【公開日】2016年8月3日
【申請日】2014年12月30日
【發(fā)明人】阿達(dá)許·克里許納·瑞瑪蘇布雷蒙尼安, 伏努·亨利, 王益魁
【申請人】高通股份有限公司