W及"B",但并不限定于此。也能夠按照解碼圖像POUT#B 能僅利用"B"進行解碼的方式來構成分層編碼數據。
[0103] 此外,在實現SNR可適性的情況下,也能夠按照下述方式來生成分層編碼數據: 在作為輸入圖像PIN#A、PIN#B W及PiN#C而利用同一原圖的基礎上,使解碼圖像P0UT#A、 P0UT#B W及P〇UT#C成為不同的畫質。在該情況下,下級階層的分層運動圖像編碼裝置與上 級階層的分層運動圖像編碼裝置相比,利用更大的量化幅度來對預測殘差進行量化,由此 生成分層編碼數據。
[0104] 在本說明書中,為了便于說明而如下那樣對術語進行定義。W下的術語只要沒有 特別聲明,則用于表征下述技術事項。
[0105] 上級層;將位于比某階層更上級的位置的階層稱為上級層。例如,在圖2中,下級 階層L3的上級層是中級階層L2 W及上級階層L1。另外,上級層的解碼圖像是指更高質量 的(例如,分辨率高、畫質高等)解碼圖像。
[0106] 下級層;將位于比某階層更下級的位置的階層稱為下級層。例如,在圖2中,上級 階層L1的下級層是中級階層L2 W及下級階層L3。另外,下級層的解碼圖像是指更低質量 的解碼圖像。
[0107] 對象層:是指成為解碼或者編碼的對象的階層。
[0108] 參考層(reference layer);將解碼與對象層對應的解碼圖像所參考的特定的下 級層稱為參考層。
[0109] 在圖2(a) W及化)所示的例子中,上級階層L1的參考層是中級階層L2 W及下級 階層L3。但是并不限定于此,也能夠按照在特定的上述層的解碼中可W不參考所有下級層 的方式來構成分層編碼數據。例如,可按照上級階層L1的參考層為中級階層L2 W及下級 階層L3中的任一者的方式來構成分層編碼數據。
[0110] 基本層化ase layer);將位于最下層的階層稱為基本層?;緦拥慕獯a圖像是可 從編碼數據解碼出的最低質量的解碼圖像,也被稱為基本解碼圖像。換言之,基本解碼圖像 是與最下層的階層對應的解碼圖像?;窘獯a圖像的解碼所需的分層編碼數據的部分編碼 數據被稱為基本編碼數據。例如,上級階層L1的分層編碼數據DATA#A所包含的基本信息 "C"是基本編碼數據。
[0111] 擴展層:基本層的上級層被稱為擴展層。
[0112] 層標識符;層標識符用于對階層進行識別,與階層一一對應。在分層編碼數據中, 包含為了對特定的階層的解碼圖像的解碼所需的部分編碼數據進行選擇而使用的階層標 識符。與特定的層對應的層標識符所關聯對應的分層編碼數據的子集也被稱為層表現。
[0113] 一般,在特定的階層的解碼圖像的解碼中,使用該階層的層表現、W及/或者與該 階層的下級層對應的層表現。目P,在對象層的解碼圖像的解碼中,使用對象層的層表現、W 及/或者對象層的下級層所包含的一個W上階層的層表現。
[0114] 層間預測;層間預測是指基于與對象層的層表現不同的階層(參考層)的層表 現所包含的語法要素值、從語法要素值導出的值、W及解碼圖像,來預測對象層的語法要素 值、對象層的解碼中使用的編碼參數等。有時也將根據(同時刻的)參考層的信息來預測 與運動預測相關的信息的層間預測稱為運動信息預測。另外,有時也將根據對(同時刻的) 下級層的解碼圖像進行增采樣而得到的圖像來進行預測的層間預測稱為紋理預測(或者 層間峽內預測)。此外,層間預測中使用的階層例如是對象層的下級層。另外,有時將不使 用參考層而在對象層內進行預測也稱為層內預測。
[0115] 時態(tài)標識符;時態(tài)標識符是用于識別與時間可適性相關的層(W后稱為子層)的 標識符。時態(tài)標識符用于對子層進行識別,與子層一一對應。在編碼數據中,包含為了對特 定的子層的解碼圖像的解碼所需的部分編碼數據進行選擇而使用的時態(tài)標識符。
[0116] 子層;子層是指根據時態(tài)標識符來確定的與時間可適性相關的層。為了與空間可 適性、SNR可適性等其他可適性進行區(qū)別,W后稱為子層(也稱為時態(tài)層)。
[0117] 此外,下面,設為時間可適性是通過基本層的編碼數據、或者對某層進行解碼所需 的分層編碼數據所包含的子層來實現的。
[011引關于時間可適性,利用圖3(a)來進行說明。在SVC、肥VC中,為了實現時間可適 性,導入了 W嵌套方式進行利用B圖片的圖片參考的階層B圖片。圖3(a)表征了階層B圖 片中的圖片參考關系。在此,符號L#N表示某層N,符號化麵表示屬于某層N的時間可適 性的子層(子階層)M。在變更峽頻來實現時間可適性的情況下,首先廢棄未被其他圖片參 考的B圖片的編碼數據。在圖3(a)的情況下,通過廢棄屬于子層化#4的B圖片炬2、B4、 B6、B8)的編碼數據,生成峽頻變?yōu)?/2的子層化#1~化#3的編碼數據。通過進一步廢棄 未被其他圖片參考的B圖片(在圖3 (a)中為屬于子層化#3的B圖片炬3、B7))的編碼數 據,生成峽頻變?yōu)?/4的子層化#1~化#2的編碼數據。通過反復進行上述處理,能夠分段 地調整峽頻。另外,作為對各子層進行識別的標識符,有時態(tài)標識符(temporalld ;也稱為 tW、temporal_id)。在圖3(a)中,表示了使各B圖片的參考結構的級數與子層--對應 的例子,但并不限定于此。例如,可W將多個B圖片的參考結構的級數與子層一一對應或W 多對一的方式建立對應。例如,在圖3(b)中,可W按照由圖片I1、B3、B5、B7、P9構成子層 SL#1、由圖片B2、B4、B6、B8構成子層化#2的方式來建立對應。
[0119] 此外,W上的術語只是為了便于說明而采用的術語,也可將上述的技術事項用其 他術語來表現。
[0120] (關于分層編碼數據的數據結構)
[0121] W下,作為生成各階層的編碼數據的編碼方式,例示使用肥VC及其擴展方式的情 況。但是并不限定于此,也可通過MPEG-2、H. 264/AVC等編碼方式來生成各階層的編碼數 據。
[0122] 另外,也可通過不同的編碼方式對下級層和上級層進行編碼。另外,各階層的編碼 數據可W經由彼此不同的傳輸路徑提供給分層運動圖像解碼裝置1,也可經由同一傳輸路 徑提供給分層運動圖像解碼裝置1。
[0123] 例如,在通過基本層W及一個擴展層對超高清影像(運動圖像,4K影像數據)進行 可伸縮編碼并傳輸的情況下,可W是:基本層將對4K影像數據進行縮小并進行交織化后的 影像數據通過MPEG-2或者H. 264/AVC來編碼,并利用電視廣播網進行傳輸,擴展層將4K影 像(progressive)通過肥VC進行編碼,并通過互聯網進行傳輸。
[0124] (基本層)
[0125] 圖4是例示能夠在基本層中采用的編碼數據(在圖2的例子中為分層編碼數據 DATA#C)的數據結構的圖。分層編碼數據DATA#C例如包含序列W及構成序列的多個圖片。
[0126] 將分層編碼數據DATA#C中的數據的分層結構表示在圖4中。圖4(a)~(e)分別 是;(a)是表示對序列SEQ進行規(guī)定的序列層的圖,化)是表示對圖片PICT進行規(guī)定的圖片 層的圖,(C)是表示對切片S進行規(guī)定的切片層的圖,(d)是表示對樹塊(Tree block)TBLK 進行規(guī)定的樹塊層的圖,(e)是表示對樹塊TBLK所包含的編碼單位(Coding化it ;CU)進 行規(guī)定的CU層的圖。
[0127] (序列層)
[012引在序列層中,規(guī)定了為了對處理對象的序列SEQ( W下也稱為對象序列)進行解碼 而分層運動圖像解碼裝置1所參考的數據的集合。序列SEQ如圖4(a)所示,包含;視頻參 數集 VPS (Video Parameter Set)、序列參數集 SPS (Sequence Parameter Set)、圖片參數 集 PPS (Picture Parameter Set)、自適應參數集 APS (Adaptation Parameter Set)、圖片 PICTi~PICTnp(NP是序列SEQ所包含的圖片的總數)W及附加擴展信息SEI (Supplemental Enhancement Information)。
[0129] 在視頻參數集VPS中,關于基本層W及擴展層,規(guī)定了用于對對象序列進行解碼 的分層運動圖像解碼裝置1所參考的公共的編碼參數的集合。VI^S的詳細內容在后面記述。
[0130] 在序列參數集SPS中,規(guī)定了為了對對象序列進行解碼而分層運動圖像解碼裝置 1所參考的編碼參數的集合。SPS的詳細內容在后面記述。
[0131] 在圖片參數集PPS中,規(guī)定了為了對對象序列內的各圖片進行解碼而分層運動圖 像解碼裝置1所參考的編碼參數的集合。此外,PPS可W存在多個。在該情況下,根據對象 序列內的各圖片來選擇多個PPS的任一個。
[0132] 自適應參數集AI^S規(guī)定了為了對對象序列內的各切片進行解碼而分層運動圖像 解碼裝置1所參考的編碼參數的集合。AI^S可W存在多個。在該情況下,根據對象序列內的 各切片來選擇多個APS的任一個。
[0133] (圖片層)
[0134] 在圖片層中,規(guī)定了為了對處理對象的圖片PICT( W下也稱為對象圖片)進行解 碼而分層運動圖像解碼裝置1所參考的數據的集合。圖片PICT如圖4(b)所示,包含圖片 首部PH W及切片Si~S WS (NS是圖片PICT所包含的切片的總數)。
[013引此外,W下,在不需要區(qū)分切片Si~Sws的各切片的情況下,有時會省略符號的下 標來記述。另外,對于W下說明的分層編碼數據DATA#C所包含的數據且標注了下標的其他 數據也是同樣的。
[0136] 圖片首部PH中包含為了決定對象圖片的解碼方法而分層運動圖像解碼裝置1所 參考的編碼參數群。此外,編碼參數群未必需要直接包含在圖片首部PH內,例如也可通過 包含向圖片參數集PPS的參考而間接地進行包含。
[0137] (切片層)
[013引在切片層中,規(guī)定了為了對處理對象的切片S(也稱為對象切片)進行解碼而分層 運動圖像解碼裝置1所參考的數據的集合。切片S如圖4(c)所示,包含切片首部甜、W及 樹塊TBLKi~TBLK we (NC是切片S所包含的樹塊的總數)的序列。
[0139] 切片首部甜中包含為了決定對象切片的解碼方法而分層運動圖像解碼裝置1所 參考的編碼參數群。對切片類型進行指定的切片類型指定信息(slice_type)是切片首部 甜所包含的編碼參數的一例。
[0140] 作為可由切片類型指定信息指定的切片類型,可列舉(1)編碼時僅使用峽內預測 的I切片、(2)編碼時使用單向預測或者峽內預測的P切片、(3)編碼時使用單向預測、雙向 預測或者峽內預測的B切片等。
[0141] 此外,切片首部甜中也可包含;上述序列層所包含的向圖片參數集PPS的參考 (pic_parameter_set_id)、向自適應參數集 APS 的參考(aps_id)。
[0142] 另外,切片首部甜中包含由分層運動圖像解碼裝置1所具備的自適應濾波器參考 的濾波器參數FP。濾波器參數FP包含濾波器系數群。濾波器系數群中包含;(1)對濾波器 的抽頭數進行指定的抽頭數指定信息,(2)濾波器系數a。~a wT_i (NT是濾波器系數群所包 含的濾波器系數的總數),W及(3)偏移。
[0143] (樹塊層)
[0144] 在樹塊層中,規(guī)定了為了對處理對象的樹塊TBLK( W下也稱為對象樹塊)進行解 碼而分層運動圖像解碼裝置1參考的數據的集合。此外,有時也將樹塊稱為編碼樹塊(CTB : Coding Tree block)、或者最大編碼單位(XCU;Largest Cording Unit)。
[0145] 樹塊TBLK包含樹塊首部TBLKH和編碼單位信息CUi~CU WL (化是樹塊TBLK所包 含的編碼單位信息的總數)。在此,首先,對樹塊TBLK與編碼單位信息CU的關系進行如下 說明。
[0146] 樹塊TBLK被分割成用于確定峽內預測或者峽間預測W及變換的各處理用的塊尺 寸的分區(qū)。
[0147] 樹塊TBLK的上述分區(qū)通過遞歸的四叉樹分割而被分割。W下將通過該遞歸的四 叉樹分割而得到的樹結構稱為編碼樹(coding化ee)。
[0148] W下,將作為編碼樹的末端的節(jié)點的葉(leaf)所對應的分區(qū)作為編碼節(jié)點 (coding node)來參考。另外,由于編碼節(jié)點為編碼處理的基本單位,因此W下將編碼節(jié)點 也稱為編碼單位(CU)。此外,編碼節(jié)點有時也稱為編碼塊(CB;Coding Block)。
[0149] 目P,編碼單位信息(W下稱為CU信息)CUi~CUwL是將樹塊TBLK遞歸地進行四叉 樹分割而得到的各編碼節(jié)點(編碼單位)所對應的信息。
[0150] 另外,編碼樹的根(root)與樹塊TBLK建立對應。換言之,樹塊TBLK與遞歸地包 含多個編碼節(jié)點的四叉樹分割的樹結構的最上級節(jié)點建立對應。
[0151] 此外,各編碼節(jié)點的尺寸是該編碼節(jié)點直接所屬的編碼節(jié)點(目P,該編碼節(jié)點的 上1級階層的節(jié)點的分區(qū))的尺寸的縱橫的各一半。
[0152] 另外,樹塊TBLK的尺寸W及各編碼節(jié)點可取的尺寸依賴于分層編碼數據DATA#C 的序列參數集SPS所包含的最小編碼節(jié)點的尺寸指定信息、W及最大編碼節(jié)點與最小編碼 節(jié)點的階層深度的差分。例如,在最小編碼節(jié)點的尺寸為8X8像素、最大編碼節(jié)點與最小 編碼節(jié)點的階層深度的差分為3的情況下,樹塊TBLK的尺寸為64X64像素,編碼節(jié)點的尺 寸可取4種尺寸即64X64像素、32X32像素、16X 16像素W及8X8像素中的任一種。
[0153] (樹塊首部)
[0154] 樹塊首部TBLKH中包含為了決定對象樹塊的解碼方法而分層運動圖像解碼裝置1 所參考的編碼參數。具體而言,如圖4(d)所示,包含:指定對象樹塊分割成各CU的分割圖 案的樹塊分割信息SP_TBLK、W及指定量化步長的大小的量化參數差分A qp (qp_delta)。
[0155] 樹塊分割信息SP_TBLK是表示用于對樹塊進