本發(fā)明涉及對分層編碼圖像的分層編碼數(shù)據(jù)進(jìn)行解碼的圖像解碼裝置、以及通過對圖像進(jìn)行分層編碼而生成分層編碼數(shù)據(jù)的圖像編碼裝置。

背景技術(shù)：

圖像或視頻是通信系統(tǒng)傳輸?shù)男畔ⅰ⒒虼鎯?chǔ)裝置中記錄的信息之一?，F(xiàn)有技術(shù)中，已知有圖像編碼技術(shù)用于這些圖像(包含視頻，以下以圖像為例)的傳輸和存儲(chǔ)。

已知的視頻編碼方式，有AVC(H.264/MPEG-4Advanced Video Coding)、及其后續(xù)的編解碼方式HEVC(High-Efficiency Video Coding)(非專利文獻(xiàn)1)。

這些視頻編碼方式中，通常是根據(jù)對輸入圖像進(jìn)行編碼/解碼所得到的局部解碼圖像生成預(yù)測圖像，對輸入圖像(原圖像)減去該預(yù)測圖像所得到的預(yù)測殘差(也稱為“差分圖像”或“殘差圖像”)進(jìn)行編碼。此外，預(yù)測圖像的生成方法有幀間預(yù)測(Inter預(yù)測)、幀內(nèi)預(yù)測(Intra預(yù)測)等。

此外，近年來還提出了根據(jù)必要的數(shù)據(jù)速率，對圖像進(jìn)行分層編碼的可分級編碼技術(shù)、或分層編碼技術(shù)。SHVC(Scalable HEVC)和MV-HEVC(MultiView HEVC)是已知的有代表性的可分級編碼方式(分層編碼方式)。

SHVC支持空域可分級、時(shí)域可分級、SNR可分級。例如，空域可分級的情況，將從原圖像按所希望的分辨率進(jìn)行下采樣后的圖像作為低層進(jìn)行編碼，然后在高層進(jìn)行層間預(yù)測以去除層間的冗余(非專利文獻(xiàn)2)。

MV-HEVC支持視點(diǎn)可分級(view scalability)。例如，在對視點(diǎn)圖像0(層0)、視點(diǎn)圖像1(層1)、視點(diǎn)圖像2(層2)的3個(gè)視點(diǎn)圖像進(jìn)行編碼時(shí)，通過從低層(層0)對高層的視點(diǎn)圖像1、視點(diǎn)圖像2進(jìn)行層間預(yù)測，可去除層間的冗余(非專利文獻(xiàn)3)。

SHVC和MV-HEVC等中，從輸入的分層編碼數(shù)據(jù)中解碼屬于指定的對象輸出層集的各層，作為輸出層輸出所指定層的解碼圖片。作為輸出層集的相關(guān)信息被解碼/編碼的有表示層的集合的層集、以及指定將層集中的哪些層作為輸出層的輸出層標(biāo)記、對應(yīng)各層集的Profile/Level信息(以下稱為PTL信息)、HRD信息、DPB信息等。

現(xiàn)有技術(shù)中，輸出層集OLS#0～OLS#(VpsNumLayerSets-1)與各輸出層集下標(biāo)(也稱為輸出層集標(biāo)識符)對應(yīng)的層集LS#0～LS#(VpsNumLayerSets-1)建立了對應(yīng)關(guān)系，各輸出層集的輸出層通過默認(rèn)輸出層標(biāo)識符(default_target_ouput_layer_idc)值決定。例如，當(dāng)默認(rèn)輸出層標(biāo)識符值為0時(shí)，輸出層集的全部層都為輸出層；當(dāng)默認(rèn)輸出層標(biāo)識符值為1時(shí)，輸出層集中具有最高層的層ID的主層成為輸出層；當(dāng)默認(rèn)輸出層標(biāo)識符值為2時(shí)，各輸出層集OLS#i(i＝1..(VpsNumLayerSets-1))的輸出層通過明確通知的輸出層標(biāo)記(output_layer_flag)進(jìn)行指定。

此外，定義了追加輸出層集時(shí)(追加輸出層集數(shù)(num_add_output_layer_sets)大于0時(shí))，各輸出層集OLS#i(i＝VpsNumLayerSets..NumOuputLayerSets-1,輸出層集數(shù)NumOutputLayerSets＝VpsNumlayerSets+num_add_output_layer_sets))通過明確通知的層集標(biāo)識符(LayerSetIdx[i]＝output_layer_set_idx_minus1[i])與指定的層集LS#(LayerSetIdx[i])建立對應(yīng)關(guān)系，并且通過明確通知的輸出層標(biāo)記(output_layer_flag)指定輸出層。

現(xiàn)有技術(shù)文獻(xiàn)

非專利文獻(xiàn)

非專利文獻(xiàn)1：“Recommendation H.265(04/13)”,ITU-T(2013年6月7日公開)

非專利文獻(xiàn)2：JCTVC-P1008_v4“High efficiency video coding(HEVC)scalableextensions Draft 5”,Joint Collaborative Team on Video Coding(JCT-VC)of ITU-T SG 16WP 3and ISO/IEC JTC 1/SC 29/WG 11 16th Meeting:San Jose,US,9-17Jan.2014(2014年1月22日公開)

非專利文獻(xiàn)3：JCT3V-G1004_v6“MV-HEVC Draft Text 7”,Joint Collaborative Team on 3D Video Coding Extension Development of ITU-T SG 16WP 3and ISO/IEC JTC 1/SC 29/WG 11 7th Meeting:San Jose,US,11-17Jan.2014.(2014年1月24日公開)

技術(shù)實(shí)現(xiàn)要素：

發(fā)明所要解決的問題

然而，對于輸出層集，存在以下問題。

如圖1中的輸出層集OLS#4所示，存在定義了沒有輸出層的輸出層集的情況。因此，即使解碼器從比特流中解碼了這種沒有輸出層的輸出層集的各層，也沒有輸出圖片。這樣的編碼數(shù)據(jù)在默認(rèn)有輸出的解碼器中可能導(dǎo)致發(fā)生不可設(shè)想的動(dòng)作。

明確地通知輸出層標(biāo)記、指定輸出層的情況，如圖1上的輸出層集OLS#1和OLS#5所示的那樣，會(huì)發(fā)生定義了相同結(jié)構(gòu)的輸出層集的問題。這種情況，重復(fù)定義的輸出層集發(fā)生編碼冗余。

層集數(shù)(VpsNumLayerSets)為1時(shí)，即只有層集LS#0的情況，因?yàn)閷蛹疞S#0只由基本層(L#0)構(gòu)成，所以輸出層也當(dāng)然只有L#0。這時(shí)，存在默認(rèn)輸出層標(biāo)識符的編碼冗余的問題。

鑒于上述問題，本發(fā)明的目的是實(shí)現(xiàn)一種圖像解碼裝置和圖像編碼裝置，通過定義輸出層集的相關(guān)比特流一致性，防止發(fā)生沒有輸出層的輸出層集、以及重復(fù)的輸出層集，同時(shí)改善輸出層集相關(guān)信息的信號方法，用相對較少的編碼量實(shí)現(xiàn)輸出層集相關(guān)信息的解碼/編碼。

解決問題的方法

為了解決上述問題，本發(fā)明的方式1的相關(guān)圖像解碼裝置，其特征在于：是對1或多層構(gòu)成的分層圖像編碼數(shù)據(jù)進(jìn)行解碼的圖像解碼裝置；具有層集信息解碼部，解碼表示層集中層結(jié)構(gòu)的層集信息；具有輸出層集信息解碼部，解碼確定層集的層集標(biāo)識符、以及指定所述層集中包含的層是否為輸出層的輸出層標(biāo)記OutputLayerFlag，并導(dǎo)出輸出層集；具有圖片解碼部，解碼獲得所述輸出層集中包含的輸出層的圖片；所述輸出層集具有至少1層的輸出層。

發(fā)明的效果

根據(jù)本發(fā)明的一種方式，通過定義輸出層集的相關(guān)比特流一致性，可防止發(fā)生沒有輸出層的輸出層集、以及重復(fù)的輸出層集。

附圖說明

圖1是說明現(xiàn)有技術(shù)中輸出層集的相關(guān)問題的圖，舉出了沒有輸出層的輸出層集、以及輸出層相同組合的重復(fù)輸出層集的一個(gè)例子。

圖2是說明本發(fā)明一實(shí)施例相關(guān)的分層編碼數(shù)據(jù)的層結(jié)構(gòu)圖。其中(a)所示為分層視頻編碼裝置端；(b)所示為分層視頻解碼裝置端。

圖3是說明比特流抽取處理、表示層集A、及其子集層集B的構(gòu)成的圖。

圖4是構(gòu)成NAL單元層的數(shù)據(jù)結(jié)構(gòu)示例圖。

圖5是NAL單元層中包含的語法元素示例圖。(a)是構(gòu)成NAL單元層的語法元素示例圖；(b)是NAL單元頭的語法元素示例圖。

圖6是表示本發(fā)明實(shí)施例相關(guān)的NAL單元類型的值和NAL單元種類的關(guān)系的圖。

圖7是表示接入單元中包含的NAL單元的構(gòu)成示例圖。

圖8是說明本發(fā)明實(shí)施例相關(guān)的分層編碼數(shù)據(jù)的構(gòu)成圖。圖(a)示出了定義序列SEQ的序列層；圖(b)示出了定義圖片PICT的圖片層；圖(c)示出了定義條帶S的條帶層；圖(d)示出了定義條帶數(shù)據(jù)的條帶數(shù)據(jù)層；圖(e)示出了定義條帶數(shù)據(jù)中包含的編碼樹單元的編碼樹層；圖(f)示出了定義編碼樹中包含的編碼單位(Coding Unit；CU)的編碼單元層。

圖9是說明本實(shí)施例相關(guān)的參數(shù)集的參考關(guān)系的圖。

圖10是說明參考圖片列表、以及參考圖片的圖。圖(a)是參考圖片列表的舉例；圖(b)是表示參考圖片的一個(gè)概念圖。

圖11是本發(fā)明實(shí)施例相關(guān)的VPS語法元素表的一個(gè)示例圖。

圖12是VPS擴(kuò)展數(shù)據(jù)的語法元素表的示例。(a)是本發(fā)明實(shí)施例相關(guān)的VPS擴(kuò)展數(shù)據(jù)的語法元素表的示例，(b)是現(xiàn)有技術(shù)中VPS擴(kuò)展數(shù)據(jù)的語法元素表的示例。

圖13是表示分層ID和分層類型對應(yīng)表。

圖14是本實(shí)施例相關(guān)的PTL信息語法元素表的一個(gè)例子。

圖15是本發(fā)明實(shí)施例相關(guān)的SPS/PPS/條帶層語法元素表的一個(gè)例子。(a)示出了SPS語法元素表的一個(gè)例子；(b)示出了PPS語法元素表的一個(gè)例子；(c)示出了條帶層中包含的條帶頭、以及條帶數(shù)據(jù)的語法元素表的一個(gè)例子；(d)示出了條帶頭語法元素表的一個(gè)例子；(e)示出了條帶數(shù)據(jù)語法元素表的一個(gè)例子。

圖16是說明本實(shí)施例相關(guān)的分層視頻解碼裝置構(gòu)成的概要圖。

圖17是說明本實(shí)施例相關(guān)的目標(biāo)集圖片解碼部構(gòu)成的概要圖。

圖18是說明本實(shí)施例相關(guān)的圖片解碼部動(dòng)作的流程圖。

圖19是說明本實(shí)施例相關(guān)的比特流抽取部動(dòng)作的流程圖。

圖20是本實(shí)施例相關(guān)的分層視頻編碼裝置構(gòu)成的概要圖。

圖21是說明本實(shí)施例相關(guān)的目標(biāo)集圖片編碼部構(gòu)成的概要圖。

圖22是說明本實(shí)施例相關(guān)的圖片編碼部的動(dòng)作的流程圖。

圖23是表示搭載了上述分層視頻編碼裝置的發(fā)送裝置、以及搭載了上述分層視頻解碼裝置的接收裝置的構(gòu)成圖。(a)所示為搭載分層視頻編碼裝置的發(fā)送裝置；(b)所示為搭載分層視頻解碼裝置的接收裝置。

圖24是表示搭載了上述分層視頻編碼裝置的記錄裝置、以及搭載了上述分層視頻解碼裝置的播放裝置的構(gòu)成圖。(a)所示為搭載分層視頻編碼裝置的記錄裝置；(b)所示為搭載分層視頻解碼裝置的播放裝置。

具體實(shí)施方式

按照圖2～圖24，對本發(fā)明的一個(gè)實(shí)施例相關(guān)的分層視頻解碼裝置1及分層視頻編碼裝置2說明如下。

〔概要〕

本實(shí)施例的分層視頻解碼裝置(圖像解碼裝置)1，對被分層視頻編碼裝置(圖像編碼裝置)2進(jìn)行了分層編碼的編碼數(shù)據(jù)進(jìn)行解碼。分層編碼是指將視頻從低品質(zhì)到高品質(zhì)分層進(jìn)行編碼的編碼方式。分層編碼已在SVC、SHVC等中標(biāo)準(zhǔn)化。此外，這里所指的視頻品質(zhì)是廣義地指主觀和客觀上影響視頻視覺效果的元素。視頻的品質(zhì)中，包括如“分辨率”、“幀頻”、“畫質(zhì)”、以及“像素的表現(xiàn)精度”等。因此，以后稱視頻的品質(zhì)不同，比如可以指“分辨率”等的不同，但并不僅限于此。例如，在不同量化步長中量化的視頻(即通過不同編碼雜音編碼的視頻)的情況，也可以相互認(rèn)為視頻品質(zhì)不同。

此外，從被分層信息的種類來看，分層編碼技術(shù)可分為(1)空域可分級、(2)時(shí)域可分級、(3)SNR(Signal to Noise Ratio)可分級、以及(4)視點(diǎn)可分級?？沼蚩煞旨壥侵阜直媛屎蛨D像尺寸等的分層技術(shù)。時(shí)域可分級是指幀頻(單位時(shí)間的幀數(shù))的分層技術(shù)。SNR可分級是指編碼雜音分層技術(shù)。視點(diǎn)可分級是指對應(yīng)各圖像的視點(diǎn)位置的分層技術(shù)。

在對本實(shí)施例相關(guān)的分層視頻編碼裝置2及分層視頻解碼裝置1進(jìn)行詳細(xì)說明之前，首先，(1)對通過分層視頻編碼裝置2生成的、通過分層視頻解碼裝置1進(jìn)行解碼的分層編碼數(shù)據(jù)的層結(jié)構(gòu)進(jìn)行說明，然后，(2)對各層中可采用的數(shù)據(jù)結(jié)構(gòu)的具體例子進(jìn)行說明。

〔分層編碼數(shù)據(jù)的層結(jié)構(gòu)〕

在此利用圖2對分層編碼數(shù)據(jù)的編碼和解碼說明如下。圖2是通過低層L3、中層L2和高層L1共3層對視頻進(jìn)行分層編碼/解碼時(shí)的模型圖。即在圖2(a)和(b)中，3層中的高層L1為最高層，低層L3為最低層。

以下將從分層編碼數(shù)據(jù)進(jìn)行解碼所得到的對應(yīng)特定品質(zhì)的解碼圖像稱為特定層的解碼圖像(或稱為對應(yīng)特定層的解碼圖像)(例如，高層L1的解碼圖像POUT#A)。

圖2(a)所示為分別將輸入圖像PIN#A～PIN#C進(jìn)行分層編碼后生成編碼數(shù)據(jù)DATA#A～DATA#C的分層視頻編碼裝置2#A～2#C。圖2(b)所示為分別將被分層編碼的編碼數(shù)據(jù)DATA#A～DATA#C進(jìn)行解碼后生成解碼圖像POUT#A～POUT#C的分層視頻解碼裝置1#A～1#C。

首先利用圖2(a)對編碼裝置進(jìn)行說明。編碼裝置端輸入的輸入圖像PIN#A、PIN#B以及PIN#C雖然與原圖相同，但圖像的品質(zhì)(分辨率、幀頻以及畫質(zhì)等)不同。圖像的品質(zhì)按輸入圖像PIN#A、PIN#B和PIN#C的順序降低。

低層L3的分層視頻編碼裝置2#C，對低層L3的輸入圖像PIN#C進(jìn)行編碼、生成低層L3的編碼數(shù)據(jù)DATA#C。它包含了為獲得低層L3的解碼圖像POUT#C進(jìn)行解碼所必須的基本信息(圖2中的“C”所示)。低層L3因?yàn)槭亲畹偷膶?，所以低層L3的編碼數(shù)據(jù)DATA#C也稱為基本編碼數(shù)據(jù)。

中層L2的分層視頻編碼裝置2#B，參考低層的編碼數(shù)據(jù)DATA#C，對中層L2的輸入圖像PIN#B進(jìn)行編碼，生成中層L2的編碼數(shù)據(jù)DATA#B。中層L2的編碼數(shù)據(jù)DATA#B中，在編碼數(shù)據(jù)DATA#C中包含的基本信息“C”的基礎(chǔ)上，還包含了為獲得中層解碼圖像POUT#B進(jìn)行解碼所必須的附加信息(圖2中的“B”所示)。

高層L1的分層視頻編碼裝置2#A，參考中層L2的編碼數(shù)據(jù)DATA#B，對高層L1的輸入圖像PIN#A進(jìn)行編碼，生成高層L1的編碼數(shù)據(jù)DATA#A。高層L1的編碼數(shù)據(jù)DATA#A中，在為獲得低層L3的解碼圖像POUT#C進(jìn)行解碼所必須的基本信息“C”以及為獲得中層L2的解碼圖像POUT#B進(jìn)行解碼所必須的附加信息“B”的基礎(chǔ)上，還包含了為獲得高層的解碼圖像POUT#A進(jìn)行解碼所必須的附加信息(圖2中的“A”所示)。

就這樣，在高層L1的編碼數(shù)據(jù)DATA#A中包含了不同的、多種品質(zhì)的解碼圖像信息。

接下來利用圖2(b)對解碼裝置進(jìn)行說明。在解碼裝置端，分別對應(yīng)高層L1、中層L2和低層L3的解碼裝置1#A、1#B和1#C，對編碼數(shù)據(jù)DATA#A、DATA#B和DATA#C進(jìn)行解碼、輸出解碼圖像POUT#A、POUT#B和POUT#C。

抽取高層的分層編碼數(shù)據(jù)的部分信息(也稱為比特流抽取)，在相對低層的特定解碼裝置中，通過對該抽取的信息進(jìn)行解碼，可進(jìn)行特定品質(zhì)的視頻播放。

例如，中層L2的分層解碼裝置1#B，可以從高層L1的分層編碼數(shù)據(jù)DATA#A中抽取為獲得解碼圖像POUT#B進(jìn)行解碼所必須的信息(即，分層編碼數(shù)據(jù)DATA#A中包含的“B”和“C”)，進(jìn)行解碼獲得解碼圖像POUT#B。換言之，解碼裝置端可根據(jù)高層L1的分層編碼數(shù)據(jù)DATA#A中包含的信息，進(jìn)行解碼獲得解碼圖像POUT#A、POUT#B和POUT#C。

并且，分層編碼數(shù)據(jù)并不限于以上的3層分層，也可以分2層、或是比3層更多層。

此外，構(gòu)成分層編碼數(shù)據(jù)，也可以將特定層解碼圖像編碼數(shù)據(jù)的一部分或全部獨(dú)立于其它層進(jìn)行編碼，當(dāng)對特定層解碼時(shí)，可以不參考其它層的信息。例如，使用圖2(a)及(b)說明的上述例中，曾說明在為獲得解碼圖像POUT#B進(jìn)行解碼時(shí)參考“C”和“B”，但并不僅限于此。也可以構(gòu)成只參考“B”即可解碼而獲得解碼圖像POUT#B的分層編碼數(shù)據(jù)。例如，為獲得解碼圖像POUT#B進(jìn)行解碼時(shí)，也可構(gòu)成僅由“B”構(gòu)成的分層編碼數(shù)據(jù)和以解碼圖像POUT#C作為輸入的分層視頻解碼裝置。

在實(shí)現(xiàn)SNR可分級時(shí)，輸入圖像PIN#A、PIN#B和PIN#C采用同一原圖，可生成解碼圖像POUT#A、POUT#B和POUT#C的不同畫質(zhì)的分層編碼數(shù)據(jù)。這種情況，低層的分層視頻編碼裝置用比高層分層視頻編碼裝置更大的量化幅度對預(yù)測殘差進(jìn)行量化，生成分層編碼數(shù)據(jù)。

本說明書中，為說明的方便，定義了如下術(shù)語。如無特殊說明，以下的術(shù)語用于表示下列技術(shù)事項(xiàng)。

檔次(Profile)：檔次是指為特定的應(yīng)用，規(guī)定符合規(guī)格的解碼器應(yīng)具備的處理功能，通過編碼工具(基礎(chǔ)技術(shù))的組合或集合進(jìn)行定義。通過規(guī)定檔次，在各應(yīng)用中，不需安裝全部標(biāo)準(zhǔn)，只需安裝相應(yīng)的檔次，具有降低解碼器/編碼器復(fù)雜程度的優(yōu)點(diǎn)。

水平(Level)：水平規(guī)定解碼器處理能力的上限和電路規(guī)模的范圍等，規(guī)定單位時(shí)間的最大處理像素?cái)?shù)、圖像的最大分辨率、最大比特率、最大參考圖像緩存容量、最低壓縮率等參數(shù)限制。即，水平規(guī)定了解碼器的處理能力和比特流的復(fù)雜度等。并且水平中還規(guī)定了各檔次中規(guī)定的工具的支持范圍。因此，高層的水平必須支持低層的水平。例如，在限制水平的各種參數(shù)中，有最大亮度圖片尺寸(Max luma picture size)、最大比特率(Max bitrate)、最大CPB尺寸(Max CPB size)、每圖片單位的最大條帶片段數(shù)(Max slice segments per picture)、每圖片單位的最大片行數(shù)(Max number of tile rows)、每圖片單位的最大片列數(shù)(Max number of tile columns)等。適用于特定檔次、被限制了水平的各種參數(shù)中，有如最大亮度采樣速率(Max luma sample rate)、最大比特率(Max bit rate)、以及最低圧縮比率(Mincompression Ratio)等。此外，作為水平的子概念，還有等級(tier)，它規(guī)定對應(yīng)各水平比特流(編碼數(shù)據(jù))的最大比特率、以及收容比特流的最大CPB尺寸是主等級(Main tier:消費(fèi)者用)或是高等級(High tier:業(yè)務(wù)使用)。

HRD(Hypothetical Reference Decoder，假想?yún)⒖冀獯a器):HRD是指以緩存動(dòng)作為主的解碼器的假想模型，也稱為緩存模型。HRD由：(1)比特流的傳輸緩存CPB(Coded Picture Buffer，已編碼圖像緩存)；(2)瞬間進(jìn)行解碼動(dòng)作的解碼處理部；(3)保存已解碼圖片的DPB(Decoded Picture Buffer、解碼后圖片緩存)；(4)進(jìn)行裁剪處理的裁剪處理部(裁剪出圖像有效范圍的處理)構(gòu)成。

HRD的基本動(dòng)作如下所示。

(SA01)將輸入比特流存儲(chǔ)到CPB。

(SA02)對CPB中存儲(chǔ)的AU進(jìn)行瞬間解碼處理。

(SA03)將通過瞬時(shí)解碼處理得到的解碼后圖片保存到DPB中。

(SA04)將DPB中保存的解碼圖片裁剪后輸出。

HRD參數(shù)(HRD parameters)：HRD參數(shù)是表示驗(yàn)證輸入的比特流在HRD中是否滿足一致性條件用的緩存模式的參數(shù)。

比特流一致性：比特流一致性是指分層視頻解碼裝置(此處指與本發(fā)明的實(shí)施例相關(guān)的分層視頻解碼裝置)解碼的比特流應(yīng)滿足的必要條件。同樣地，對于分層視頻編碼裝置(此處指與本發(fā)明的實(shí)施例相關(guān)的分層視頻編碼裝置)生成的比特流，為了保證其是上述分層視頻解碼裝置能夠解碼的比特流，也必須滿足上述比特流一致性。

VCL NAL單元:VCL(Video Coding Layer，視頻編碼層)NAL單元，指包含視頻(視頻信號)編碼數(shù)據(jù)的NAL單元。例如，VCL NAL單元中包含了條帶數(shù)據(jù)(CTU的編碼數(shù)據(jù))、以及通過該條帶的解碼而共同使用的頭信息(條帶頭)。

non-VCL NAL單元：non-VCL(non-Video Coding Layer，非視頻編碼層，非VCL)NAL單元是指包含解碼視頻參數(shù)集VPS、序列參數(shù)集SPS、圖片參數(shù)集PPS等各序列和圖片時(shí)利用的、作為編碼參數(shù)集合的頭信息和輔助信息SEI等的編碼數(shù)據(jù)的NAL單元。

層標(biāo)識符：層標(biāo)識符(也稱為層ID)，用于對層(Layer)的識別，與層為一一對應(yīng)關(guān)系。分層編碼數(shù)據(jù)中包含了用于選擇為獲得特定層解碼圖像進(jìn)行解碼所必須的部分編碼數(shù)據(jù)的標(biāo)識符。與特定層對應(yīng)的層標(biāo)識符相關(guān)聯(lián)的分層編碼數(shù)據(jù)的部分集合，也稱為層表現(xiàn)。

通常，在為獲得特定層解碼圖像的解碼中，使用該層的層表現(xiàn)和/或?qū)?yīng)比該層低的層的層表現(xiàn)。即在為獲得對象層解碼圖像的解碼中，使用對象層的層表現(xiàn)和/或比對象層低的層中包含的至少1層的層表現(xiàn)。

層：具有特定層(Layer)的層標(biāo)識符值(nuh_layer_id,nuhLayerId)的VCL NAL UNIT以及與該VCL NAL單元相關(guān)聯(lián)的non-VCL NAL UNIT的集合、或一個(gè)具有分層關(guān)系的語法構(gòu)造的集合。

高層：在某層之上位置的層稱為高層。例如，圖2中，低層L3的高層有中間位置的層L2及高層位置的層L1。此外，高層解碼圖像是指品質(zhì)更高(例如，高分辨率、高幀頻、高畫質(zhì)等)的解碼圖像。

低層：在某層之下位置的層稱為低層。例如，圖2中，高層L1的低層有中間位置的層L2及低層位置的層L3。此外，低層解碼圖像是指品質(zhì)更低的解碼圖像。

對象層：指作為解碼或編碼對象的層。與對象層對應(yīng)的解碼圖像稱為對象層圖片。構(gòu)成對象層圖片的像素稱為對象層像素。

輸出層：在解碼或編碼對象層中，其解碼圖片被指定作為輸出圖片輸出的層。

參考層：為獲得對象層對應(yīng)的解碼圖像進(jìn)行解碼時(shí)所參考的特定的低層稱為參考層。與參考層對應(yīng)的解碼圖像稱為參考層圖片。構(gòu)成參考層的像素稱為參考層像素。

在圖2(a)及(b)所示的例中，高層L1的參考層為中層L2及低層L3。但并不僅限于此，在特定的上述層的解碼中，也可不參考全部低層而構(gòu)成分層編碼數(shù)據(jù)。例如，也可以構(gòu)成分層編碼數(shù)據(jù)，讓高層L1的參考層是中層L2或低層L3的其中之一。此外，參考層也可表述為預(yù)測對象層解碼用的編碼參數(shù)等時(shí)使用(參考)的、與對象層不同的層。對象層的層間預(yù)測中直接被參考的參考層稱為直接參考層。在對象層的直接參考層A的層間預(yù)測中被參考的直接參考層B，因?yàn)閷ο髮邮情g接依賴，故稱為對象層的間接參考層。換言之，層i通過1或多層k(i<k<j)對層j進(jìn)行間接依賴時(shí)，層j稱為層i的間接參考層。此外，對象層的直接參考層和間接參考層統(tǒng)稱為依賴層。

基本層(base layer)：處于最下層的層稱為基本層。基本層的解碼圖像是從編碼數(shù)據(jù)解碼所得到的最低品質(zhì)的解碼圖像，也稱為基本解碼圖像。換言之，基本解碼圖像是與最下層對應(yīng)的解碼圖像。為獲得基本解碼圖像的解碼中所必須的分層編碼數(shù)據(jù)的部分編碼數(shù)據(jù)稱為基本編碼數(shù)據(jù)。例如，高層L1的分層編碼數(shù)據(jù)DATA#A中包含的基本信息“C”就是基本編碼數(shù)據(jù)。并且，基本層至少是由具有相同層標(biāo)識符、且該層標(biāo)識符(nuh_layer_id)的值為0的1個(gè)或多個(gè)VCL NAL單元構(gòu)成的層。

增強(qiáng)層(non-base layer)：基本層之上的層稱為增強(qiáng)層。并且，增強(qiáng)層至少是具有相同層標(biāo)識符、且該層標(biāo)識符(nuh_layer_id)的值大于0的1個(gè)或多個(gè)VCL NAL單元構(gòu)成的層。

層間預(yù)測：層間預(yù)測是指根據(jù)與對象層的層表現(xiàn)不同的層(參考層)的層表現(xiàn)中包含的語法元素值、從語法元素值中導(dǎo)出的值和解碼圖像，預(yù)測對象層的語法元素值和對象層解碼中用的編碼參數(shù)等。從參考層信息預(yù)測與運(yùn)動(dòng)預(yù)測相關(guān)的信息的層間預(yù)測稱為層間運(yùn)動(dòng)信息預(yù)測。從低層解碼圖像進(jìn)行的層間預(yù)測稱為層間圖像預(yù)測(或?qū)娱g紋理預(yù)測)。用于層間預(yù)測的層，典型的是對象層的低層。此外，不用參考層而在對象層內(nèi)進(jìn)行的預(yù)測也稱為層內(nèi)預(yù)測。

時(shí)域標(biāo)識符：時(shí)域標(biāo)識符(時(shí)域ID)是為了識別時(shí)域可分級的層(以下稱為子層)的標(biāo)識符。時(shí)域標(biāo)識符的作用是識別子層，與子層為一一對應(yīng)的關(guān)系。編碼數(shù)據(jù)中包含時(shí)域標(biāo)識符用于選擇為獲得特定子層的解碼圖像進(jìn)行解碼所必須的部分編碼數(shù)據(jù)。特別地，最高層子層的時(shí)域標(biāo)識符稱為最高層時(shí)域標(biāo)識符(highest TemporalId，highestTid)。

子層：子層是通過時(shí)域標(biāo)識符確定的時(shí)域可分級的層。為了區(qū)別于空域可分級、SNR可分級等其它的可分級，以后稱為子層(也稱時(shí)域?qū)?。并且以后認(rèn)為時(shí)域可分級是通過基本層編碼數(shù)據(jù)、或?qū)δ硨咏獯a所必須的分層編碼數(shù)據(jù)中包含的子層而實(shí)現(xiàn)的。

層集：層集是指由1以上的層(含1)所構(gòu)成的層的集合。而且，層集的構(gòu)成通過層ID列表LayerSetLayerIdList[](或LayerIdList[])表示，識別層集中包含的層的層ID(或VPS上表示層的順序的索引)包含在層ID列表LayerIdList[K](K＝0..N-1,N為層集中包含的層數(shù))的各元素中。

輸出層集：輸出層集是指對上述層集中包含的層指定是否為輸出層的層的集合。此外，輸出層集也表現(xiàn)為通過指定層集和輸出層的輸出層標(biāo)記的組合表示的集合。

比特流抽取處理：比特流抽取處理是從某比特流(分層編碼數(shù)據(jù)、編碼數(shù)據(jù))中，去除(丟棄)由對象最高時(shí)域標(biāo)識符(highestTid)、表示對象層集中所包含的層ID列表LayerIdList[]所決定的集合(稱為目標(biāo)集TargetSet)中不包含的NAL單元、抽取由目標(biāo)集TargetSet中包含的NAL單元構(gòu)成的比特流的處理。比特流抽取也稱為子比特流抽取。

對象最高時(shí)域標(biāo)識符稱為TargetHighestTid，對象層集稱為TargetLayerSet，對象層集的層ID列表(對象層ID列表)也稱為TargetLayerIdList。特別地，解碼對象的層ID列表稱為TargetDecLayerIdList。此外，通過比特流抽取而生成的、目標(biāo)集TargetSet中包含的NAL單元所構(gòu)成的比特流也稱為編碼數(shù)據(jù)BitstreamToDecode。

接下來，參考圖3，舉例說明通過比特流抽取處理，從包含某層集A的分層編碼數(shù)據(jù)中，抽取包含作為層集A子集的層集B的分層編碼數(shù)據(jù)。

圖3所示為由3個(gè)層(L#0,L#1,L#2)、以及各層的3個(gè)子層(TID1,TID2,TID3)所構(gòu)成的層集A、及其子集層集B的構(gòu)成。以下，將構(gòu)成層集的層、以及子層用{LayerIdList＝{L#0,..,L#N},HighestTid＝K}表示。例如，圖3中的層集A用{LayerIdList＝{L#0,L#1,L#2},HighestTid＝3}表示。此處的符號L#N表示層N，圖3中的各方框表示圖片，方框內(nèi)的編號表示舉例的解碼順序。以下，編號N的圖片標(biāo)記為P#N。

各圖片間的箭頭表示圖片間的依賴方向(參考關(guān)系)。如果是同一層內(nèi)的箭頭，表示為Inter預(yù)測中使用的參考圖片。如果是層間箭頭，則表示是層間預(yù)測中使用的參考圖片(也稱參考層圖片)。

圖3中的AU表示接入單元，符號#N表示接入單元的編號。AU#N表示當(dāng)某起點(diǎn)(例如，隨機(jī)接入開始點(diǎn))的AU作為AU#0時(shí)的第(N－1)號接入單元，它表示比特流中包含的AU的順序。即，以圖3為例，在比特流上，接入單元是按AU#0、AU#1、AU#2、AU#3、AU#4的順序排列的。并且，接入單元是指按特定分類規(guī)則匯總的NAL單元的集合。圖3的AU#0可認(rèn)為是包含圖片P#1、P#1、以及P#3的編碼數(shù)據(jù)的VCL NAL的集合。關(guān)于接入單元的詳細(xì)內(nèi)容將在以后闡述。本說明書中，標(biāo)記為編號X時(shí)，指開頭的元素編號為0，從第0開始數(shù)(以下相同)。

圖3的例中，因?yàn)槟繕?biāo)集TargetSet(層集B)為{LayerIdList＝{L#0,L#1}、HighestTid＝2}，所以，從包含層集A的比特流中，通過比特流抽取丟棄目標(biāo)集TargetSet中不包含的層、以及比最高時(shí)域ID(HighestTid＝2)大的子層。即層ID列表中不包含的層L#2、以及具有子層(TID3)的NAL單元被丟棄，最終抽取出包含層集B的比特流。圖3中虛線的方框表示被丟棄的圖片，虛線箭頭表示被丟棄圖片和參考圖片之間的依賴方向。另外，因?yàn)橐呀?jīng)丟棄了層L#3、以及構(gòu)成TID3的子層圖片的NAL單元，依賴關(guān)系已經(jīng)被切斷。

SHVC和MV-HEVC等中，為了實(shí)現(xiàn)SNR可分級、空域可分級、時(shí)域可分級等，導(dǎo)入了層、以及子層的概念。正如圖3中所說明的，在變更幀頻實(shí)現(xiàn)時(shí)域可分級時(shí)，通過比特流抽取處理，首先丟棄不被其它圖片參考的(最高時(shí)域ID(TID3))的編碼數(shù)據(jù)。如圖3中通過丟棄圖片(10、13、11、14、12、15)的編碼數(shù)據(jù)，生成了幀頻為1/2的編碼數(shù)據(jù)。

而且，實(shí)現(xiàn)SNR可分級、空域可分級、視點(diǎn)可分級等時(shí)，通過比特流抽取，丟棄目標(biāo)集TargetSet中不包含的層的編碼數(shù)據(jù)，可變更各可分級的粒度。圖3的情況，通過丟棄圖片(3、6、9、12、15)的編碼數(shù)據(jù)，生成粗化了可分級粒度的編碼數(shù)據(jù)。通過反復(fù)進(jìn)行上述處理，可分級調(diào)整層、子層的粒度。

另外，以上術(shù)語的目的是為了說明上的方便，上述的技術(shù)事項(xiàng)也可用別的術(shù)語表達(dá)。

〔分層編碼數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)〕

下面，生成各層編碼數(shù)據(jù)的編碼方式將以使用HEVC及其擴(kuò)展方式為例。但并不僅限于此，各層的編碼數(shù)據(jù)也可以用MPEG-2、H.264/AVC等的編碼方式來生成。

也可以低層和高層采用不同編碼方式進(jìn)行編碼。此外，各層的編碼數(shù)據(jù)可以是通過相互不同的傳輸路徑提供給分層視頻解碼裝置1，也可以通過同一傳輸路徑提供給分層視頻解碼裝置1。

例如，將超高清視頻(視頻、4K視頻數(shù)據(jù))通過基本層及1個(gè)增強(qiáng)層進(jìn)行分層編碼并傳輸?shù)那闆r，可以用基本層將4K視頻數(shù)據(jù)縮小(Downscaling)、將隔行掃描處理后的視頻數(shù)據(jù)通過MPEG-2或H.264/AVC進(jìn)行編碼，傳送給電視廣播網(wǎng)，用增強(qiáng)層將4K視頻(漸進(jìn)的)通過HEVC進(jìn)行編碼，傳送到互聯(lián)網(wǎng)。

＜分層編碼數(shù)據(jù)DATA的結(jié)構(gòu)＞

在詳細(xì)說明本實(shí)施例相關(guān)的圖像編碼裝置2及圖像解碼裝置1之前，首先來說明通過圖像編碼裝置2生成的、通過圖像解碼裝置1解碼的分層編碼數(shù)據(jù)DATA的數(shù)據(jù)結(jié)構(gòu)。

(NAL單元層)

圖4所示為分層編碼數(shù)據(jù)DATA中數(shù)據(jù)的分層結(jié)構(gòu)。分層編碼數(shù)據(jù)DATA以NAL(Network Abstraction Layer)單元為單位進(jìn)行編碼。

NAL是在進(jìn)行視頻編碼處理的層VCL(Video Coding Layer)和傳輸、存儲(chǔ)編碼數(shù)據(jù)的低層系統(tǒng)之間設(shè)置的用于通信抽象化的層。

VCL是指進(jìn)行圖像編碼處理的層，在VCL中進(jìn)行編碼。另一方面，這里所說的低層系統(tǒng)，對應(yīng)H.264/AVC及HEVC的文件格式、、MPEG-2系統(tǒng)等。在以下的示例中，低層系統(tǒng)對應(yīng)對象層及參考層中的解碼處理。另外，在NAL中，VCL生成的比特流以NAL單元為單位進(jìn)行分割，被傳輸?shù)侥繕?biāo)低層系統(tǒng)。

圖5(a)所示為NAL單元的語法元素表。NAL單元中包括有在VCL編碼的編碼數(shù)據(jù)和將該編碼數(shù)據(jù)正確傳送到目標(biāo)低層系統(tǒng)用的“頭”(NAL單元頭：nal_unit_header())。NAL單元頭可用如圖5(b)所示的語法元素表示。NAL單元頭中，記述了表示NAL單元中存儲(chǔ)的編碼數(shù)據(jù)種類的“nal_unit_type”、表示存儲(chǔ)的編碼數(shù)據(jù)所屬子層的標(biāo)識符(時(shí)域標(biāo)識符)”nuh_temporal_id_plus1”、表示存儲(chǔ)的編碼數(shù)據(jù)所屬層的標(biāo)識符(層標(biāo)識符)”nuh_layer_id”(或nuh_reserved_zero_6bits)。而且，NAL單元數(shù)據(jù)中，包含了后述的參數(shù)集、SEI、條帶等。

圖6所示為NAL單元類型的值和NAL單元種類的關(guān)系。如圖6所示，SYNA101表示的NAL單元類型值為0到15的NAL單元，為非RAP(隨機(jī)接入圖片)的條帶。SYNA102表示的NAL單元類型值為16到21的NAL單元，為RAP(隨機(jī)接入圖片、IRAP圖片)的條帶。RAP圖片可分為BLA圖片、IDR圖片、CRA圖片三大類，其中BLA圖片又可分為BLA_W_LP、BLA_W_DLP、BLA_N_LP，IDR圖片還可分為IDR_W_DLP、IDR_N_LP。RAP圖片以外的圖片，還有領(lǐng)先圖片(LP圖片)、時(shí)域接入圖片(TSA圖片、STSA圖片)、尾隨圖片(TRAIL圖片)等。另外，各層的編碼數(shù)據(jù)，通過存儲(chǔ)在NAL單元，被NAL復(fù)用后傳輸?shù)椒謱右曨l解碼裝置1。

如圖6中的NAL Unit Type Class所示，各NAL單元對應(yīng)NAL單元類型，可分為構(gòu)成圖片的數(shù)據(jù)(VCL數(shù)據(jù))和除此以外的數(shù)據(jù)(non-VCL)。無論是隨機(jī)接入圖片、LP圖片、TRAIL圖片等何種類型的圖片，圖片都屬于VCL NAL單元，作為圖片解碼中所需數(shù)據(jù)的參數(shù)集、圖片輔助信息SEI、表示序列分隔的接入單元定界符(AUD)、序列終止符(EOS)、比特流終止符(EOB)等，都屬于non-VCL NAL單元。

(接入單元)

由特定的分類規(guī)則匯總的NAL單元的集合稱為接入單元。當(dāng)層數(shù)為1時(shí)，接入單元為構(gòu)成1圖片的NAL單元的集合。當(dāng)層數(shù)大于1時(shí)，接入單元為構(gòu)成同時(shí)刻(同一輸出時(shí)刻)的多層圖片的NAL單元的集合。另外，為了表示接入單元的分隔，編碼數(shù)據(jù)也可包含被稱為接入單元定界符(AUD:Access unit delimiter)的NAL單元。接入單元定界符處在編碼數(shù)據(jù)中的構(gòu)成接入單元的NAL單元的集合和構(gòu)成別的接入單元的NAL單元的集合之間。

圖7所示為接入單元中包含的NAL單元的構(gòu)成示例。圖中，AU由表示AU先頭的接入單元定界符(AUD)、各種參數(shù)集(VPS,SPS,PPS)、各種SEI(Prefix SEI,Suffix SEI)、層數(shù)為1時(shí)構(gòu)成1圖片的VCL(slice)、層數(shù)大于1時(shí)構(gòu)成層數(shù)張圖片的VCL、表示序列終點(diǎn)的EOS(End of Sequence)、表示比特流終點(diǎn)的EOB(End of Bitstream)等NAL單元構(gòu)成。另外，圖7中，VPS,SPS,SEI,VCL后的符號L#K(K＝Nmin..Nmax)表示層ID(或表示VPS上定義的層的順序的索引)。圖7的例中，AU內(nèi)除VPS外，層L#Nmin～層L#Nmax各層的SPS,PPS,SEI,VCL以層ID(或表示VPS上定義的層的順序的索引)的升序排列。圖7的例中，VPS只用最低的層ID傳送。另外，圖7中，用箭頭表示特定NAL單元是否存在于AU內(nèi)以及是否反復(fù)存在。

例如，特定的NAL單元如果存在于AU內(nèi)，用穿過該NAL單元的箭頭表示，特定的NAL單元如果不存在于AU內(nèi)，用跳過該NAL單元的箭頭表示。例如，不穿過AUD而指向VPS的箭頭，表示AUD不存在于AU內(nèi)。而通過VCL后又折回VCL的箭頭，表示存在1以上的VCL。

在AU內(nèi)可以包含具有最低以外的高層ID的VPS，但圖像解碼裝置會(huì)忽略具有最低以外的層ID的VPS。而且，各種參數(shù)集(VPS，SPS，PPS)、輔助信息SEI，如圖7所示，可以作為接入單元的一部分包含其中，也可以用與比特流不同的其它方法傳遞給解碼器。另外，圖7僅僅是接入單元中包含的NAL單元的構(gòu)成的一個(gè)實(shí)施例，接入單元中包含的NAL單元的構(gòu)成，可在比特流解碼的可能范圍內(nèi)變更。

特別是包含層標(biāo)識符nuhLayerId＝0的IRAP圖片的接入單元稱為IRAP接入單元(隨機(jī)接入點(diǎn)、接入單元)。實(shí)施目標(biāo)集全部層解碼處理初始化的IRAP接入單元稱為初始化IRAP接入單元。按解碼順序從初始化IRAP接入單元開始、隨后接0以上的非初始化IRAP接入單元(初始化IRAP接入單元以外的接入單元)、直至下一個(gè)初始化IRAP接入單元之前的接入單元的集合(不包括下一個(gè)初始化IRAP接入單元)也稱為CVS(Coded Video Sequence；編碼視頻序列、以后也稱為序列SEQ)。

圖8所示為分層編碼數(shù)據(jù)DATA中的數(shù)據(jù)的分層結(jié)構(gòu)。例如，分層編碼數(shù)據(jù)DATA包含序列和構(gòu)成序列的多張圖片。圖8的(a)～(f)分別為定義序列SEQ的序列層；定義圖片PICT的圖片層；定義條帶S的條帶層；定義條帶數(shù)據(jù)的條帶數(shù)據(jù)層；定義條帶數(shù)據(jù)中包含的編碼樹單元的編碼樹層；定義編碼樹中包含的編碼單位(Coding Unit；CU)的編碼單元層。

(序列層)

序列層中定義了對處理對象的序列SEQ(以下也稱為對象序列)進(jìn)行解碼的圖像解碼裝置1參考的數(shù)據(jù)的集合。序列SEQ如圖8(a)所示，包含了視頻參數(shù)集(Video Parameter Set)、序列參數(shù)集SPS(Sequence Parameter Set)、圖片參數(shù)集PPS(Picture Parameter Set)、圖片PICT、以及附加擴(kuò)展信息SEI(Supplemental Enhancement Information)。#后的值表示層ID。圖8例中有#0和#1，即存在層ID為0和層ID為1的編碼數(shù)據(jù)，但層的種類和層的數(shù)量不僅限于此。

(視頻參數(shù)集)

圖11是視頻參數(shù)集VPS語法元素表的一個(gè)示例，圖12是視頻參數(shù)集VPS的擴(kuò)展數(shù)據(jù)語法元素表的一個(gè)示例。視頻參數(shù)集VPS定義了對1以上(含1)的層構(gòu)成的編碼數(shù)據(jù)進(jìn)行解碼的圖像解碼裝置1所參考的編碼參數(shù)的集合。例如定義了用于識別后述序列參數(shù)集和其它語法元素等參考的VPS的VPS標(biāo)識符(video_parameter_set_id)(圖11中的SYNVPS01)、編碼數(shù)據(jù)中包含的層數(shù)(vps_max_layers_minus1)(圖11中的SYNVPS02)、層中包含的子層數(shù)(vps_sub_layers_minus1)(圖11中的SYNVPS03)、定義編碼數(shù)據(jù)中出現(xiàn)的由1以上(含1)層形成的層的集合的層集數(shù)(vps_num_layer_sets_minus1)(圖11中的SYNVPS06)、定義構(gòu)成層集的層的集合的層集信息(layer_id_included_flag[i][j])(圖11中的SYNVPS07)、層間的依賴關(guān)系(直接依賴標(biāo)記direct_dependency_flag[i][j])(圖12中的SYNVPS0C)、構(gòu)成輸出層集的輸出層的集合、定義了PTL信息等的輸出層集信息(默認(rèn)輸出層標(biāo)識符default_target_output_layer_idc、輸出層標(biāo)記output_layer_flag[i][j]等)(圖12中的SYNVPS0G～SYNVPS0K)等。在編碼數(shù)據(jù)內(nèi)可存在多個(gè)VPS。此時(shí)，對各對象序列解碼用的VPS將從多個(gè)候補(bǔ)中選擇。

對屬于某層的特定序列進(jìn)行解碼時(shí)使用的VPS稱為Active VPS。以下，若無特殊指定，VPS指針對屬于某層的對象序列的Active VPS。

(序列參數(shù)集)

圖15(a)是序列參數(shù)集SPS語法元素表的一個(gè)示例。序列參數(shù)集SPS定義了對對象序列進(jìn)行解碼的圖像解碼裝置1所參考的編碼參數(shù)的集合。例如定義了表示對象SPS參考的Active VPS的Active VPS標(biāo)識符(sps_video_parameter_set_id)(圖15(a)中的SYNSPS01)、用于識別后述的圖片參數(shù)集和其它語法元素等參考的SPS的SPS標(biāo)識符(sps_seq_parameter_set_id)(圖15(a)中的SYNSPS02)、圖片的寬度和高度等。在編碼數(shù)據(jù)內(nèi)可存在多個(gè)SPS，此時(shí)，每個(gè)對象序列解碼用的SPS將從多個(gè)候補(bǔ)中選擇。

對屬于某層的特定序列進(jìn)行解碼所使用的SPS也稱為Active SPS。以下，若無特殊規(guī)定，SPS指針對屬于某層的對象序列的Active SPS。

(圖片參數(shù)集)

圖15(b)是圖片參數(shù)集PPS語法元素表的一個(gè)示例。圖片參數(shù)集PPS定義了對對象序列內(nèi)的各圖片進(jìn)行解碼的圖像解碼裝置1所參考的編碼參數(shù)的集合。例如包含了：表示對象PPS參考的Active SPS的Active SPS標(biāo)識符(pps_seq_parameter_set_id)(圖15(b)中的SYNPPS01)、用于識別后述條帶頭和其它語法元素等參考的PPS的PPS標(biāo)識符(pps_pic_parameter_set_id)(圖15(b)中的SYNPPS02)、圖片解碼用的量化范圍基準(zhǔn)值(pic_init_qp_minus26)、表示適用于帶權(quán)重預(yù)測的標(biāo)記(weighted_pred_flag)、分級列表(量化矩陣)等。PPS可存在多個(gè)，此時(shí)，從對象序列內(nèi)的各圖片中選擇多個(gè)PPS中的某一個(gè)。

對屬于某層的特定圖片進(jìn)行解碼所使用的PPS稱為Active PPS。以下，若無特殊規(guī)定，PPS指針對屬于某層的對象圖片的Active PPS。另外，Active SPS、以及Active PPS，可在不同層的不同SPS或PPS中設(shè)置。即各層可參考不同的SPS或PPS等進(jìn)行解碼處理。

(圖片層)

圖片層定義了對處理對象圖片PICT(以下也稱為對象圖片)進(jìn)行解碼時(shí)分層視頻解碼裝置1所參考的數(shù)據(jù)的集合。圖片PICT如圖8(b)所示，包含了條帶S0～SNS-1(NS為圖片PICT中包含的條帶的總數(shù))。另外，以下如果沒有必要區(qū)別S0～SNS-1的各具體條帶時(shí)，省略符號的下標(biāo)。以下說明中的分層編碼數(shù)據(jù)DATA中包含的有下標(biāo)的其它數(shù)據(jù)也同樣如此。

(條帶層)

條帶層定義了對處理對象條帶S(也稱為對象條帶的條帶片段)進(jìn)行解碼時(shí)分層視頻解碼裝置1所參考的數(shù)據(jù)的集合。條帶S如圖8(c)所示，包含了條帶頭SH、及條帶數(shù)據(jù)SDATA。

條帶頭SH包含了決定對象條帶解碼方法時(shí)分層視頻解碼裝置1所參考的編碼參數(shù)群。圖15(d)是條帶頭語法元素表的一個(gè)示例。例如包含了指定對對象條帶進(jìn)行解碼用的參考PPS(Active PPS)的Active PPS標(biāo)識符(slice_pic_parameter_set_id)(圖15(d)中的SYNSH02)。另外，Active PPS參考的SPS通過Active PPS中包含的Active SPS標(biāo)識符(pps_seq_parameter_set_id)進(jìn)行指定。而Active SPS參考的VPS(Active VPS)通過Active SPS中包含的Active VPS標(biāo)識符(sps_video_parameter_set_id)進(jìn)行指定。

以圖9為例，來說明參數(shù)集的激活，并說明頭信息和構(gòu)成接入單元(AU)的編碼數(shù)據(jù)的參考關(guān)系。圖9的例中，構(gòu)成屬于AU內(nèi)各層L#K(K＝Nmin..Nmax)的圖片的各條帶，在條帶頭中包含了指定應(yīng)參考的PPS的Active PPS標(biāo)識符，在開始各條帶的解碼時(shí)，通過該識符指定解碼中使用的PPS(Active PPS)(也稱為激活)。另外，同一圖片內(nèi)的條帶參考的各PPS、SPS、VPS標(biāo)識符必須相同。被激活的PPS中，包含了指定解碼處理中應(yīng)參考的SPS(Active SPS)的Active SPS標(biāo)識符，通過該標(biāo)識符指定解碼中使用的SPS(Active SPS)。同樣，被激活的SPS中，包含了指定各層序列解碼處理中應(yīng)參考的VPS(Active VPS)的Active VPS標(biāo)識符，通過該標(biāo)識符指定解碼中使用的VPS(Active VPS)。按照以上的步驟，確定各層編碼數(shù)據(jù)解碼處理時(shí)所必須的參數(shù)集。

另外，各種頭信息(條帶頭SH、PPS、SPS)參考的高層參數(shù)集的標(biāo)識符不僅限于圖9的舉例。VPS可以從VPS標(biāo)識符k＝0..15中選擇；SPS可以從SPS標(biāo)識符m＝0..15中選擇；PPS可以從PPS標(biāo)識符n＝0..63中選擇。

指定條帶類型的條帶類型指定信息(slice_type)也是條帶頭SH中包含的編碼參數(shù)之一。

例如，可通過條帶類型指定信息指定的條帶類型有：(1)編碼時(shí)只用幀內(nèi)預(yù)測的I條帶；(2)編碼時(shí)用單方向預(yù)測或幀內(nèi)預(yù)測的P條帶；(3)編碼時(shí)用單方向預(yù)測、雙方向預(yù)測或幀內(nèi)預(yù)測的B條帶等。

(條帶數(shù)據(jù)層)

條帶數(shù)據(jù)層定義了對處理對象的條帶數(shù)據(jù)SDATA進(jìn)行解碼時(shí)分層視頻解碼裝置1所參考的數(shù)據(jù)的集合。如圖8(d)所示，條帶數(shù)據(jù)SDATA中包含了編碼樹塊(CTB:Coded Tree Block)。CTB為構(gòu)成條帶的固定尺寸(例如64×64)的塊，也稱為最大編碼單位(LCU:Largest Cording Unit)。

(編碼樹層)

如圖8(e)所示，編碼樹層定義了對處理對象的編碼樹塊進(jìn)行解碼時(shí)分層視頻解碼裝置1所參考的數(shù)據(jù)的集合。編碼樹單元通過迭代的四叉樹分割進(jìn)行分割。通過迭代的四叉樹分割得到的樹結(jié)構(gòu)節(jié)點(diǎn)稱為編碼樹(coding tree)。四叉樹的中間節(jié)點(diǎn)是編碼樹單元(CTU:Coded Tree Unit)，編碼樹塊自身也被定義作為最高層的CTU。CTU中，包含分割標(biāo)記(split_flag)，當(dāng)split_flag為1時(shí)，分割成4個(gè)編碼樹單元CTU。當(dāng)split_flag為0時(shí)，編碼樹單元CTU被分割成4個(gè)編碼單元(CU:Coded Unit)。編碼單元CU為編碼樹層的末端節(jié)點(diǎn)，此層不能再被分割。編碼單元CU是編碼處理的基本單位。

通過編碼樹單元解碼的對象圖片上的部分區(qū)域稱為編碼樹塊(CTB:Coding Tree block)。對應(yīng)對象圖片亮度成分的亮度圖片的CTB稱為亮度CTB。換言之，從CTU解碼的亮度圖片上的部分區(qū)域稱為亮度CTB。而對應(yīng)由CTU解碼的色度圖片的部分區(qū)域稱為色度CTB。通常，如果決定了圖像的色格式，亮度CTB尺寸和色度CTB尺寸可以相互變換。例如，當(dāng)色格式為4:2:2時(shí)，各色度CTB尺寸為亮度CTB尺寸的一半。以下的闡述中，若無特殊規(guī)定，CTB尺寸即指亮度CTB的尺寸。而且，CTU的尺寸為對應(yīng)CTU的亮度CTB的尺寸。

(編碼單元層)

如圖8(f)所示，編碼單元層定義了對處理對象的編碼單元進(jìn)行解碼時(shí)分層視頻解碼裝置1所參考的數(shù)據(jù)的集合。具體的編碼單元CU(coding unit)由CU頭CUH、預(yù)測樹、變換樹構(gòu)成。CU頭CUH定義了編碼單元是使用幀內(nèi)預(yù)測的單元還是使用幀間預(yù)測單元等。編碼單元作為預(yù)測樹(prediction tree；PT)及變換樹(transform tree；TT)的根。另外，對應(yīng)CU的圖片上的區(qū)域稱為編碼塊(CB:Coding Block)。亮度圖片上的CB稱為亮度CB、色度圖片上的CB稱為色度CB。CU的尺寸(編碼節(jié)點(diǎn)的尺寸)是指亮度CB的尺寸。

(變換樹)

變換樹(以下簡稱TT)定義了編碼單元CU被分割成1個(gè)或多個(gè)變換塊、以及各變換塊的位置和尺寸。也就是說，變換塊是構(gòu)成編碼單元CU的1個(gè)或多個(gè)不重復(fù)的區(qū)域?；蛘哒f，變換樹包含了通過上述分割得到的1個(gè)或多個(gè)變換塊。另外，CU中包含的變換樹的相關(guān)信息、以及變換樹中包含的信息稱為TT信息。

變換樹中的分割有將與編碼單元相同大小的區(qū)域作為變換塊進(jìn)行的分割、以及與上述樹塊分割同樣的通過迭代四叉樹進(jìn)行的分割。變換處理在各變換塊進(jìn)行。以下，將作為變換的單位的變換塊稱為變換單位(transform unit；TU)。

變換樹TT包含指定將對象CU分割成各變換塊的分割方式的TT分割信息SP_TT、以及量化預(yù)測殘差QD1～QDNT(NT為對象CU中包含的變換單位TU的總數(shù))。

TT分割信息SP_TT具體是指決定對象CU中包含的各變換塊的形狀、以及在對象CU內(nèi)的位置的信息。例如，TT分割信息SP_TT可由表示是否進(jìn)行對象節(jié)點(diǎn)分割的信息(split_transform_unit_flag)和表示其分割深度的信息(trafoDepth)組成。

各量化預(yù)測殘差QD是分層視頻編碼裝置2通過對作為處理對象變換塊的對象塊進(jìn)行以下處理1～3而生成的編碼數(shù)據(jù)。

處理1：對從編碼對象圖像減去預(yù)測圖像得到的預(yù)測殘差進(jìn)行頻率變換(例如，DCT變換(Discrete Cosine Transform)及DST變換(Discrete Sine Transform)等)；

處理2：對從處理1得到的變換系數(shù)進(jìn)行量化；

處理3：對處理2中量化的變換系數(shù)進(jìn)行可變長度編碼。

另外，上述的量化參數(shù)qp表示分層視頻編碼裝置2在量化變換系數(shù)時(shí)使用的量化步長QP的大小(QP＝2^qp/6)。

(預(yù)測樹)

預(yù)測樹(以下簡稱PT)定義了編碼單元CU被分割成1個(gè)或多個(gè)預(yù)測塊、以及各預(yù)測塊的位置和尺寸。也就是說，預(yù)測塊是構(gòu)成編碼單元CU的1個(gè)或多個(gè)不重復(fù)的區(qū)域。或者說，預(yù)測樹包含了通過上述分割得到的1個(gè)或多個(gè)預(yù)測塊。另外，CU中包含的預(yù)測樹的相關(guān)信息、以及預(yù)測樹中包含的信息稱為PT信息。

預(yù)測處理在各預(yù)測塊中進(jìn)行。以下將作為預(yù)測的單位的預(yù)測塊稱為預(yù)測單位(prediction unit：PU)。

預(yù)測樹中的分割可分為2類，即幀內(nèi)預(yù)測和幀間預(yù)測。幀內(nèi)預(yù)測是指同一圖片內(nèi)的預(yù)測，幀間預(yù)測是指不同圖片間(例如，顯示時(shí)間之間、分層圖像間)進(jìn)行的預(yù)測處理。即，幀間預(yù)測中，是將與對象層同一層的參考圖片(層內(nèi)參考圖片)或?qū)ο髮拥膮⒖紝由系膮⒖紙D片(層間參考圖片)作為參考圖片，從參考圖片上的解碼圖像生成預(yù)測圖像。

幀內(nèi)預(yù)測時(shí)，分割方法有2N×2N(與編碼單元相同尺寸)和N×N。

幀間預(yù)測時(shí)，分割方法是通過編碼數(shù)據(jù)的part_mode進(jìn)行編碼，有2N×2N(與編碼單元相同尺寸)、2N×N、2N×nU、2N×nD、N×2N、nL×2N、nR×2N、及、N×N等。

(預(yù)測參數(shù))

預(yù)測單元的預(yù)測圖像通過附屬于預(yù)測單元的預(yù)測參數(shù)導(dǎo)出。預(yù)測參數(shù)中，有幀內(nèi)預(yù)測的預(yù)測參數(shù)和幀間預(yù)測的預(yù)測參數(shù)。

幀內(nèi)預(yù)測參數(shù)是還原各IntraPU的幀內(nèi)預(yù)測(預(yù)測模式)用的參數(shù)。還原預(yù)測模式用的參數(shù)中包含MPM(Most Probable Mode、下同)標(biāo)記mpm_flag、選擇MPM用的索引mpm_idx、以及指定MPM以外的預(yù)測模式用的索引rem_idx。

幀間預(yù)測參數(shù)由預(yù)測列表使用標(biāo)記predFlagL0、predFlagL1和參考圖片索引refldxL0、refIdxL1和矢量mvL0、mvL1組成。預(yù)測列表使用標(biāo)記predFlagL0、predFlagL1是表示是否使用稱為L0參考列表、L1參考列表的參考圖片列表的標(biāo)記，值為1時(shí)使用對應(yīng)的參考圖片列表。使用2個(gè)參考圖片列表，即predFlagL0＝1、predFlagL1＝1時(shí)，對應(yīng)雙預(yù)測；使用1個(gè)參考圖片列表，即(predFLagL0，predFlagL1)＝(1，0)或(predFlagL0，predFlagL1)＝(0，1)時(shí)，對應(yīng)單預(yù)測。

(參考圖片列表的舉例)

下面舉例說明參考圖片列表。參考圖片列表是指存儲(chǔ)在解碼圖片緩存中的參考圖片的列表。圖10(a)所示為舉例的參考圖片列表概念圖。在參考圖片列表RPL0中，左右排列的5個(gè)長方形，分別表示各參考圖片。從左至右依次排列的符號P1、P2、Q0、P3、P4分別表示各參考圖片的符號。同樣，參考圖片列表RPL1中，從左至右依次排列的符號P4、P3、R0、P2、P1分別為表示參考圖片的符號。P1等中的P表示對象層P，Q0中的Q表示與對象層P不同的層Q。同樣，R0中的R表示與對象層P及層Q不同的層R。P、Q、R的下標(biāo)，表示圖片序號POC(Picture Ordering Count)。refldxL0正下方的向下箭頭表示參考圖片索引refldxL0是在解碼圖片緩存中通過參考圖片列表RPL0對參考圖片Q0進(jìn)行參考的索引。同樣，refldxL1正下方的向下箭頭，表示參考圖片索引refldxL1是在解碼圖片緩存中通過參考圖片列表RPL1對參考圖片P3進(jìn)行參考的索引。

(參考圖片的舉例)

下面舉例說明導(dǎo)出矢量時(shí)使用的參考圖片。圖10(b)為舉例的參考圖片概念圖。圖10(b)中，橫軸表示時(shí)間，縱軸表示層數(shù)。圖中所示的橫向3個(gè)縱向3個(gè)(共9個(gè))長方形，分別表示圖片。9個(gè)長方形中，中間行左數(shù)第2列的長方形表示解碼對象圖片(對象圖片)，其余的8個(gè)長方形表示各參考圖片。從對象圖片向下箭頭所示的參考圖片Q2、以及R2為與對象圖片相同顯示時(shí)間的不同層的圖片。在以對象圖片curPic(P2)為基準(zhǔn)的層間預(yù)測中，使用參考圖片Q2或R2。從對象圖片向左箭頭所示的參考圖片P1為與對象圖片同一層的過去的圖片。從對象圖片向右箭頭所示的參考圖片P3為與對象圖同一層的未來的圖片。在以對象圖片為基準(zhǔn)的運(yùn)動(dòng)預(yù)測中，使用參考圖片P1或P3。

(運(yùn)動(dòng)矢量和變位矢量)

矢量mvLX中有運(yùn)動(dòng)矢量和變位矢量(disparity vector、視差矢量)。運(yùn)動(dòng)矢量是表示在某層某顯示時(shí)間的圖片中的塊的位置和不同顯示時(shí)間(例如，鄰接的離散時(shí)間)的同一層圖片中的對應(yīng)塊的位置差異的矢量。

變位矢量是表示在某層某顯示時(shí)間的圖片中的塊的位置和同一顯示時(shí)間中的不同層的圖片中的對應(yīng)塊的位置差異的矢量。不同層的圖片有多種情況，如同一分辨率而品質(zhì)不同的圖片、不同視點(diǎn)的圖片、或不同分辨率的圖片等。特別地將對應(yīng)不同視點(diǎn)的圖片的變位矢量稱為視差矢量。

〔分層視頻解碼裝置〕

以下，參考圖16～圖19，說明本實(shí)施例相關(guān)的分層視頻解碼裝置1的構(gòu)成。

(分層視頻解碼裝置的構(gòu)成)

以下說明本實(shí)施例相關(guān)的分層視頻解碼裝置1的構(gòu)成。圖16所示為本實(shí)施例相關(guān)的分層視頻解碼裝置1的構(gòu)成概要圖。

分層視頻解碼裝置1對分層視頻編碼裝置2提供的分層編碼數(shù)據(jù)DATA進(jìn)行解碼，生成根據(jù)外部提供的通過輸出指定信息(對象層集標(biāo)識符)確定的解碼對象層集TargetDecLayerSet的層ID列表TargetDecLayerIdList、以及外部提供的指定解碼對象的層上附屬的最高子層的對象最高時(shí)域標(biāo)識符TargetHighestTid決定的目標(biāo)集TargetSet中包含的各層的解碼圖片，將通過對象輸出層集相關(guān)的輸出層信息OutputLayerFlag作為輸出層指定的層的解碼圖片作為輸出圖片POUT#T輸出。

即，分層視頻解碼裝置1按對象解碼層集TargetDecLayerSet的層ID列表的元素TargetDecLayerIdList[0]..TargetDecLayerIdList[N-1](N為對象解碼層集中包含的層數(shù))的順序，對層i圖片的編碼數(shù)據(jù)進(jìn)行解碼，生成其解碼圖片，當(dāng)該層i的輸出層信息OutputLayerFlag[i]顯示為“輸出層”時(shí)，將該層i的解碼圖片在指定時(shí)間輸出。

如圖16所示，分層視頻解碼裝置1由NAL解復(fù)用部11、以及目標(biāo)集圖片解碼部10構(gòu)成。而目標(biāo)集圖片解碼部10又由Non-VCL解碼部12、參數(shù)存儲(chǔ)器13、圖片解碼部14、解碼圖片管理部15、以及輸出控制部16構(gòu)成。NAL解復(fù)用部11中還配備有比特流抽取部17。

分層編碼數(shù)據(jù)DATA中，除有通過VCL生成的NALU(NAL Unit)以外，還有包含參數(shù)集(VPS、SPS、PPS)、SEI等的NALU。這些NAL相對VCL NALU稱為非VCL NALU(non-VCL NAL unit)。

輸出控制部16基于外部提供的輸出指定信息、參數(shù)存儲(chǔ)器13中保存的Active VPS層集信息、以及輸出層集信息，作為輸出控制信息，導(dǎo)出表示對象輸出層集TargetOptLayerSet層結(jié)構(gòu)的對象輸出層ID列表TargetOptLayerIdList、以及表示解碼對象輸出層集所必要的層結(jié)構(gòu)的對象解碼層ID列表TargetDecLayerIdList。導(dǎo)出的對象輸出層ID列表TargetOptLayerIdList、以及對象解碼層ID列表TargetDecLayerIdList分別提供給比特流抽取部17、以及解碼圖片管理部15。輸出控制部16中的對象輸出層ID列表、以及對象解碼層ID列表的導(dǎo)出處理將后述。

NAL解復(fù)用部11中的比特流抽取部17，概括地說，就是進(jìn)行比特流抽取處理，從分層編碼數(shù)據(jù)DATA中，抽取由通過輸出控制部16提供的對象解碼層ID列表、以及解碼對象最高子層標(biāo)識符TargetHighestTid決定的集合的目標(biāo)TargetSet中包含的NAL單元構(gòu)成的目標(biāo)集編碼數(shù)據(jù)DATA#T(BitstreamToDecode)。比特流抽取部17中與本發(fā)明關(guān)聯(lián)性大的處理將在后面詳細(xì)論述。

然后，NAL解復(fù)用部11將由比特流抽取部17抽取的目標(biāo)集編碼數(shù)據(jù)DATA#T(BitstreamToDecode)進(jìn)行解復(fù)用，參考NAL單元中包含的NAL單元類型、層標(biāo)識符(層ID)、時(shí)域標(biāo)識符(時(shí)域ID)，將目標(biāo)集中包含的NAL單元提供給目標(biāo)集圖片解碼部10。

目標(biāo)集圖片解碼部10，分別將所提供的目標(biāo)集編碼數(shù)據(jù)DATA#T中包含的NALU中的non-VCL NALU提供給Non-VCL解碼部12，將VCL NALU提供給圖片解碼部14。即目標(biāo)集圖片解碼部10將所提供的NAL單元的頭(NAL單元頭)進(jìn)行解碼，根據(jù)解碼的NAL單元頭中包含的NAL單元類型、層標(biāo)識符、以及時(shí)域標(biāo)識符，將non-VCL NALU的編碼數(shù)據(jù)提供給Non-VCL解碼部12，將VCL NALU的編碼數(shù)據(jù)提供給圖片解碼部14，解碼的NAL單元類型、層標(biāo)識符、以及時(shí)域標(biāo)識符也一起提供。

Non-VCL解碼部12從輸入的non-VCL NALU解碼參數(shù)集，即解碼VPS、SPS、及、PPS提供給參數(shù)存儲(chǔ)器13。Non-VCL解碼部12中與本發(fā)明關(guān)聯(lián)性大的處理將在后面詳述。

參數(shù)存儲(chǔ)器13按解碼后參數(shù)集的各參數(shù)集標(biāo)識符保管參數(shù)集的編碼參數(shù)。具體是：如果是VPS，按每個(gè)VPS標(biāo)識符(video_parameter_set_id)保管VPS的編碼參數(shù)；如果是SPS，按每個(gè)SPS標(biāo)識符(sps_seq_parameter_set_id)保管SPS的編碼參數(shù)；如果是PPS，按每個(gè)PPS標(biāo)識符(pps_pic_parameter_set_id)保管PPS的編碼參數(shù)。另外，參數(shù)存儲(chǔ)器13中保管的編碼參數(shù)中也可以包含各參數(shù)集的層標(biāo)識符、以及時(shí)域標(biāo)識符。

參數(shù)存儲(chǔ)器13還將后述的圖片解碼部14解碼圖片時(shí)參考的參數(shù)集(Active參數(shù)集)的編碼參數(shù)提供給圖片解碼部14。具體是：首先根據(jù)被圖片解碼部14解碼的條帶頭SH中包含的Active PPS標(biāo)識符(slice_pic_parameter_set_id)，指定Active PPS；然后，根據(jù)所指定的Active PPS中包含的Active SPS標(biāo)識符(pps_seq_parameter_set_id)，指定Active SPS；最后，通過Active SPS中包含的Active VPS標(biāo)識符(sps_video_parameter_set_id)，指定Active VPS。之后將所指定的Active PPS、Active SPS、Active VPS的編碼參數(shù)提供給圖片解碼部14。同樣，參數(shù)存儲(chǔ)器13還將輸出控制部16導(dǎo)出輸出控制信息時(shí)參考的Active參數(shù)集的編碼參數(shù)提供給輸出控制部16。

圖片解碼部14根據(jù)所輸入的VCL NALU、Active參數(shù)集(Active PPS、Active SPS、Active VPS)以及參考圖片，生成解碼圖片，并提供給解碼圖片管理部15。所提供的解碼圖片保存在解碼圖片管理部15內(nèi)的緩存中。圖片解碼部14的詳細(xì)說明將后述。

解碼圖片管理部15將所輸入的解碼圖片保存在內(nèi)部的解碼圖片緩存(DPB:Decoded Picture Buffer)中，同時(shí)還決定參考圖片列表的生成和輸出圖片等。此外，解碼圖片管理部15還將DPB中記錄的解碼圖片中的、由輸出控制部16導(dǎo)出的對象輸出層ID列表TargetOptLayerIdList中包含的輸出層的解碼圖片作為輸出圖片POUT#T，在指定時(shí)間向外部輸出。

(Non-VCL解碼部12)

Non-VCL解碼部12從輸入的目標(biāo)集編碼數(shù)據(jù)中，解碼目標(biāo)集解碼用的參數(shù)集(VPS,SPS,PPS)。解碼后的參數(shù)集的編碼參數(shù)被提供給參數(shù)存儲(chǔ)器13，按各參數(shù)集的各標(biāo)識符記錄。此外，Non-VCL解碼部12不僅限于參數(shù)集，也可以解碼圖6中分類為non-VCL的NAL單元(nal_unit_type＝32..63)。與參數(shù)集同樣，解碼后的non-VCL編碼參數(shù)分別記錄在參數(shù)存儲(chǔ)器13中。

通常，參數(shù)集的解碼按既定的語法元素表進(jìn)行。即，按語法元素表定義的步驟從編碼數(shù)據(jù)中讀出比特串，解碼獲得語法元素表中的語法元素。也可以根據(jù)需要，基于已解碼的語法元素導(dǎo)出變量，包含在輸出的參數(shù)集中。因此，從Non-VCL解碼部12輸出的參數(shù)集，可描述為編碼數(shù)據(jù)中包含的參數(shù)集(VPS、SPS、PPS)相關(guān)的語法元素、及通過該語法元素導(dǎo)出的變量的集合。

此外，圖中雖未表示，Non-VCL解碼部12的構(gòu)成中包含了根據(jù)規(guī)定語法元素表解碼參數(shù)集(VPS/SPS/PPS)的參數(shù)集解碼裝置。而參數(shù)集解碼裝置中又具有：解碼層集信息的層集解碼裝置；解碼層間依賴信息的層間依賴信息解碼裝置；解碼輸出層集信息的輸出層集信息解碼裝置；解碼對應(yīng)輸出層集的PTL信息的PTL信息解碼裝置；解碼對應(yīng)輸出層集的HRD參數(shù)的HRD參數(shù)解碼裝置；解碼對應(yīng)輸出層集的DPB信息的DPB信息解碼裝置等。

以下重點(diǎn)說明Non-VCL解碼部12中解碼用的語法元素表中與本發(fā)明關(guān)聯(lián)性大的語法元素。

(層集信息)

層集信息是表示構(gòu)成分層編碼數(shù)據(jù)的層集的層的集合的列表(以下稱為層ID列表LayerIdList)，通過層集信息解碼裝置從VPS進(jìn)行解碼。層集信息中包含有表示VPS中定義的層集數(shù)的語法元素(vps_num_layer_sets_minus1)(圖11中的SYNPVS06)以及表示按VPS中的層定義順序的第j層(層j)是否包含在第i層集(層集i)中的語法元素“l(fā)ayer_id_included_flag[i][j]”(SYNVPS07)。層集數(shù)VpsNumLayerSets設(shè)置為(vps_num_layer_sets_minus1+1)。此外，層集i由語法元素”layer_id_included_flag[i][j]”的值為1的層j構(gòu)成，即構(gòu)成層集i的層j包含在層ID列表LayerIdList[i]中。

層集i中包含的層數(shù)NumLayersInIdList[i]是指語法元素“l(fā)ayer_id_included_flag[i][j]”中，對層集i的該語法元素值為1的標(biāo)記的個(gè)數(shù)。

更具體地說，各層集i的層ID列表LayerIdList[i]、以及層集i中包含的層數(shù)NumLayersInIdList[i]可以通過以下的偽代碼導(dǎo)出。

(表示導(dǎo)出各層集的層ID列表的偽代碼)

for(i＝0；i<VpsNumLayerSets；i++){

NumLayersInIdList[i]＝0；

for(m＝0；m<＝vps_max_layer_id；m++){

if(layer_id_included_flag[i][m]){

LayerIdList[i][NumLayersInIdList[i]]＝m；

NumLayersInIdList[i]++；

}

}//end of loop on for(m＝0；m<＝vps_max_layer_id；m++)

}//end of loop on for(i＝0；i<VpsNumLayerSets；i++)

可用如下步驟表述上述偽代碼。

(SA01)導(dǎo)出層集i的層ID列表的循環(huán)的始點(diǎn)。循環(huán)開始前，將變量i初始化為0。當(dāng)變量i小于層集數(shù)“NumLayerSets”時(shí)，執(zhí)行循環(huán)內(nèi)的處理，每執(zhí)行1次循環(huán)內(nèi)的處理，變量i加“1”。

(SA02)將層集i的層數(shù)NumLayresInIdList[i]初始化為0(即NumLayersInIdList[i]＝0)。

(SA03)向?qū)蛹痠的層ID列表追加第m層(層m)元素的循環(huán)的始點(diǎn)。循環(huán)開始前，將變量m初始化為0。當(dāng)變量m(第m層)小于等于最大層標(biāo)識符“vps_max_layer_id”(m<＝vps_max_layer_id)時(shí)，執(zhí)行循環(huán)內(nèi)的處理，每執(zhí)行1次循環(huán)內(nèi)的處理，變量m加“1”。另外，也可以用最大層數(shù)VpsMaxLayers取代最大層標(biāo)識符“vps_max_layer_id”，當(dāng)變量m小于最大層數(shù)VpsMaxLayers時(shí)，執(zhí)行循環(huán)內(nèi)的處理。即，for語句的“m<＝vps_max_layer_id”判斷式可變更為“m<VpsMaxLayers”。

(SA04)判斷層m是否包含在層集i中(layer_id_included_flag[i][m])。如果layer_id_included_flag[i][m]為1，進(jìn)入步驟SA05。如果layer_id_included_flag[i][m]為0，省略步驟SA05～SA06的處理，進(jìn)入SA0A。

(SA05)將層m追加到層集i的層ID列表LayerIdList[i][]的第NumLayersInIdList[i]元素(即，LayerIdList[i][NumLayersInIdList[i]]＝m)。

(SA06)將層集i的層數(shù)NumLayersInIdList[i]的值加“1”(即，NumLayersInIdList[i]++)。

(SA0A)向?qū)蛹痠的層ID列表追加第m層(層m)元素的循環(huán)的終點(diǎn)。

(SA0B)導(dǎo)出層集i的層ID列表的循環(huán)的終點(diǎn)。

通過以上步驟，可以導(dǎo)出各層集i的層ID列表LayerIdList[i]。參照層ID列表LayerIdList[]，可知層集i中的第m元素的層在全部層(VPS中定義的層)中是第幾層。并且，通過表示層集i的層數(shù)的變量NumLayersInIdList[i]也可知層集i中包含的層數(shù)。另外，導(dǎo)出的步驟并不僅限于上述步驟，可在實(shí)施可能的范圍內(nèi)變更。

(PTL信息)

PTL信息是表示解碼輸出層集所必須的檔次以及水平的信息，通過PTL信息解碼裝置從VPS或SPS進(jìn)行解碼。

對應(yīng)輸出層集OLS#0的PTL信息，VPS中的在圖11所示的SYNVPS04、SPS中的在圖15(a)中通知。并且，對應(yīng)輸出層集OLS#i(i＝1..NumOutputLayerSets-1)的PTL信息，由表示VPS中定義的”PTL信息數(shù)-1”的語法元素”vps_num_profile_tier_level_minus1”(圖11中的SYNVPS0D)、表示第i(i＝1..num_profile_tier_level_minus1)的PTL信息的檔次信息有無的檔次有無標(biāo)記”vps_profile_present_flag[i]”(圖11中的SYNVPS0E)、以及第i的PTL信息”profile_tier_level()”(圖11中的SYNVPS0F)組成。

各PTL信息通過后述的輸出層集OLS#i中包含的PTL指定標(biāo)識符(profile_level_tier_idx[i])(圖12中的SYNVPS0J)與輸出層集OLS#i建立對應(yīng)關(guān)系。例如，如果輸出層集OLS#3的PTL指定標(biāo)識符profile_level_tier_idx[3]＝10，則圖12的SYNVPS0F中的PTL信息列表中，從開頭數(shù)起第10的PTL信息是適用于輸出層集OLS#3的PTL信息。

而如圖13所示的PTL信息(SYNVPS04以及SYNVPS0H)中，包含了檔次以及水平的相關(guān)語法元素組(SYNPTL01、SYNPTL02、SYNPTL03、SYNPTL04、SYNPTL05、SYNPTL06)，通過PTL信息解碼裝置進(jìn)行解碼。

語法元素組SYNPTL01中包含了下列語法元素。

·檔次空間general_profile_space

·等級標(biāo)記general_tier_flag

·檔次標(biāo)識符general_profile_idc

·檔次兼容標(biāo)記general_profile_compatibility_flag[i]

·檔次預(yù)約語法元素general_reserved_zero_44bits

語法元素組SYNPTL02中包含了水平標(biāo)識符general_level_idc。

語法元素組SYNPTL03包含了子層的子層檔次有無標(biāo)記及子層水平有無標(biāo)記。

語法元素組SYNPTL04為基于子層數(shù)(MaxNumSbuLayersMinus1、或MaxNumSubLayers-1)決定的比特?cái)?shù)個(gè)數(shù)的byte align data(reserved_zero_2bits[i])。

語法元素組SYNPTL05中包含下列語法元素。

·子層檔次空間sub_layer_profile_space[i]

·子層等級標(biāo)記sub_layer_tier_flag[i]

·子層檔次標(biāo)識符sub_layer_profile_idc[i]

·子層檔次兼容標(biāo)記sub_layer_profile_compatibility_flag[i][j]

·子層檔次預(yù)約語法元素sub_layer_reserved_zero_44bits[i]

語法元素組SYNPTL05中，作為子層的子層水平信息包含了子層水平標(biāo)識符sub_layer_level_idc[i]。

(輸出層集信息)

輸出層集通過輸出的層的集合(輸出層信息)和解碼處理對象的層的集合(層集信息)的組合進(jìn)行定義，通過分層視頻解碼裝置具有的輸出層集信息解碼裝置(圖中未表示)進(jìn)行解碼。分層視頻解碼裝置將層集信息解碼裝置解碼的輸出層集中包含的層集(與輸出層集建立了對應(yīng)關(guān)系的層集)中包含的層作為解碼對象，解碼獲得該層的解碼圖片保存在緩存中，以輸出層集中包含的輸出層為對象，選擇緩存中保存的特定層的解碼圖片并輸出。

輸出層集信息中包含了以下的語法元素(E1～E5)。

E1：追加輸出層集數(shù)(num_add_output_layer_sets)(圖12中的SYNVPS0G)

E2：默認(rèn)輸出層標(biāo)識符(default_target_output_layer_idc)(圖12中的SYNVPS0H)

E3：層集標(biāo)識符(output_layer_set_idx_minus1)(圖12中的SYNVPS0I)

E4：輸出層信息(output_layer_flag)(圖12中的SYNVPS0J)

E5：PTL指定IDX(profile_level_tier_idx)(圖12中的SYNVPS0K)

本實(shí)施例的輸出層集信息解碼裝置至少解碼輸出層集的層集標(biāo)識符和輸出層標(biāo)記。

(E1：追加輸出層集)

輸出層集基于對應(yīng)的層集進(jìn)行定義。在定義了比基礎(chǔ)的層集數(shù)VpsNumlayerSets多的輸出層集時(shí)定義追加輸出層集。追加輸出層集數(shù)num_add_output_layer_sets是與追加輸出層集數(shù)量相關(guān)的語法元素。

本實(shí)施例的輸出層集信息解碼裝置，解碼輸出層集數(shù)NumOutputLayerSets，通過層集數(shù)VpsNumlayerSets+追加輸出層集數(shù)num_add_output_layer_sets導(dǎo)出輸出層集數(shù)NumOutputLayerSets。以下，相對i＝VpsNumLayerSets-1..NumOutputLayerSet的追加層集OLS#i，將i＝0..(VpsNumLayerSets-1)的輸出層集OLS#i稱為基本層集。

本實(shí)施例的輸出層集信息解碼裝置，對應(yīng)層集數(shù)VpsNumLayerSets，省略追加輸出層集數(shù)的解碼。具體是，當(dāng)層集數(shù)VpsNumLayerSets大于1(vps_num_layer_sets_minus1>0)時(shí)，輸出層集信息解碼裝置從編碼數(shù)據(jù)中解碼獲得追加輸出層集數(shù)num_add_output_layer_sets(SYNVPS0G)。當(dāng)追加輸出層集數(shù)num_add_output_layer_sets沒有出現(xiàn)在編碼數(shù)據(jù)中時(shí)，即層集數(shù)VpsNumLayerSets為1(vps_num_layer_sets_minus1＝0)時(shí)，輸出層集信息解碼裝置推定追加輸出層集數(shù)num_add_output_layer_sets為0。

因?yàn)閷蛹?總是由基本層構(gòu)成的層集，所以，當(dāng)層集數(shù)為1時(shí)，輸出層集中包含的層(＝層集)只有基本層。作為由基本層構(gòu)成的輸出層集，只有當(dāng)基本層的輸出標(biāo)記為1時(shí)解碼才有意義，除此以外解碼追加輸出層集沒有意義。因此，上述構(gòu)成的輸出層集信息解碼裝置，當(dāng)層集數(shù)為0時(shí)，不解碼追加輸出層集數(shù)(不使用追加輸出層)是合適的。

根據(jù)上述構(gòu)成的輸出層集信息解碼裝置，當(dāng)層集數(shù)為1時(shí)，可省略追加輸出層集數(shù)的語法元素相關(guān)的解碼/編碼。

(E2：默認(rèn)輸出層標(biāo)識符)

默認(rèn)輸出層標(biāo)識符default_target_output_layer_idc是指定輸出層集(輸出層信息)導(dǎo)出處理的語法元素。本實(shí)施例的輸出層集信息解碼裝置基于對默認(rèn)輸出層標(biāo)識符的解碼，導(dǎo)出輸出層集OLS#i(i＝1..(VpsNumLayerSets-1))的輸出層信息(OutputLayerFlag)。

(1)當(dāng)默認(rèn)輸出層標(biāo)識符＝0時(shí)，對基本層集(i＝1..(VpsNumLayerSets-1)為止的輸出層集OLS#i)，省略后述的output_layer_flag，將各輸出層集中包含的全部層作為輸出層。對于追加層集，通過output_layer_flag明確指定輸出層。

(2)當(dāng)默認(rèn)輸出層標(biāo)識符＝1時(shí)，在基本層集(i＝1..(VpsNumLayerSets-1)為止的輸出層集OLS#i)中，將各輸出層集中包含的具有最高層標(biāo)識符的主層作為輸出層。對于追加層集，通過output_layer_flag明確指定輸出層。

(3)當(dāng)默認(rèn)輸出層標(biāo)識符＝2時(shí)，在全部的輸出層集(基本層集及追加層集、i＝0...(NumOutputLayerSet-1)為止的輸出層集OLS#i)中，對output_layer_flag[i][j]進(jìn)行編碼，明確指定輸出層。

另外，默認(rèn)輸出層標(biāo)識符的3以上的值作為將來規(guī)格擴(kuò)展用預(yù)約值。

本實(shí)施例的輸出層集信息解碼裝置，對應(yīng)層集數(shù)VpsNumLayerSets，省略默認(rèn)輸出層標(biāo)識符(default_target_output_layer_idc)的解碼。

具體是，本實(shí)施例的輸出層集信息解碼裝置，當(dāng)層集數(shù)VpsNumLayerSets大于1(vps_num_layer_sets_minus1>0)時(shí)，解碼默認(rèn)輸出層標(biāo)識符(default_target_output_layer_idc)；當(dāng)層集數(shù)VpsNumLayerSets等于1(vps_num_layer_sets_minus1＝0)時(shí)，不解碼默認(rèn)輸出層標(biāo)識符(default_target_output_layer_idc)。當(dāng)默認(rèn)輸出層標(biāo)識符(default_target_output_layer_idc沒有出現(xiàn)在編碼數(shù)據(jù)中時(shí)，本實(shí)施例的輸出層集信息解碼裝置推定默認(rèn)輸出層標(biāo)識符(default_target_output_layer_idc)為0(推定為上述默認(rèn)輸出層標(biāo)識符＝2以外的情況)。

根據(jù)上述構(gòu)成的輸出層集信息解碼裝置，可通過取代輸出層集數(shù)NumOutputLayerSets、將層集數(shù)VpsNumLayerSets作為解碼的條件，解碼追加輸出層集數(shù)(num_add_output_layer_sets)相關(guān)的語法元素，不導(dǎo)出通過追加輸出層集數(shù)決定的輸出層集數(shù)NumOutputLayerSets(＝VpsNumOutputLayerSets+num_add_output_layer_sets)，而解碼默認(rèn)輸出層標(biāo)識符相關(guān)的語法元素。即可簡化默認(rèn)輸出層標(biāo)識符解碼的相關(guān)處理。

(E3：層集標(biāo)識符)

層集標(biāo)識符是確認(rèn)與輸出層集關(guān)聯(lián)的層集的值。本實(shí)施例的輸出層集信息解碼裝置，解碼語法元素output_layer_set_idx_minus1[i]，將值為output_layer_set_idx_minus1[i]加1的層集標(biāo)識符所指的層集(LS#(output_layer_set_idx_minus1[i]+1))與輸出層集OLS#i建立關(guān)聯(lián)。

另外，在編碼數(shù)據(jù)中，當(dāng)輸出層集OLS#i的層集標(biāo)識符output_layer_set_idx_minus1[i]不存在(被省略了)時(shí)，輸出層集信息解碼裝置也可以推定。例如，i＝0..VpsNumLayerSets-1的輸出層集OLS#i時(shí)，推定層集標(biāo)識符output_layer_set_minus1[i]＝(i-1)。本實(shí)施例中，層集標(biāo)識符相關(guān)的語法元素用”層集標(biāo)識符的值-1”表示，但并不僅限于此，也可以用”層集標(biāo)識符的值”本身表示

(E4：輸出層信息)

輸出層信息是表示與輸出層集關(guān)聯(lián)的層集中包含的各層是否作為輸出對象層的標(biāo)記OutputLayerFlag[i][j]。本實(shí)施例的輸出層集信息解碼裝置，從語法元素output_layer_flag[i][j]中解碼輸出層信息OutputLayerFlag[i][j]。output_layer_flag[i][j]是表示輸出層集i中的第j層是否是輸出對象層的標(biāo)記，值為真(1)時(shí)，表示作為輸出對象層，值為偽(0)時(shí)，不作為輸出對象層。

輸出層集信息解碼裝置也可省略部分或全部輸出層信息的解碼，推定、或者根據(jù)其它語法元素值的導(dǎo)出處理，決定輸出層信息。例如，也可根據(jù)默認(rèn)輸出層標(biāo)識符(default_target_output_layer_idc)，基于以下(1)～(3)所示的導(dǎo)出處理，決定輸出層集OLS#i(i＝1..VpsNumLayerSets-1)的輸出層信息。另外，只由基本層構(gòu)成的輸出層集OLS#0的輸出層信息也可推定為OutputLayerFlag[0][0]＝1。

(1)當(dāng)默認(rèn)輸出層標(biāo)識符＝0時(shí)：如以下偽代碼所示，輸出層集信息解碼裝置針對i＝0..vps_number_layer_sets_minus1的基本輸出層，推定全部層的輸出層標(biāo)記OutputLayerFlag[i][j]為1。此處，變量LayerSetIdx[i]表示與輸出層集OLS#i相關(guān)聯(lián)的層集的層集標(biāo)識符，被設(shè)置為(output_layer_set_idx_minus1[i]+1)，變量NumLayersInIdList[LayerSetIdx[i]]為層集LS#(LayerSetIdx[i])中包含的層數(shù)(以下同)。

for(j＝0；j<NumLayersInIdList[LayerSetIdx[i]]；j++){

OutputLayerFlag[i][j]＝1；

}

(2)當(dāng)默認(rèn)輸出層標(biāo)識符＝1時(shí)：對i＝0..vps_number_layer_sets_minus1的基本輸出層，輸出層集信息解碼裝置將各輸出層集中包含的具有最高層標(biāo)識符的主層作為輸出層。輸出層信息(OutputLayerFlag)可以通過以下的偽代碼導(dǎo)出。

for(j＝0；j<NumLayersInIdList[LayerSetIdx[i]]；j++){

if(層j是LayerIdList[LayerSetIdx[i]]中的具有最高層標(biāo)識符的

主層){

OutputLayerFlag[i][j]＝1；

}else{

OutputLayerFlag[i][j]＝0；

}

}

此外，參考從表示層j的維數(shù)ID的語法元素”dimension_id[i][j]”導(dǎo)出的分層ID(ScalabilityId)、圖13中所示的分層ID和分層類型(Scalability Diemnsion)的對應(yīng)表，根據(jù)該表中的“Auxiliary”項(xiàng)(AuxId[j]＝ScalabilityId[j][3])的值判斷層j是否是主層。即，該項(xiàng)值為0(AuxId[j]＝＝0)時(shí)，表示層j為主層，大于0(AuxId[j]>0)時(shí)，表示層j是輔助層(或AUX層)。輔助層是指針對屬于主層的圖片，通知深度圖、Alpha通道等的輔助圖片用的層。主層是指通知由亮度/色度形成的圖片用的層，不包含輔助圖片。

(3)當(dāng)默認(rèn)輸出層標(biāo)識符＝2時(shí)：各輸出層集OLS#i中，通過明確通知的輸出層信息相關(guān)的語法元素”output_layer_flag[i][j]”，決定輸出層。即，如以下偽代碼所示，在輸出層集OLS#i第j層(層j)的輸出層信息(OutputLayerFlag[i][j])中，設(shè)置語法元素output_layer_flag[i][j]的值。

for(j＝0；j<NumLayersInIdList[LayerSetIdx[i]]；j++){

OutputLayerFlag[i][j]＝output_layer_flag[i][j]；

}

輸出層集信息解碼裝置，也可根據(jù)導(dǎo)出的輸出層信息(OutputLayerFlag)，通過以下的偽代碼導(dǎo)出各輸出層集OLS#i(i＝0..NumOuputLayerSets-1)的輸出層數(shù)NumOptLayersInOLS[i]。即，輸出層集OLS#i的輸出層數(shù)NumOptLayersInOLS[i]是層j的輸出層標(biāo)記OutputLayerFlag[i][j]表示”輸出層”標(biāo)記的個(gè)數(shù)。

NumOptLayersInOLS[i]＝0；

for(j＝0；j<NumLayersInIdList[LayerSetIdx[i]]；j++){

NumOptLayersInOLS[i]+＝OuputLayerFlag[i][j]；

}

(E5：PTL指定標(biāo)識符)

PTL指定標(biāo)識符(profile_level_tier_idx)(圖12中的SYNVPS0K)···用于指定適用于輸出層集OLS#i(i＝1..NumOutputLayerSets-1)的PTL信息的語法元素。用PTL指定標(biāo)識符(profile_tier_level[i])所指定的第(profile_tier_level_idx[i])項(xiàng)的PTL信息適用于輸出層集OLS#i。

(輸出層集相關(guān)的比特流一致性)

以下說明輸出層集應(yīng)滿足的各種比特流一致性。

因?yàn)楝F(xiàn)有技術(shù)中未解決的課題，禁止定義沒有輸出層的輸出層集，所以，本實(shí)施例中圖像解碼裝置1/圖像編碼裝置2所解碼/生成的編碼數(shù)據(jù)至少必須滿足以下的輸出層集一致性條件CA1。

CA1：各輸出層集OLS#i(i＝0..NumOutputLayerSets-1)具有1以上(含1)輸出層(或至少具有1個(gè)輸出層)。

使用輸出層標(biāo)記OutputLayerFlag，條件CA1也可以描述成條件CA2、或條件CA3。

CA2：各輸出層集OLS#i(i＝0..NumOutputLayerSets-1)中，輸出層標(biāo)記的總和大于等于1(或者大于0)(針對全部的i＝0..NumOutputLayerSets-1，j＝0..NumLayersInIdList[LayerSetIdx[i]]的OutputLayerFlag[i][j]的和大于等于1)。

條件CA2中，輸出層集OLS#i的輸出層標(biāo)記的總和SumOfOutputLayerFlag，例如可以通過以下的偽代碼導(dǎo)出。

SumOfOutputLayerFlag＝0；

for(j＝0；j<NumLayersInIdList[LayerSetIdx[i]]；j++){

SumOfOutputLayerFlag+＝OutputLayerFlag[i][j]；

}

CA3：針對全部i＝0..NumOutputLayerSets-1，對滿足0..NumLayersInIdList[LayerSetIdx[i]]的至少1個(gè)j，有OutputLayerFlag[i][j]等于1。

上述一致性條件CA1～CA3，換言之，即禁止定義沒有輸出層的輸出層集。編碼數(shù)據(jù)通過輸出層集滿足上述一致性條件CA1(或CA2、CA3)，圖像解碼裝置1從上述編碼數(shù)據(jù)解碼得到的輸出層集，可保證至少有1以上(含1)輸出層的解碼圖片作為輸出圖片輸出。因此，可防止現(xiàn)有技術(shù)中圖像解碼裝置從編碼數(shù)據(jù)中解碼了沒有輸出層的輸出層集的各層，因沒有輸出圖片而導(dǎo)致可能發(fā)生不可預(yù)料動(dòng)作的問題。

并且，圖像解碼裝置1/圖像編碼裝置2，優(yōu)選解碼/生成滿足以下所示輸出層集相關(guān)一致性條件CB1的編碼數(shù)據(jù)。

條件CB1：2以上(含2)的輸出層集與同一層集建立了對應(yīng)關(guān)系(關(guān)聯(lián))、且輸出層數(shù)相等時(shí)，在上述的2以上(含2)的輸出層集中，至少有1個(gè)的同一層相關(guān)輸出層標(biāo)記值互不相同。

上述條件CB1也可以用條件CB2～CB3表述。

條件CB2：輸出層集OLS#i(i＝0..NumOutputLayerSets-1)的層集標(biāo)識符LayerSetIdx[i]和輸出層集OLS#j(j＝0..NumOutputLayerSets-1,i！＝j(luò))的層集標(biāo)識符LayerSetIdx[j]相等、且輸出層集OLS#i的輸出層數(shù)NumOptLayersInOLS[i]和輸出層集OLS#j的輸出層數(shù)NumOptLayersInOLS[j]相等時(shí)，至少有1層n(n＝0..NumOptLayersInOLS[i]-1)的輸出層集OLS#i的輸出層標(biāo)記OuputLayerFlag[i][n]和輸出層集OLS#j的輸出層標(biāo)記OuputLayerFlag[i][n]不相同。

條件CB3：輸出層集OLS#i(i＝0..NumOutputLayerSets-1)的層集標(biāo)識符LayerSetIdx[i]和輸出層集OLS#j(j＝0..NumOutputLayerSets-1,i?。絡(luò))的層集標(biāo)識符LayerSetIdx[j]相等時(shí)，輸出層集OLS#i的輸出層標(biāo)記的列表OutputLayerFlag[j][]和輸出層集OLS#j的輸出層標(biāo)記的列表OutputLayerFlag[j][]互不相同。

條件CB1～CB3，換言之，即禁止重復(fù)定義具有相同輸出層結(jié)構(gòu)的輸出層集。通過編碼數(shù)據(jù)的輸出層集滿足上述一致性條件CB1(或CB2/CB3)，圖像解碼裝置1中，從上述編碼數(shù)據(jù)中解碼得到的2以上(含2)的輸出層集，可保證是互不相同的輸出層結(jié)構(gòu)。因此，可防止圖像解碼裝置從編碼數(shù)據(jù)解碼重復(fù)定義的輸出層集。而且，可減少輸出層集重復(fù)定義的相關(guān)編碼量。

作為禁止輸出層集重復(fù)定義的一致性條件，取代條件CB1～CB3，圖像解碼裝置1/圖像編碼裝置2所解碼/生成的編碼數(shù)據(jù)也可滿足禁止輸出層標(biāo)記以及PTL信息組合時(shí)重復(fù)定義的一致性條件CB4～CB6。

條件CB4：2以上(含2)的輸出層集與同一層集建立了對應(yīng)關(guān)系(關(guān)聯(lián))、且輸出層數(shù)相等時(shí)，上述2以上(含2)的輸出層集中，與各輸出層集相關(guān)聯(lián)的PTL信息互不相同，或至少有1個(gè)同一層的輸出層標(biāo)記的值不相同。

條件CB5：輸出層集OLS#i(i＝0..NumOutputLayerSets-1)的層集標(biāo)識符LayerSetIdx[i]和輸出層集OLS#j(j＝0..NumOutputLayerSets-1,i?。絡(luò))的層集標(biāo)識符LayerSetIdx[j]相等、且輸出層集OLS#i的輸出層數(shù)NumOptLayersInOLS[i]和輸出層集OLS#j的輸出層數(shù)NumOptLayersInOLS[j]相等時(shí)，與各輸出層集相關(guān)聯(lián)的PTL信息互不相同，或至少有1層n(n＝0..NumOptLayersInOLS[i]-1)的輸出層集OLS#i的輸出層標(biāo)記OuputLayerFlag[i][n]和輸出層集OLS#j的輸出層標(biāo)記OuputLayerFlag[i][n]互不相同。

條件CB6：輸出層集OLS#i(i＝0..NumOutputLayerSets-1)的層集標(biāo)識符LayerSetIdx[i]和輸出層集OLS#j(j＝0..NumOutputLayerSets-1,i?。絡(luò))的層集標(biāo)識符LayerSetIdx[j]相等時(shí)，輸出層集OLS#i的PTL信息和輸出層標(biāo)記形成的集合互不相同。

此處，與各輸出層集相關(guān)聯(lián)的PTL信息互不相同，優(yōu)選是“通過輸出層集OLS#i的PTL指定標(biāo)識符(profile_tier_level[i])所指定的PTL信息和通過輸出層集OLS#j的PTL指定標(biāo)識符IDX(profile_tier_level[j])所指定的PTL信息中，至少檔次空間general_profile_space、檔次標(biāo)識符general_profile_idc、水平標(biāo)識符general_level_idc、等級標(biāo)記general_tier_flag、檔次兼容標(biāo)記general_compatibility_flag[i]的語法元素的集合P＝{general_profile_space,general_profile_idc,general_level_idc,general_tier_flag,general_compatibility_flag[i](i＝0..31)}互不相同”。

條件CB4～CB6，換言之，即禁止重復(fù)定義具有相同輸出層結(jié)構(gòu)且具有相同檔次/水平的輸出層集。編碼數(shù)據(jù)通過輸出層集滿足上述一致性條件CB4(或CB5/CB6)，圖像解碼裝置1從上述編碼數(shù)據(jù)中解碼2以上(含2)的輸出層集時(shí)，可保證各輸出層集有互不相同的輸出層結(jié)構(gòu)或互不相同的檔次/水平。因此，可防止圖像解碼裝置從編碼數(shù)據(jù)解碼重復(fù)定義的輸出層集。而且，可減少輸出層集重復(fù)定義的相關(guān)編碼量。

此外，圖像解碼裝置1/圖像編碼裝置2，優(yōu)選解碼/生成的編碼數(shù)據(jù)滿足以下所示的與輸出層集相關(guān)聯(lián)的層集的一致性條件CC1。

條件CC1：層集LS#i(i＝0..VpsNumLayerSets-1)包含基本層。

上述條件CC1也可以用條件CC2～CC4表述。

CC2：層集LS#i(i＝0..VpsNumLayerSets-1)包含層標(biāo)識符為0的層。

CC3：層集LS#i(i＝0..VpsNumLayerSets-1)的層ID列表LayerIdList[i]的第0號元素LayerIdList[i][0]是層標(biāo)識符為0的層。

CC4：表示層0是否包含在層集LS#i(i＝0..VpsNumLayerSets-1)中的標(biāo)記layer_id_included_flag[i][0]的值為1(對i＝0..VpsNumLayerSets-1，有l(wèi)ayer_id_included_flag[i][0]＝1)。

即本實(shí)施例的圖像解碼裝置1/圖像編碼裝置2，優(yōu)選解碼/生成的編碼數(shù)據(jù)滿足一致性條件CC(CC為CC1到CC4中之一)。

換言之，條件CC1～CC4意味著在輸出層集中，作為解碼對象的層總是包含基本層(層標(biāo)識符為0的層)。編碼數(shù)據(jù)通過與輸出層集相關(guān)聯(lián)的層集(即全部的層集)滿足上述一致性條件CC(CC為CC1～CC4的其中之一)，圖像解碼裝置1從上述編碼數(shù)據(jù)解碼輸出層集，必定能保證基本層的解碼。因此，對通過從包含某層集A的編碼數(shù)據(jù)進(jìn)行比特流抽取處理生成的、包含層集A子集的層集B的編碼數(shù)據(jù)進(jìn)行解碼時(shí)，在只對應(yīng)基本層(層標(biāo)識符為0的層)解碼的解碼裝置V1(例如HEVC Main profile定義的解碼)中，也可以不發(fā)生問題正常動(dòng)作，其理由如下。

·包含被抽取層集B的編碼數(shù)據(jù)，包含層標(biāo)識符為0的VCL(條帶片段)及nonVCL(參數(shù)集(VPS/SPS/PPS)。

·解碼裝置V1對層標(biāo)識符為0的條帶片段進(jìn)行解碼，如果層標(biāo)識符為0的條帶片段所參考的SPS的檔次表示可以解碼時(shí)，進(jìn)行解碼；如果層標(biāo)識符為0的條帶片段所參考的SPS的檔次等的PTL信息沒有表示可以解碼時(shí)，則可以不進(jìn)行解碼。

解碼裝置V1可以進(jìn)行解碼也可以停止解碼。即，解碼裝置V1可以不發(fā)生問題正常解碼(對應(yīng)可能)。

反之，用層集解碼裝置V1解碼不滿足條件CC1～CC4的編碼數(shù)據(jù)，即，解碼裝置V1解碼不包含基本層的層集時(shí)將發(fā)生以下問題。

·因?yàn)榫幋a數(shù)據(jù)中不存在層標(biāo)識符為0的條帶片段，所以，解碼裝置V1不解碼條帶片段。

·因不解碼條帶片段的slice_pic_parameter_set_id，所以，PPS不被激活(同樣，SPS、VPS也不被激活)。

·解碼裝置V1因不解碼激活的SPS(以及VPS)、不解碼SPS(VPS)中包含的檔次等的PTL信息，所以，不被解碼。

·當(dāng)內(nèi)部緩存的編碼數(shù)據(jù)用完了時(shí)，解碼裝置V1向編碼裝置(或編碼數(shù)據(jù)發(fā)送裝置、編碼數(shù)據(jù)緩存裝置)發(fā)出編碼數(shù)據(jù)需求的請求。因?yàn)檎埱蟮木幋a數(shù)據(jù)中或許也沒有解碼對象，為了解碼以獲得被請求的輸出圖像(例如，1張圖片)，可能會(huì)一直持續(xù)對編碼數(shù)據(jù)的請求和解碼。

滿足一致性條件CC(CC指CC1～CC4)時(shí)，可保證包含層集A(或從包含層集A的編碼數(shù)據(jù)通過比特流抽取生成的層集A子集的層集B)的編碼數(shù)據(jù)可以解碼(可以對應(yīng))。

(輸出控制部16)

輸出控制部16，基于外部提供的輸出指定信息、參數(shù)存儲(chǔ)器13中保存的Active VPS的層集信息、以及輸出層集信息，作為輸出控制信息導(dǎo)出表示對象輸出層集TargetOptLayerSet層結(jié)構(gòu)的對象輸出層ID列表TargetOptLayerIdList、以及表示對象輸出層集解碼所必須的層結(jié)構(gòu)的對象解碼層ID列表TargetDecLayerIdList，將其結(jié)果提供給比特流抽取部17、以及解碼圖片管理部15。

外部提供的輸出指定信息中，作為確定處理對象輸出層集用的信息，至少包含對象輸出層集標(biāo)識符TargetOLSIdx。而且輸出控制部16參考的Active VPS已經(jīng)預(yù)先解碼、并保存在參數(shù)存儲(chǔ)器13中。此外，為確定Active VPS，也可將Active VPS標(biāo)識符包含在輸出指定信息中。

對象輸出層ID列表TargetOptLayerIdList、以及對象解碼層ID列表TargetDecLayerIdList，例如可以通過以下的偽代碼導(dǎo)出。

(導(dǎo)出TargetDecLayerIdList、以及TargetOptLayerIdList的偽代碼)for(k＝0,j＝0；j<NumLayersInIdList[LayerSetIdx[TargetOLSIdx]]；j++){//SA01

TargetDecLayerIdList[j]＝LayerIdList[LayerSetIdx[TargetOLSIdx]][j]；//SA02

if(OutputLayerFlag[TargetOLSIdx][j]){//SA03

TargetOptLayerIdList[k]＝LayerIdList[LayerSetIdx[TargetOLSIdx]][j]；//SA04

k++；//SA05

}

}//end of loop//SA07

也可用如下步驟表述上述偽代碼。

(SA01)導(dǎo)出對象輸出層集OLS#(TargetOLSIdx)的層ID列表TargetOptLayerIdList[]、以及對象解碼層ID列表TargetDecLayerIdList[]的循環(huán)的始點(diǎn)。循環(huán)開始前，變量k、j初始化為0。當(dāng)變量j小于與對象輸出層集OLS#(TargetOLSIdx)相關(guān)聯(lián)的層集LS#(LayerSetIdx[TargetOLSIdx])中包含的層數(shù)“NumLayersInIdList[LayerSetIdx[TargetOLSIdx]]”時(shí)，執(zhí)行循環(huán)內(nèi)的處理，每執(zhí)行1次循環(huán)內(nèi)的處理，變量j加“1”。

(SA02)將與輸出層集OLS#(TargetOLSIdx)相關(guān)聯(lián)的層集LS#(LayerSetIdx[TargetOLSIdx])的第j元素追加到對象解碼層ID列表TargetDecLayerIdList[]的第j元素(即，TargetDecLayerIdList[j]＝LayerIdList[LayerSetIdx[TargetOLSIdx]][j]；)。

(SA03)判斷輸出層集OLS#(TargetOLSIdx)中的第j層是否是輸出層。即，輸出層標(biāo)記OutputLayerFlag[TargetOLSIdx][j]為1(真)時(shí)(是輸出層)，進(jìn)入步驟SA04。輸出層標(biāo)記OutputLayerFlag[TargetOLSIdx][j]為0(偽)時(shí)(不是輸出層)，進(jìn)入步驟SA0A。

(SA04)將與輸出層集OLS#(TargetOLSIdx)相關(guān)聯(lián)的層集LS#(LayerSetIdx[TargetOLSIdx])的第j元素追加到輸出層集OLS#(TargetOLSIdx)的層ID列表TargetOptLayerIdList[]的第k元素(即，TargetOptLayerIdList[k]＝LayerIdList[LayerSetIdx[TargetOLSIdx]][j]；)。

(SA05)變量k加”1”(即，k++；)。

(SA0A)導(dǎo)出對象輸出層集OLS#(TargetOLSIdx)層ID列表TargetOptLayerIdList[]、以及對象解碼層ID列表TargetDecLayerIdList[]的循環(huán)的終點(diǎn)。

以上，根據(jù)輸出控制部16，基于外部提供的輸出指定信息、參數(shù)存儲(chǔ)器13中保存的Active VPS層集信息、以及輸出層集信息，作為輸出控制信息可導(dǎo)出表示對象輸出層集TargetOptLayerSet層結(jié)構(gòu)的對象輸出層ID列表TargetOptLayerIdList、以及表示對象輸出層集解碼所必須的層結(jié)構(gòu)的對象解碼層ID列表TargetDecLayerIdList。并且，輸出控制部16中，如果所指定的輸出層集OLS#(TargetOLSIdx)沒有輸出層，優(yōu)選指定輸出層集中包含的至少1以上(含1)層作為輸出層。例如，可指定輸出層集中包含的全部層、或有最高層標(biāo)識符的主層作為輸出層。

(圖片解碼部14)

圖片解碼部14根據(jù)輸入的VCL NAL單元和Active參數(shù)集生成解碼圖片并輸出。

用圖17來說明圖片解碼部14的基本構(gòu)成。圖17所示為圖片解碼部14構(gòu)成的概要功能方塊圖。

圖片解碼部14具有條帶頭解碼部141、CTU解碼部142。CTU解碼部142中又包含預(yù)測殘差還原部1421、預(yù)測圖像生成部1422、以及CTU解碼圖像生成部1423。

(條帶頭解碼部141)

條帶頭解碼部141根據(jù)輸入的VCL NAL單元和Active參數(shù)集進(jìn)行條帶頭的解碼。解碼后的條帶頭與輸入的VCL NAL單元一起輸出到CTU解碼部142。

(CTU解碼部142)

概括地說，CTU解碼部142是根據(jù)輸入的VCL NAL單元中包含的條帶片段(條帶頭及條帶數(shù)據(jù))、以及Active參數(shù)集，解碼獲得構(gòu)成圖片的條帶中包含的各CTU對應(yīng)區(qū)域的解碼圖像，從而生成條帶的解碼圖像。CTU的解碼圖像通過CTU解碼部142內(nèi)部的預(yù)測殘差還原部1421、預(yù)測圖像生成部1422、以及CTU解碼圖像生成部1423生成。

預(yù)測殘差還原部1421解碼輸入條帶數(shù)據(jù)中包含的預(yù)測殘差信息(TT信息)，生成對象CTU預(yù)測殘差，并輸出。

預(yù)測圖像生成部1422根據(jù)輸入的條帶數(shù)據(jù)中包含的預(yù)測信息(PT信息)所指示的預(yù)測方法和預(yù)測參數(shù)，生成并輸出預(yù)測圖像。此時(shí)，根據(jù)需要可使用參考圖片的解碼圖像和編碼參數(shù)等。例如，使用幀間預(yù)測、或?qū)娱g圖像預(yù)測時(shí)，從解碼圖片管理部15讀出對應(yīng)的參考圖片。

CTU解碼圖像生成部1423將輸入的預(yù)測圖像和預(yù)測殘差相加，生成并輸出對象CTU的解碼圖像。

＜圖片解碼部14的解碼過程＞

以下，參考圖18，概要說明圖片解碼部14中的對象層i的圖片解碼動(dòng)作。圖18所示為構(gòu)成圖片解碼部14中的對象層i的圖片以條帶為單位的解碼過程流程圖。

(SD101)對解碼對象條帶的先頭條帶標(biāo)記(first_slice_segment_in_pic_flag)(圖15(d)SYNSH01)進(jìn)行解碼。當(dāng)先頭條帶標(biāo)記為1時(shí)，解碼對象條帶為圖片內(nèi)按解碼順序(以下稱為處理順序)的先頭條帶，將解碼對象條帶先頭CTU的圖片內(nèi)的光柵掃描順序的位置(以下稱CTU地址)設(shè)為0。并將圖片內(nèi)已處理的CTU數(shù)的計(jì)數(shù)numCtu(以下稱為已處理CTU數(shù)numCtu)設(shè)為0。當(dāng)先頭條帶標(biāo)記為0時(shí)，根據(jù)在后述的SD106解碼的條帶地址，設(shè)置解碼對象條帶的先頭CTU地址。

(SD102)對指定解碼對象條帶解碼時(shí)參考的Active PPS的Active PPS標(biāo)識符(slice_pic_paramter_set_id)(圖15(d)的SYNSH02)進(jìn)行解碼。

(SD104)從參數(shù)存儲(chǔ)器13取來Active參數(shù)集。即，將具有與解碼對象條帶參考的Active PPS標(biāo)識符(slice_pic_parameter_set_id)相同PPS標(biāo)識符(pps_pic_parameter_set_id)的PPS作為Active PPS，從參數(shù)存儲(chǔ)器13取來Active PPS的編碼參數(shù)(讀出)。將具有與Active PPS內(nèi)的Active SPS標(biāo)識符(pps_seq_parameter_set_id)相同的SPS標(biāo)識符(sps_seq_parameter_set_id)的SPS作為Active SPS，從參數(shù)存儲(chǔ)器13取來Active SPS的編碼參數(shù)。將具有與Active SPS內(nèi)的Active VPS標(biāo)識符(sps_video_parameter_set_id)相同的VPS標(biāo)識符(vps_video_parameter_set_id)的VPS作為Active VPS，從參數(shù)存儲(chǔ)器13取來Active VPS的編碼參數(shù)。

(SD105)根據(jù)先頭條帶標(biāo)記判斷解碼對象條帶是否是圖片內(nèi)處理順序的先頭條帶。當(dāng)先頭條帶標(biāo)記為0時(shí)(SD105判斷為Yes)，進(jìn)入步驟SD106。除此以外的情況(SD105判斷為No)，跳過步驟SD106的處理。另外，當(dāng)先頭條帶標(biāo)記為1時(shí)，解碼對象條帶的條帶地址為0。

(SD106)對解碼對象條帶的條帶地址(slice_segment_address)(圖15(d)的SYNSH03)進(jìn)行解碼，設(shè)置解碼對象條帶的先頭CTU地址。例如，先頭條帶CTU地址＝slice_segment_address。

···省略···

(SD10A)CTU解碼部142，根據(jù)輸入的條帶頭、Active參數(shù)集、以及VCL NAL單元中包含的條帶數(shù)據(jù)內(nèi)各CTU信息(圖15(d)的SYNSD01)，生成構(gòu)成圖片的條帶中包含的各CTU對應(yīng)區(qū)域的CTU解碼圖像。各CTU信息后是表示該CTU是否是解碼對象條帶終點(diǎn)的條帶終點(diǎn)標(biāo)記(end_of_slice_segment_flag)(圖15(e)的SYNSD2)。各CTU解碼后，已處理CTU數(shù)numCtu的值加1(numCtu++)。

(SD10B)根據(jù)條帶終點(diǎn)標(biāo)記判斷該CTU是否是解碼對象條帶的終點(diǎn)。當(dāng)條帶終點(diǎn)標(biāo)記為1時(shí)(SD10B判斷為Yes)，進(jìn)入步驟SD10C。除此以外的情況(SD10B判斷為No)，進(jìn)入步驟SD10A，處理后續(xù)CTU信息的解碼。

(SD10C)判斷已處理CTU數(shù)numCtu是否達(dá)到了構(gòu)成圖片的CTU總數(shù)(PicSizelnCtbsY)。即，判斷numCtu＝＝PicSizeInCtbsY。numCtu等于PicSizeInCtbsY時(shí)(SD10C判斷為Yes)，結(jié)束構(gòu)成解碼對象圖片的以條帶為單位的解碼處理。除此以外的情況(numCtu<PicSizeInCtbsY)(SD10C判斷為No)，進(jìn)入步驟SD101，繼續(xù)進(jìn)行構(gòu)成解碼對象圖片的以條帶為單位的解碼處理。

以上說明了實(shí)施例1的圖片解碼部14的動(dòng)作，但不僅限于上述步驟，在實(shí)施可能的范圍內(nèi)，可以變更步驟。

(比特流抽取部17)

比特流抽取部17，根據(jù)輸出控制部16提供的輸出控制信息(輸出層集中表示解碼對象的層結(jié)構(gòu)的對象解碼層ID列表TargetDecLayerIdList、以及對象最高時(shí)域標(biāo)識符TargetHighestTid)，進(jìn)行比特流抽取處理，從輸入的分層編碼數(shù)據(jù)DATA中，去除(丟棄)由對象最高時(shí)域標(biāo)識符TargetHighestTid、以及對象解碼層ID列表TargetDecLayerIdList決定的集合(稱為目標(biāo)集TargetSet)中不包含的NAL單元，抽取并輸出由目標(biāo)集TargetSet中包含的NAL單元構(gòu)成的目標(biāo)集編碼數(shù)據(jù)DATA#T(BitstreamToDecode)。

更具體地說，上述比特流抽取部17具有解碼NAL單元頭的NAL單元解碼裝置。

以下，參考圖19，概略說明本實(shí)施例相關(guān)的比特流抽取部17的動(dòng)作。圖19所示為比特流抽取部17中的以接入單元為單位的比特流抽取處理流程圖。

(SG101)比特流抽取部17，按照圖5(b)所示的語法元素表對所提供的對象NAL單元的NAL單元頭進(jìn)行解碼。即，解碼NAL單元類型(nal_unit_type)、層標(biāo)識符(nuh_layer_id)以及時(shí)域標(biāo)識符(nuh_temporal_id_plus1)。而且，將對象NAL單元的層標(biāo)識符nuhLayerId設(shè)置為“nuh_layer_id”，對象NAL單元的時(shí)域標(biāo)識符temporalId設(shè)置為“nuh_temporal_id_plus1-1”。

(SG102)根據(jù)對象解碼層ID列表TargetDecLayerIdList、以及對象最高時(shí)域標(biāo)識符判斷對象NAL單元的層標(biāo)識符和時(shí)域標(biāo)識符是否包含在目標(biāo)集TargetSet中。更具體地說，以下的(1)～(2)條件中，至少有1個(gè)條件為偽時(shí)(SG102判斷為No)，進(jìn)入步驟SG103。除此以外的情況((1)、(2)都為真)時(shí)(SG102判斷為Yes)，進(jìn)入步驟SG104。

(1)如果“對象解碼層ID列表TargetDecLayerIdList中有與對象NAL單元的層標(biāo)識符相同的值”，判斷為真，除此以外的情況(對象解碼層ID列表TargetDecLayerIdList中沒有與對象NAL單元的層標(biāo)識符相同的值)時(shí)，判斷為偽。

(2)如果“對象NAL單元的時(shí)域標(biāo)識符在對象最高時(shí)域標(biāo)識符TargetHighestTid以下(含相同)”，判斷為真，除此以外的情況(對象NAL單元的時(shí)域標(biāo)識符比對象最高時(shí)域標(biāo)識符TargetHighestTid大)，判斷為偽。

(SG103)丟棄對象NAL單元。即，因?yàn)閷ο驨AL單元沒有包含在目標(biāo)集TargetSet中，比特流抽取部17從輸入的分層編碼數(shù)據(jù)DATA中去除對象NAL單元。

(SG10A)判斷在同一接入單元內(nèi)是否有未處理的NAL單元。如果有未處理NAL單元(SG10A判斷為No)，進(jìn)入步驟SG101，繼續(xù)進(jìn)行對構(gòu)成對象接入單元的NAL單元單位的比特流抽取。除此以外的情況(SG10A判斷為Yes)，進(jìn)入步驟SG10B。

(SG10B)判斷輸入的分層編碼數(shù)據(jù)DATA中的對象接入單元之后是否還有下一個(gè)接入單元。如果有下一個(gè)接入單元(SG10B判斷為Yes)，進(jìn)入步驟步驟SG101，繼續(xù)下一個(gè)接入單元的處理。如果沒有下一個(gè)接入單元(SG10B判斷為No)，結(jié)束比特流抽取處理。

以上說明了實(shí)施例1的比特流抽取部17的動(dòng)作，但不僅限于上述步驟，在實(shí)施可能的范圍內(nèi)，可以變更步驟。

根據(jù)以上說明的比特流抽取部17，基于構(gòu)成外部提供的對象層集LayerSetTarget的層的層ID列表LayerIdListTarget、以及對象最高時(shí)域標(biāo)識符HighestTidTarget，進(jìn)行比特流抽取處理，從輸入的分層編碼數(shù)據(jù)DATA中，去除(丟棄)由對象最高時(shí)域標(biāo)識符HighestTidTarget、以及對象層集LayerSetTarget的層ID列表LayerIdListTarget所決定的目標(biāo)集TargetSet中不包含的NAL單元，抽取并生成由目標(biāo)集TargetSet中包含的NAL單元構(gòu)成的編碼數(shù)據(jù)BitstreamToDecode。

(視頻解碼裝置1的效果)

以上說明的本實(shí)施例相關(guān)的分層視頻解碼裝置1(分層圖像解碼裝置)，具有比特流抽取部17。該比特流抽取部17，進(jìn)行比特流抽取處理，從輸入的分層編碼數(shù)據(jù)DATA中，去除(丟棄)由表示通過外部提供的對象輸出層集標(biāo)識符確定的解碼對象的層結(jié)構(gòu)的對象解碼層ID列表TargetDecLayerIdList、以及指定外部提供的解碼對象的層上附屬的最高子層的對象最高時(shí)域標(biāo)識符TargetHighestTid所決定的目標(biāo)集TargetSet中不包含的NAL單元，抽取由目標(biāo)集TargetSet中包含的NAL單元構(gòu)成的目標(biāo)集編碼數(shù)據(jù)DATA#T(BitstreamToDecode)。

分層視頻解碼裝置1(分層圖像解碼裝置)還具有以下特征：具有層集信息解碼裝置，從輸入的分層編碼數(shù)據(jù)中解碼包含1以上(含1)層集的層集信息；具有輸出層集信息解碼裝置，解碼包含1以上(含1)由上述層集和輸出層標(biāo)記的組合表示的輸出層集的輸出層集信息；具有輸出層集選擇裝置，選擇1個(gè)上述輸出層集信息中包含的輸出層集；具有圖片解碼裝置，生成與上述被選擇的輸出層集對應(yīng)的層集中包含的各層的解碼圖片；具有緩存裝置，保存上述各層的解碼圖片；上述緩存裝置，在保存的上述各層的解碼圖片中，至少針對1以上(含1)層，將與該層對應(yīng)的解碼圖片作為輸出圖片輸出。因此，即使輸入了沒有輸出層的輸出層集編碼數(shù)據(jù)，在解碼對象的層集中也至少有1層作為輸出層，可輸出該輸出層的解碼圖片。

〔分層視頻編碼裝置〕

以下，參考圖20，對本實(shí)施例相關(guān)的分層視頻編碼裝置2的構(gòu)成進(jìn)行說明。

(分層視頻編碼裝置的構(gòu)成)

使用圖20概要說明分層視頻編碼裝置2的構(gòu)成。圖20所示為分層視頻編碼裝置2構(gòu)成的概要功能塊圖。分層視頻編碼裝置2對作為編碼對象的目標(biāo)集中包含的各層/子層的輸入圖像PIN#T(圖片)進(jìn)行編碼，生成目標(biāo)集的分層編碼數(shù)據(jù)DATA。即視頻編碼裝置2按照目標(biāo)集TargetSet的層ID列表的元素TargetLayerIdList[0]..TargetLayerIdList[N-1](N為目標(biāo)集(對象層集)中包含的層數(shù))的順序，對各層圖片進(jìn)行編碼，生成其編碼數(shù)據(jù)。此外，為了保證分層視頻解碼裝置1(包括其變化實(shí)施例)從上述編碼數(shù)據(jù)解碼的輸出層集中至少有1以上(含1)輸出層的解碼圖片作為輸出圖片輸出，分層視頻編碼裝置2至少滿足前述的一致性條件CA1(或CA2、CA3)生成目標(biāo)集的分層編碼數(shù)據(jù)DATA?；蛘?，為了保證從上述編碼數(shù)據(jù)解碼的2以上(含2)的輸出層集是不同的的輸出層結(jié)構(gòu)，優(yōu)選滿足前述的一致性條件CB1(或CB2～CB6)生成目標(biāo)集的分層編碼數(shù)據(jù)DATA。為了保證層集中包含基本層，優(yōu)選滿足前述的一致性條件CC(CC為CC1～CC4)生成目標(biāo)集的分層編碼數(shù)據(jù)DATA。此外，也可滿足非專利文獻(xiàn)1的Annex.C、非專利文獻(xiàn)2以及3的Annex.C的一致性條件生成目標(biāo)集的分層編碼數(shù)據(jù)DATA。

圖20所示的分層視頻編碼裝置2包含有目標(biāo)集圖片編碼部20、以及NAL復(fù)用部21。而目標(biāo)集圖片編碼部20中包含有Non-VCL編碼部22、圖片編碼部24、解碼圖片管理部15、及編碼參數(shù)決定部26。

解碼圖片管理部15與已經(jīng)說明的分層視頻解碼裝置1的解碼圖片管理部15是相同的構(gòu)成元素。但因?yàn)榉謱右曨l編碼裝置2的解碼圖片管理部15中，不需要將內(nèi)部DPB中記錄的圖片作為輸出圖片輸出，所以可以省略該輸出部分。另外，將分層視頻解碼裝置1的解碼圖片管理部15的說明中的“解碼”用“編碼”置換后，也可適用于分層視頻編碼裝置2的解碼圖片管理部15。

NAL復(fù)用部21通過將輸入的目標(biāo)集各層的VCL、以及non-VCL存儲(chǔ)到NAL單元，生成NAL復(fù)用的層視頻編碼數(shù)據(jù)DATA#T，并向外部輸出。換言之，NAL復(fù)用部21將目標(biāo)集圖片編碼部20提供的non-VCL編碼數(shù)據(jù)、VCL編碼數(shù)據(jù)、以及對應(yīng)各non-VCL、VCL的NAL單元類型、層標(biāo)識符、時(shí)域標(biāo)識符存儲(chǔ)到NAL單元(編碼)，生成NAL復(fù)用的分層編碼數(shù)據(jù)DATA#T。

編碼參數(shù)決定部26從多個(gè)編碼參數(shù)集中選擇1個(gè)集。編碼參數(shù)是指與各參數(shù)集(VPS、SPS、PPS)有關(guān)的各種參數(shù)、圖片編碼用的預(yù)測參數(shù)、以及與該預(yù)測參數(shù)相關(guān)聯(lián)生成的編碼對象參數(shù)等。編碼參數(shù)決定部26對上述編碼參數(shù)的多個(gè)集的每一集算出表示信息量大小和編碼誤差的成本值。例如，成本值是編碼量與平方誤差乘以系數(shù)λ的和。編碼量是指對量化誤差和編碼參數(shù)進(jìn)行可變長度編碼得到的目標(biāo)集的各層/子層的編碼數(shù)據(jù)的信息量。平方誤差是指像素間的輸入圖像PIN#T和預(yù)測圖像的差分值的平方值的總和。系數(shù)λ是預(yù)先設(shè)定的大于零的實(shí)數(shù)。編碼參數(shù)決定部26選擇所算出的成本值最小的編碼參數(shù)集，將所選擇的各編碼參數(shù)集提供給參數(shù)集編碼部22、以及圖片編碼部24。

Non-VCL編碼部22是對應(yīng)分層視頻解碼裝置1中的Non-VCL解碼部12的逆處理，根據(jù)從編碼參數(shù)決定部26輸入的各non-VCL編碼參數(shù)和輸入圖像，設(shè)置輸入圖像編碼用的參數(shù)集(VPS、SPS、及SPS)和其它的non-VCL，各參數(shù)集和其它的non-VCL作為存儲(chǔ)在non-VCL NAL單元中的數(shù)據(jù)，提供給NAL復(fù)用部21。此外，在Non-VCL編碼部22被編碼的Non-VCL中，包含有在分層視頻解碼裝置1的Non-VCL解碼部12的說明中闡述的層集信息、輸出層集信息、以及PTL信息。即，Non-VCL編碼部22具有參數(shù)集編碼裝置(圖中未表示)。并且，參數(shù)集編碼裝置的構(gòu)成中還包含有編碼(生成)層集信息的層集信息編碼裝置、編碼(生成)輸出層集信息的輸出層集信息編碼裝置、以及編碼PTL信息的PTL信息編碼裝置(圖中未表示)。編碼部、編碼裝置的各功能和動(dòng)作對應(yīng)于相應(yīng)的解碼部、解碼裝置的逆處理，可將解碼部、解碼裝置中的“解碼”用“編碼”替換進(jìn)行解釋。另外，Non-VCL編碼部22在向NAL復(fù)用部21提供non-VCL的編碼數(shù)據(jù)時(shí)，附加對應(yīng)non-VCL的NAL單元類型、層標(biāo)識符、以及時(shí)域標(biāo)識符后輸出。

Non-VCL編碼部22生成的參數(shù)集中，包含了識別該參數(shù)集的標(biāo)識符、以及指定各層圖片解碼時(shí)參考的參數(shù)集所參考的參數(shù)集(Active參數(shù)集)的Active參數(shù)集標(biāo)識符。具體是，如果是視頻參數(shù)集VPS，則包含識別該VPS的VPS標(biāo)識符。如果是序列參數(shù)集SPS，則包含識別該SPS的SPS標(biāo)識符(sps_seq_parameter_set_id)、以及確定該SPS和其它語法元素參考的VPS的Active VPS標(biāo)識符(sps_video_parameter_set_id)。如果是圖片參數(shù)集PPS，則包含識別該P(yáng)PS的PPS標(biāo)識符(pps_pic_parameter_set_id)、以及確定該P(yáng)PS和其它語法元素參考的SPS的Active SPS標(biāo)識符(pps_seq_parameter_set_id)。

圖片編碼部24根據(jù)輸入的各層輸入圖像PIN#T、通過編碼參數(shù)決定部26提供的Non-VCL(特別是參數(shù)集)、以及解碼圖片管理部15中記錄的參考圖片，對與構(gòu)成圖片的條帶對應(yīng)的各層的部分輸入圖像進(jìn)行編碼，生成該部分的編碼數(shù)據(jù)，作為VCL NAL單元中存儲(chǔ)的數(shù)據(jù)提供給NAL復(fù)用部21。圖片編碼部24的詳細(xì)說明將后述。另外，圖片編碼部24在向NAL復(fù)用部21提供VCL編碼數(shù)據(jù)時(shí)，附加對應(yīng)VCL的NAL單元類型、層標(biāo)識符、以及時(shí)域標(biāo)識符后輸出。

(圖片編碼部24)

下面參考圖21，詳細(xì)說明圖片編碼部24的構(gòu)成。圖21所示為圖片編碼部24的構(gòu)成概要功能塊圖。

如圖21所示，圖片編碼部24的構(gòu)成中包含條帶頭編碼部241、以及CTU編碼部242。

條帶頭編碼部241根據(jù)輸入的Active參數(shù)集，生成以條帶單位輸入的各層的輸入圖像編碼用的條帶頭。所生成的條帶頭作為條帶編碼數(shù)據(jù)的一部分被輸出，同時(shí)，與輸入圖像一起被提供給CTU編碼部242。另外，條帶頭編碼部241生成的條帶頭中，包含了指定各層圖片解碼時(shí)參考的圖片參數(shù)集PPS(Active PPS)的Active PPS標(biāo)識符。

CTU編碼部242根據(jù)輸入的Active參數(shù)集、條帶頭，對輸入圖像(對象條帶部分)以CTU單位進(jìn)行編碼，生成并輸出對象條帶相關(guān)的條帶數(shù)據(jù)及解碼圖像(解碼圖片)。更具體地說，CTU編碼部242，以參數(shù)集包含的CTB尺寸大小的CTB為單位對對象條帶的輸入圖像進(jìn)行分割，將各CTB的對應(yīng)圖像作為1個(gè)CTU進(jìn)行編碼。通過預(yù)測殘差編碼部2421、預(yù)測圖像編碼部2422、CTU解碼圖像生成部2423執(zhí)行CTU的編碼。

預(yù)測殘差編碼部2421將輸入的輸入圖像和預(yù)測圖像的差分圖像通過變換、量化后得到的量化殘差信息(TT信息)作為條帶編碼數(shù)據(jù)中包含的條帶數(shù)據(jù)的一部分輸出?；蛘邔α炕瘹埐钚畔⒉捎媚孀儞Q、逆量化還原預(yù)測殘差，將還原后的預(yù)測殘差輸出到CTU解碼圖像生成部2423。

預(yù)測圖像編碼部2422根據(jù)編碼參數(shù)決定部26決定的、對象條帶中包含的對象CTU的預(yù)測方式及預(yù)測參數(shù)，生成預(yù)測圖像，輸出給預(yù)測殘差編碼部2421和CTU解碼圖像生成部2423。另外，預(yù)測方式、預(yù)測參數(shù)等信息作為預(yù)測信息(PT信息)被可變長度編碼后，作為條帶編碼數(shù)據(jù)中包含的條帶數(shù)據(jù)的一部分輸出。此外，當(dāng)使用Inter預(yù)測或?qū)娱g圖像預(yù)測時(shí)，通過解碼圖片管理部15讀出對應(yīng)的參考圖片。

CTU解碼圖像生成部2423因?yàn)榕c分層視頻解碼裝置1的CTU解碼圖像生成部1423是相同構(gòu)成元素，在此省略說明。另外，對象CTU的解碼圖像被提供給解碼圖片管理部15，記錄在內(nèi)部的DPB中。

＜圖片編碼部24的編碼流程＞

以下，參考圖22，概要說明圖片編碼部24中的對象層i的圖片的編碼動(dòng)作。圖22所示為構(gòu)成圖片編碼部24中的對象層i的圖片的以條帶為單位的編碼流程圖。

(SE101)對編碼對象條帶的先頭條帶標(biāo)記(first_slice_segment_in_pic_flag)(圖15(d)的SYNSH01)進(jìn)行編碼。即，以條帶為單位分割的輸入圖像(以下稱編碼對象條帶)按圖片內(nèi)的編碼順序(解碼順序)(以后稱處理順序)如果是先頭條帶，先頭條帶標(biāo)記(first_slice_segment_in_pic_flag)為1。如果編碼對象條帶不是先頭條帶，先頭條帶標(biāo)記為0。當(dāng)先頭條帶標(biāo)記為1時(shí)，編碼對象條帶的先頭CTU地址設(shè)置為0。并將圖片內(nèi)已處理CTU數(shù)的計(jì)數(shù)器numCtb設(shè)置為0。當(dāng)先頭條帶標(biāo)記為0時(shí)，根據(jù)后述的SE106中被編碼的條帶地址，設(shè)置編碼對象條帶的先頭CTU地址。

(SE102)對指定編碼對象條帶編碼時(shí)參考的Active PPS的Active PPS標(biāo)識符(slice_pic_paramter_set_id)(圖15(d)的SYNSH02)進(jìn)行編碼。

(SE104)獲取編碼參數(shù)決定部26決定的Active參數(shù)集。即，將與編碼對象條帶參考的Active PPS標(biāo)識符(slice_pic_parameter_set_id)有相同PPS標(biāo)識符(pps_pic_parameter_set_id)的PPS作為Active PPS，從編碼參數(shù)決定部26取來Active PPS的編碼參數(shù)(讀出)。將與Active PPS內(nèi)的Active SPS標(biāo)識符(pps_seq_parameter_set_id)有相同SPS標(biāo)識符(sps_seq_parameter_set_id)的SPS作為Active SPS，從編碼參數(shù)決定部26取來Active SPS的編碼參數(shù)。將與Active SPS內(nèi)的Active VPS標(biāo)識符(sps_video_parameter_set_id)有相同VPS標(biāo)識符(vps_video_parameter_set_id)的VPS作為Active VPS，從編碼參數(shù)決定部26取來Active VPS的編碼參數(shù)。

圖片編碼部24也可參考Active VPS中包含的層集信息輸出層集信息、PTL信息、該Active參數(shù)集(VPS,SPS,PPS)的層標(biāo)識符、對象層的層標(biāo)識符等，驗(yàn)證目標(biāo)集是否滿足一致性條件。一致性條件因?yàn)橐言诜謱右曨l解碼裝置1中進(jìn)行了說明，在此省略。并且，只要滿足一致性條件，就保證了生成的目標(biāo)集的分層編碼數(shù)據(jù)DATA在對應(yīng)分層圖像編碼裝置2的分層視頻解碼裝置1中可以解碼。

(SE105)根據(jù)先頭條帶標(biāo)記判斷編碼對象條帶是不是按圖片內(nèi)處理順序的先頭條帶。當(dāng)先頭條帶標(biāo)記為0時(shí)(SE105判斷為Yes)，進(jìn)入步驟SE106。除此以外的情況(SE105判斷為No)，跳過步驟SE106的處理。另外，當(dāng)先頭條帶標(biāo)記為1時(shí)，編碼對象條帶的條帶地址為0。

(SE106)對編碼對象條帶的條帶地址(slice_segment_address)(圖15(d)的SYNSH03)進(jìn)行編碼。另外，編碼對象條帶的條帶地址(編碼對象條帶的先頭CTU地址)可以根據(jù)圖片內(nèi)的已處理CTU數(shù)的計(jì)數(shù)器numCtu值進(jìn)行設(shè)置。此時(shí)，條帶地址為slice_segment_adress＝numCtu。即，編碼對象條帶的先頭CTU地址＝numCtu。并且，條帶地址的決定方法并不僅限于此，可在實(shí)施可能的范圍內(nèi)變更。

(SE10A)CTU編碼部242根據(jù)輸入的Active參數(shù)集、條帶頭，對輸入圖像(編碼對象條帶)以CTU為單位進(jìn)行編碼，作為編碼對象條帶的條帶數(shù)據(jù)的一部分，輸出CTU信息的編碼數(shù)據(jù)(圖15(d)的SYNSD01)。而且，CTU編碼部242，生成并輸出各CTU對應(yīng)區(qū)域的CTU解碼圖像。在各CTU信息的編碼數(shù)據(jù)后，對表示該CTU是否是編碼對象條帶終點(diǎn)的條帶終點(diǎn)標(biāo)記(end_of_slice_segment_flag)(圖15(d)的SYNSD02)進(jìn)行編碼。如果該CTU是編碼對象條帶的終點(diǎn)，將條帶終點(diǎn)標(biāo)記設(shè)為1、除此以外的情況設(shè)為0進(jìn)行編碼。各CTU編碼后，已處理CTU數(shù)numCtu的值加1(numCtu++)。

(SE10B)根據(jù)條帶終點(diǎn)標(biāo)記判斷該CTU是否是編碼對象條帶的終點(diǎn)。條帶終點(diǎn)標(biāo)記為1時(shí)(SE10B判斷為Yes)，進(jìn)入步驟SE10C。除此以外的情況(SE10B判斷為No)，進(jìn)入步驟SE10A，對后續(xù)的CTU進(jìn)行編碼。

(SE10C)判斷已處理CTU數(shù)numCtu是否達(dá)到了構(gòu)成圖片的CTU總數(shù)(PicSizeInCtbsY)。即，判斷是否numCtu＝＝PicSizeInCtbsY。如果numCtu等于PicSizeInCtbsY(SE10C判斷為Yes)，結(jié)束對構(gòu)成編碼對象圖片的以條帶為單位的編碼處理。除此以外的情況(numCtu<PicSizeInCtbsY)(SE10C判斷為No)，進(jìn)入步驟SE101，繼續(xù)對構(gòu)成編碼對象圖片進(jìn)行以條帶為單位的編碼處理。

以上、說明了實(shí)施例1的圖片編碼部24的動(dòng)作，但不僅限于上述步驟，在實(shí)施可能的范圍內(nèi)，可以變更步驟。

(視頻編碼裝置2的效果)

以上說明的本實(shí)施例相關(guān)的分層視頻編碼裝置2，為了保證分層視頻解碼裝置1(包括其變化實(shí)施例)從上述編碼數(shù)據(jù)解碼的輸出層集中至少有1以上(含1)輸出層的解碼圖片作為輸出圖片輸出，至少滿足前述的一致性條件CA1(或CA2)生成目標(biāo)集的分層編碼數(shù)據(jù)DATA?；?yàn)榱吮ＷC從上述編碼數(shù)據(jù)解碼的2以上(含2)的輸出層集是互不相同的輸出層結(jié)構(gòu)，滿足前述一致性條件CB1(或CB2～CB6)生成目標(biāo)集的分層編碼數(shù)據(jù)DATA。因此，通過生成滿足上述比特流一致性的分層編碼數(shù)據(jù)DATA，分層視頻解碼裝置1可防止(1)選擇沒有輸出層的輸出層集；(2)發(fā)生有相同輸出層的重復(fù)輸出層集。

而且，為保證層集中包含基本層，滿足前述一致性條件CC1(或CC2～CC4)生成目標(biāo)集的分層編碼數(shù)據(jù)DATA。這樣，圖像解碼裝置1從上述編碼數(shù)據(jù)解碼的輸出層集必定保證了基本層的解碼。因此，對從包含某層集A的編碼數(shù)據(jù)進(jìn)行比特流抽取處理生成的、包含層集A子集的層集B的編碼數(shù)據(jù)進(jìn)行解碼時(shí)，層集B的某層C(層標(biāo)識符＞0)中，當(dāng)具有層標(biāo)識符的參數(shù)集(VPS/SPS/PPS)作為Active參數(shù)集參考基本層時(shí)，可防止基本層不在包含層集B的編碼數(shù)據(jù)中而導(dǎo)致某層C不能解碼的情況。即，通過滿足一致性條件CC1(C2C～CC4)，保證可解碼包含從層集A的編碼數(shù)據(jù)中通過比特流抽取生成的層集A子集的層集B的編碼數(shù)據(jù)。

(對其它分層視頻編碼/解碼系統(tǒng)的適用例)

上述的分層視頻編碼裝置2以及分層視頻解碼裝置1，可搭載在用于視頻發(fā)送、接收、記錄、播放的各種裝置中使用。其中的視頻可以是通過攝像頭(照相機(jī))等拍攝的自然視頻，也可以是通過計(jì)算機(jī)等生成的人工視頻(包括CG及GUI)

根據(jù)圖23，說明上述分層視頻編碼裝置2及分層視頻解碼裝置1可用于視頻的發(fā)送和接收。圖23(a)所示為搭載了分層視頻編碼裝置2的發(fā)送裝置PROD_A的構(gòu)成方塊圖。

如圖23(a)所示，發(fā)送裝置PROD_A包括：通過對視頻進(jìn)行編碼而獲得編碼數(shù)據(jù)的編碼部PROD_A1；用編碼部PROD_A1獲得的編碼數(shù)據(jù)對載波進(jìn)行調(diào)制而得到調(diào)制信號的調(diào)制部PROD_A2；發(fā)送調(diào)制部PROD_A2得到的調(diào)制信號的發(fā)送部PROD_A3。上述的分層視頻編碼裝置2作為該編碼部PROD_A1使用。

發(fā)送裝置PROD＿A中，作為向編碼部PROD＿A1輸入視頻的供給源，也可以包括：錄制視頻的攝像頭(照相機(jī))PROD_A4；記錄視頻的記憶媒體PROD_A5；從外部輸入視頻的輸入端子PROD_A6；以及生成或加工圖像的圖像處理部A7。圖23(a)所示為包括了所有這些部分的發(fā)送裝置PROD_A的構(gòu)成示例，但也可以省略一部分。

另外，記憶媒體PROD_A5記錄的還可以是未經(jīng)編碼的視頻，還可以是與傳輸用編碼方式不同的記錄用編碼方式編碼的視頻。是后者時(shí)，在記憶媒體PROD_A5與編碼部PROD_A1之間最好有解碼部(圖中未表示)，將從記憶媒體PROD_A5讀出的編碼數(shù)據(jù)按照記錄用的編碼方式進(jìn)行解碼。

圖23(b)所示為搭載分層視頻解碼裝置1的接收裝置PROD_B的構(gòu)成方塊圖。如圖23(b)所示，接收裝置PROD＿B包括：接收調(diào)制信號的接收部PROD＿B1；對接收部PROD_B1接收的調(diào)制信號進(jìn)行解調(diào)而獲得編碼數(shù)據(jù)的解調(diào)部PROD＿B2；對解調(diào)部PROD_B2獲得的編碼數(shù)據(jù)進(jìn)行解碼而獲得視頻的解碼部PROD＿B3。上述的分層視頻解碼裝置1作為此解碼部PROD_B3使用。

接收裝置PROD_B中，作為解碼部PROD_B3輸出視頻的提供對象，也可包括：顯示視頻的顯示器PROD_B4；記錄視頻用的記憶媒體PROD_B5；以及向外部輸出視頻用的輸出端子PROD_B6。圖23(b)所示為包括了所有這些部分的接收裝置PROD_B的構(gòu)成示例，但也可以省略一部分。

記憶媒體PROD_B5記錄的還可以是未經(jīng)編碼的視頻，可以采用與傳輸用編碼方式不同的記錄用編碼方式編碼。是后者時(shí)，在解碼部PROD_B3和記憶媒體PROD_B5之間最好有編碼部(圖中未表示)，將從解碼部PROD_B3獲取的視頻按照記錄用編碼方式進(jìn)行編碼。

另外，傳輸調(diào)制信號的傳輸媒體可以是無線也可以是有線。而且，傳輸調(diào)制信號的傳輸模式可以是廣播(此處指沒有預(yù)先指定發(fā)送對象的發(fā)送方式)，也可以是通信(此處指預(yù)先指定了發(fā)送對象的發(fā)送方式)。即，可通過無線廣播、有線廣播、無線通信、以及有線通信中的任何一種方式來實(shí)現(xiàn)調(diào)制信號的傳輸。

例如，地上波數(shù)字廣播的電視臺(tái)(廣播設(shè)備等)/接收臺(tái)(電視接收機(jī)等)即是用無線廣播發(fā)送/接收調(diào)制信號的發(fā)送裝置PROD_A/接收裝置PROD_B的一個(gè)示例。有線電視廣播的電視臺(tái)(廣播設(shè)備等)/接收臺(tái)(電視接收機(jī)等)即是用有線廣播發(fā)送/接收調(diào)制信號的發(fā)送裝置PROD_A/接收裝置PROD_B的一個(gè)示例。

利用互聯(lián)網(wǎng)的VOD(Video On Demand)服務(wù)和視頻共享服務(wù)等的服務(wù)器(工作站等)/客戶端(電視接收機(jī)、個(gè)人電腦、智能手機(jī)等)也是用通信發(fā)送/接收調(diào)制信號的發(fā)送裝置PROD_A/接收裝置PROD_B的一個(gè)示例(通常、LAN中的傳輸媒體采用了無線或有線，WAN中的傳輸媒體采用有線)。此處的個(gè)人電腦中包含臺(tái)式電腦、便攜式電腦、以及平板電腦。而且，智能手機(jī)中還包括多功能手機(jī)終端。

另外，視頻共享服務(wù)的客戶端，除將從服務(wù)器下載的編碼數(shù)據(jù)進(jìn)行解碼后在顯示器上顯示的功能之外，還有將用攝像頭(照相機(jī))撮像的視頻進(jìn)行編碼后向服務(wù)器上傳的功能。即，視頻共享服務(wù)的客戶端具有發(fā)送裝置PROD_A以及接收裝置PROD_B的雙重功能。

用圖24來說明可將上述的分層視頻編碼裝置2及分層視頻解碼裝置1用于視頻的記錄及播放。圖24所示為搭載上述分層視頻編碼裝置2的記錄裝置PROD_C的構(gòu)成方塊圖。

如圖24(a)所示，記錄裝置PROD＿C包括：對視頻進(jìn)行編碼而獲得編碼數(shù)據(jù)的編碼部PROD＿C1；將編碼部PROD＿C1獲得的編碼數(shù)據(jù)寫入記憶媒體PROD＿M(jìn)的寫入部PROD＿C2。上述的分層視頻編碼裝置2作為此編碼部PROD＿C1使用。

另外，記憶媒體PROD＿M(jìn)也可以是：(1)置于記錄裝置PROD_C內(nèi)部的內(nèi)置型，如HDD(Hard Disk Drive)、SSD(Solid State Drive)等；(2)與記錄裝置PROD_C連接的類型，如SD存儲(chǔ)卡和USB(Universal Serial Bus)閃存等；(3)裝入記錄裝置PROD_C的內(nèi)置驅(qū)動(dòng)裝置(圖中未表示)，如DVD(Digital Versatile Disc)和BD(BLu-ray Disc:注冊商標(biāo))等。

記錄裝置PROD_C，作為向編碼部PROD_C1輸入的視頻的供給源，也可包括：進(jìn)行視頻撮像的攝像頭(照相機(jī))PROD_C3；用于從外部輸入視頻的輸入端子PROD_C4；用于視頻接收的接收部PROD_C5；進(jìn)行圖像生成和加工的圖像處理部C6。圖24(a)所示為包括了所有這些部分的記錄裝置PROD_C的構(gòu)成示例，但也可以省略一部分。

另外，接收部PROD_C5接收的也可以是未經(jīng)編碼的視頻，也可以是不同于記錄用編碼方式的傳輸用編碼方式編碼的編碼數(shù)據(jù)。是后者時(shí)，在接收部PROD_C5和編碼部PROD_C1之間最好有傳輸用解碼部(圖中未表示)，將傳輸用編碼方式編碼的編碼數(shù)據(jù)進(jìn)行解碼。

這樣的記錄裝置PROD_C有例如DVD刻錄機(jī)、BD刻錄機(jī)、HDD(Hard Disk Drive)刻錄機(jī)等(此時(shí)，輸入端子PROD_C4或接收部PROD_C5為視頻的主要供給源)。便攜式錄像機(jī)(此時(shí)，攝像頭(照相機(jī))PROD_C3為視頻的主要供給源)、個(gè)人電腦(此時(shí)，接收部PROD_C5或圖像處理部C6為視頻的主要供給源)、智能手機(jī)(此時(shí)，攝像頭(照相機(jī))PROD_C3或接收部PROD_C5為視頻的主要供給源)等，也是這種記錄裝置PROD_C的例子。

圖24(b)所示為搭載上述的分層視頻解碼裝置1的播放裝置PROD_D的構(gòu)成方塊圖。如圖24(b)所示，播放裝置PROD＿D包括：將寫入記憶媒體PROD＿M(jìn)中的編碼數(shù)據(jù)讀出的讀出PROD＿D1；對讀出部PROD＿D1讀出的編碼數(shù)據(jù)進(jìn)行解碼而得到視頻的解碼部PROD＿D2。上述分層視頻解碼裝置1作為此解碼部PROD_D2使用。

記憶媒體PROD_M也可以是：(1)置于播放裝置PROD_D內(nèi)部的內(nèi)置型，如HDD和SSD等；(2)與播放裝置PROD_D連接的類型，如SD存儲(chǔ)卡和USB閃存等；(3)裝入播放裝置PROD_D的內(nèi)置驅(qū)動(dòng)裝置(圖中未表示)，如DVD和BD等。

播放裝置PROD_D中，作為解碼部PROD_D2輸出視頻的提供對象，也可包括：顯示視頻的顯示器PROD_D3；用于將視頻向外部輸出的輸出端子PROD_D4；以及用于發(fā)送視頻的發(fā)送部PROD_D5。圖24(b)所示為包括了所有這些部分的播放裝置PROD_D的構(gòu)成示例，但也可以省略一部分。

另外，發(fā)送部PROD_D5發(fā)送的也可以是未經(jīng)編碼的視頻，也可以是不同于記錄用編碼方式的傳輸用編碼方式編碼的編碼數(shù)據(jù)。是后者時(shí)，在解碼部PROD_D2和發(fā)送部PROD_D5之間最好有編碼部(圖中未表示)，將視頻用傳輸用編碼方式進(jìn)行編碼。

這樣的播放裝置PROD_D有例如DVD播放機(jī)、BD播放機(jī)、HDD播放機(jī)等(此時(shí)，與電視接收機(jī)等連接的輸出端子PROD_D4為視頻的主要提供對象)。另外，電視接收機(jī)(此時(shí)，顯示器PROD_D3為視頻的主要提供對象)、數(shù)字標(biāo)牌(也稱電子標(biāo)牌等，顯示器PROD_D3或發(fā)送部PROD_D5為視頻的主要提供對象)、臺(tái)式電腦(此時(shí)，輸出端子PROD_D4或發(fā)送部PROD_D5為視頻的主要提供對象)、便攜式電腦或平板電腦(此時(shí)，顯示器PROD_D3或發(fā)送部PROD_D5為視頻的主要提供對象)、智能手機(jī)(此時(shí)，顯示器PROD_D3或發(fā)送部PROD_D5為視頻的主要提供對象)等也是這種播放裝置PROD_D的例子。

(由硬件實(shí)現(xiàn)及由軟件實(shí)現(xiàn))

分層視頻解碼裝置1、分層視頻編碼裝置2的各功能塊，可以通過集成電路(IC芯片)上形成的邏輯電路由硬件實(shí)現(xiàn)，也可以利用CPU(Central Processing Unit)由軟件實(shí)現(xiàn)。

后者的情況，上述各裝置具有：執(zhí)行實(shí)現(xiàn)各功能控制程序命令的CPU；存儲(chǔ)上述程序的ROM(Read Only Memory)；展開上述程序的RAM(Random Access Memory)；以及存儲(chǔ)上述程序和各種數(shù)據(jù)的內(nèi)存等記憶裝置(記憶媒體)等。因此，也可通過將記錄了可在計(jì)算機(jī)上讀取的、作為實(shí)現(xiàn)上述功能的軟件的上述各裝置的控制程序的程序代碼(執(zhí)行碼、中間碼、源代碼)的記憶媒體，提供給上述各裝置，該計(jì)算機(jī)(或CPU、MPU(Micro Processing Unit)等)讀出并執(zhí)行記錄在記憶媒體中的程序代碼，來實(shí)現(xiàn)本發(fā)明的目的。

上述記憶媒體，可使用如：磁帶、盒式磁帶等記錄帶類；包括軟盤(floppy disk，注冊商標(biāo))/硬盤等磁盤、CD－ROM(Compact Disc Read-Only Memory)/MO(Magneto-Optical)/MD(Mini Disc)/DVD(Digital Versatile Disk)/CD－R(CD Recordable)等光盤在內(nèi)的盤類；IC卡(包括內(nèi)存卡)/光卡等卡類；掩膜ROM/EPROM(Erasable Programmable Read-only Memory)/EEPROM(注冊商標(biāo))(Electrically Erasable and Programmable Read-only Memory)/閃存ROM等半導(dǎo)體存儲(chǔ)類；PLD(Programmable Logic Device)、FPGA(Field Programmable Gate Array)等邏輯電路類等。

上述各裝置可用通信網(wǎng)絡(luò)連接構(gòu)成，上述程序代碼也可通過通信網(wǎng)絡(luò)提供。該通信網(wǎng)絡(luò)，只要能傳輸程序代碼即可，沒有特別的限制。例如，可利用互聯(lián)網(wǎng)、以太網(wǎng)、外聯(lián)網(wǎng)、LAN(Local Area Network)、ISDN(Integrated Services Digital Network)、VAN(Value-Added Network)、CATV(Community Antenna Television)通信網(wǎng)、虛擬專用網(wǎng)(Virtual Private Network)、電話網(wǎng)、移動(dòng)通信網(wǎng)、衛(wèi)星通信網(wǎng)等。而且構(gòu)成此通信網(wǎng)絡(luò)的傳輸媒體也只需是可以傳輸程序代碼的媒體，對其構(gòu)成和種類沒有特別的限制。例如，可利用有線，如IEEE(Institute of Electrical and Electronic Engineers)1394、USB、電力輸送線、有線電視線、電話線、ADSL(Asymmetric DigitalSubscriber Line)等；也可利用無線，如IrDA(Infrared Data Association)、遙控器那樣的紅外線、Bluetooth(注冊商標(biāo))、IEEE802.11無線、HDR(High Data Rate)、NFC(Near Field Communication)、DLNA(Digital Living Network Alliance)、移動(dòng)電話網(wǎng)、衛(wèi)星傳輸、地上波數(shù)字網(wǎng)等。另外，本發(fā)明也可通過上述程序代碼在電子傳輸中而具體化的、嵌在載波中的計(jì)算機(jī)數(shù)據(jù)信號的形式實(shí)現(xiàn)。

〔總結(jié)〕

本發(fā)明中至少包括方式1至7的圖像解碼裝置、以及方式8至12的圖像編碼裝置。

本發(fā)明的方式1的相關(guān)圖像解碼裝置，其特征在于：是對分層圖像編碼數(shù)據(jù)進(jìn)行解碼的圖像解碼裝置；具有層集信息解碼裝置，解碼包含1以上(含1)層集的層集信息；具有輸出層集信息解碼裝置，解碼包含1以上(含1)由上述層集和輸出層標(biāo)記的組合表示的輸出層集的輸出層集信息；具有輸出層集選擇裝置，選擇1個(gè)上述輸出層集信息中包含的輸出層集；具有圖片解碼裝置，生成與上述選擇的輸出層集相關(guān)聯(lián)的層集中包含的各層的解碼圖片；具有緩存裝置，保存上述各層的解碼圖片；上述緩存裝置，在保存的上述各層的解碼圖片中，至少針對1以上(含1)層，將與該層對應(yīng)的解碼圖片作為輸出圖片輸出。

本發(fā)明方式2的相關(guān)圖像解碼裝置，其特征在于：在上述方式1中，上述輸出層集中，輸出層標(biāo)記的總和大于等于1。

本發(fā)明方式3的相關(guān)圖像解碼裝置，其特征在于：在上述方式1和2中，上述與輸出層集相關(guān)聯(lián)的層集包含基本層。

本發(fā)明方式4的相關(guān)圖像解碼裝置，其特征在于：在上述方式1和2中，上述輸出層集中，2以上(含2)的輸出層集與同一層集相對應(yīng)且輸出層數(shù)相等時(shí)，在上述2以上(含2)的輸出層集中，至少1個(gè)同一層相關(guān)的輸出層標(biāo)記值互不相同。

本發(fā)明方式5的相關(guān)圖像解碼裝置，其特征在于：在上述方式1和2中，還具有解碼上述輸出層集對應(yīng)的PTL信息的PTL信息解碼裝置；當(dāng)上述輸出層集中2以上(含2)的輸出層集與同一層集對應(yīng)且輸出層數(shù)相等時(shí)，在上述2以上(含2)的輸出層集中，PTL信息互不相同，或至少1個(gè)同一層的輸出層標(biāo)記值互不相同。

本發(fā)明方式6的相關(guān)圖像解碼裝置，其特征在于：上述方式1和2中，上述輸出層集信息解碼裝置，當(dāng)層集數(shù)等于1時(shí)，追加輸出層集數(shù)不從編碼數(shù)據(jù)解碼而直接推定為0，當(dāng)上述層集數(shù)大于1時(shí)，從編碼數(shù)據(jù)中解碼追加輸出層集數(shù)，用層集數(shù)與追加輸出層集數(shù)之和導(dǎo)出輸出層集數(shù)。

本發(fā)明方式7的相關(guān)圖像解碼裝置，其特征在于：上述方式1和2中，上述輸出層集信息解碼裝置，當(dāng)層集數(shù)大于1時(shí)，從編碼數(shù)據(jù)中解碼獲得指定上述輸出層標(biāo)記導(dǎo)出處理的默認(rèn)輸出層信息，當(dāng)上述層集數(shù)等于1時(shí)，不從編碼數(shù)據(jù)中解碼上述默認(rèn)輸出層信息。

本發(fā)明方式8的相關(guān)圖像編碼裝置，其特征在于：是生成分層編碼數(shù)據(jù)的圖像編碼裝置；具有層集信息編碼裝置，編碼包含1以上(含1)層的層集信息；具有輸出層集信息編碼裝置，編碼包含1以上(含1)由上述層集信息和輸出層標(biāo)記的組合表示的輸出層集的輸出層集信息；具有圖片編碼裝置，編碼對應(yīng)上述輸出層集的層集中包含的各層的圖片；上述輸出層集至少具有1以上(含1)輸出層。

本發(fā)明方式9的相關(guān)圖像編碼裝置，其特征在于：上述方式8中，上述輸出層集中有2以上(含2)的輸出層集與同一層集相對應(yīng)且輸出層數(shù)相等時(shí)，上述2以上(含2)的輸出層集中，至少1個(gè)同一層的輸出層標(biāo)記值互不相同。

本發(fā)明方式10的相關(guān)圖像編碼裝置，其特征在于：上述方式8中，還具有PTL信息編碼裝置，編碼對應(yīng)上述輸出層集的PTL信息；上述輸出層集中有2以上(含2)的輸出層集與同一層集相對應(yīng)且輸出層數(shù)相等時(shí)，上述2以上(含2)的輸出層集中，PTL信息互不相同，或至少1個(gè)同一層的輸出層標(biāo)記值互不相同。

本發(fā)明方式11的相關(guān)圖像編碼裝置，其特征在于：上述方式8中，上述輸出層集信息編碼裝置，當(dāng)層集數(shù)等于1時(shí)，不對表示輸出層集數(shù)和層集數(shù)之差的追加輸出層集數(shù)進(jìn)行編碼，當(dāng)上述層集數(shù)大于1時(shí)，進(jìn)行上述追加輸出層集數(shù)的編碼。

本發(fā)明方式12的相關(guān)圖像編碼裝置，其特征在于：上述方式8中，上述輸出層集信息編碼裝置，當(dāng)層集數(shù)大于1時(shí)，對上述默認(rèn)輸出層信息進(jìn)行編碼，當(dāng)上述層集數(shù)等于1時(shí)，不對上述默認(rèn)輸出層信息進(jìn)行編碼。

本發(fā)明并不只限于上述的各實(shí)施例，在權(quán)利要求所示范圍內(nèi)可以有各種變化，在不同實(shí)施例中對用公開的技術(shù)方法進(jìn)行適當(dāng)組合而得到的實(shí)施例也包含在本發(fā)明的技術(shù)范圍內(nèi)。

在行業(yè)中使用的可能性

本發(fā)明可根據(jù)需要應(yīng)用于對分層編碼圖像的編碼數(shù)據(jù)進(jìn)行解碼的分層視頻解碼裝置、以及生成分層編碼圖像的編碼數(shù)據(jù)的分層視頻編碼裝置中。而且，也可根據(jù)需要用于由分層視頻編碼裝置生成的、由分層視頻解碼裝置參考的分層編碼數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)中。

符號的說明

1…分層視頻解碼裝置

2…分層視頻編碼裝置

10…目標(biāo)集圖片解碼部

11…NAL解復(fù)用部(NAL單元解碼裝置、層標(biāo)識符解碼裝置)

12…Non-VCL解碼部(參數(shù)集解碼裝置、層集信息解碼裝置、輸出層集信息解碼裝置、PTL信息解碼裝置)

13…參數(shù)存儲(chǔ)器

14…圖片解碼部(VCL解碼裝置)

141…條帶頭解碼部

142…CTU解碼部

1421…預(yù)測殘差還原部

1422…預(yù)測圖像生成部

1423…CTU解碼圖像生成部

15…解碼圖片管理部

16…輸出控制部(輸出層集選擇裝置)

17…比特流抽取裝置(編碼數(shù)據(jù)抽取裝置)

20…目標(biāo)集圖片編碼部

21…NAL復(fù)用部(NAL單元編碼裝置)

22…Non-VCL編碼部(參數(shù)集編碼裝置、層集信息編碼裝置、輸出層集信息編碼裝置、PTL信息編碼裝置)

24…圖片編碼部(VCL編碼裝置)

26…編碼參數(shù)決定部

241…條帶頭編碼部

242…CTU編碼部

2421…預(yù)測殘差編碼部

2422…預(yù)測圖像編碼部

2423…CTU解碼圖像生成部