碼器205從在壓縮數(shù)據(jù)緩沖器204中儲存的視頻流中取出在指定為要解碼的層的層中的圖片的編碼圖像數(shù)據(jù)。然后，解碼器205在圖片的解碼定時，解碼這樣取出的每個圖片的編碼圖像數(shù)據(jù)，并且將該數(shù)據(jù)發(fā)送給未壓縮數(shù)據(jù)緩沖器(dpb)206。
[0209]在此處，在解碼器205中，從CPU 201中給要解碼的層指定temporal_id。指定的層被視為包含在由多路復用器203取出的視頻流(編碼流)內(nèi)的所有層或更低層的一部分，并且由CPU 201自動設(shè)置或者根據(jù)用戶操作設(shè)置為。而且，根據(jù)DTS(解碼定時戳)，從CPU 201中給解碼器205提供解碼定時。應注意的是，在解碼每個圖片的編碼圖像數(shù)據(jù)時，解碼器205必要時讀取并且使用來自未壓縮數(shù)據(jù)緩沖器206的參考圖片的圖像數(shù)據(jù)。
[0210]圖29示出解碼器205的一個配置實例。解碼器205包括時間ID分析單元251、目標層選擇單元252、流組合單元253以及解碼單元254。時間ID分析單元251讀取在壓縮數(shù)據(jù)緩沖器204內(nèi)儲存的視頻流(編碼流)，并且分析插入每個圖片的編碼圖像數(shù)據(jù)的NAL單元報頭內(nèi)的temporal_id。
[0211]目標層選擇單元252根據(jù)從時間ID分析單元251中獲得的分析結(jié)果，從壓縮數(shù)據(jù)緩沖器204中讀取的視頻流中取出指定為要解碼的層的層的圖片的編碼圖像數(shù)據(jù)。在這種情況下，根據(jù)從壓縮數(shù)據(jù)緩沖器204中讀取的視頻流的數(shù)量以及指定層，從目標層選擇單元252中輸出一個或多個視頻流(編碼流)。
[0212]流組合單元253將從目標層選擇單元252中輸出的視頻流(編碼流)組合在一起。應注意的是，雖然與在圖顯示的不同，但是流組合單元253可將從cpb緩沖器204中輸出的視頻流(編碼流)組合在一起。在這種情況下，流組合單元253同時執(zhí)行目標層選擇和時間ID分析。流組合單元253根據(jù)解碼定時信息將圖片的編碼圖像數(shù)據(jù)組合在一起。圖30示出了流組合的一個實例。
[0213]該實例對應于在圖9中示出的上述實例，并且是一個實例，其中，具有60Hz間隔的基礎(chǔ)流的圖片和具有60Hz間隔的增強流的圖片組合在一起。在這種情況下，每個圖片被視為時間戳120Hz的一個流。
[0214]應注意的是，一個流傳輸給解碼單元254，并且圖片的每個編碼圖像數(shù)據(jù)在解碼定時解碼并且儲存在dpb(未壓縮數(shù)據(jù)緩沖器)206內(nèi)，如后所述。然后，在圖片重新排序之后，從未壓縮數(shù)據(jù)緩沖器206中依次讀取每個圖片的編碼圖像數(shù)據(jù)。在圖中顯示的實例中，首先讀取在子圖片組(由向下傾斜的虛線顯示)內(nèi)的圖片，然后，讀取在下一個子圖片組(由向上傾斜的虛線顯示)內(nèi)的圖片。在解碼之后，在顯示在子圖片組內(nèi)的圖片時，在下一個子圖片組內(nèi)的圖片儲存在未壓縮數(shù)據(jù)緩沖器206內(nèi)，并且變成后續(xù)引用的圖片。
[0215]應注意的是，多個流的圖片的組合處理本身可為在上述多路復用器203中的多個所選流執(zhí)行，并且可傳輸給壓縮數(shù)據(jù)緩沖器(cpb:編碼圖片緩沖器)204，作為一個流。而且，同樣根據(jù)解碼定時信息，執(zhí)行在此時的組合處理，在這種情況下，不需要在解碼器中執(zhí)行組合處理。
[0216]解碼單元254在解碼定時依次解碼由流組合單元253組合的視頻流(編碼流)的每個圖片的編碼圖像數(shù)據(jù)，并且將該數(shù)據(jù)發(fā)送給未壓縮數(shù)據(jù)緩沖器(dpb)206。
[0217]在這種情況下，解碼單元254分析VPS和SPS，了解每個子層的位速率的等級指定值“sublayer_level_idc”，例如，以檢查通過解碼能力是否可以解碼。而且，在這種情況下，解碼單元 2 54執(zhí)行 SE I分析，了解(例如)“ini tial_cpb_removal_time” 和 “cpb_removal_delay”，并且檢查CPU 201的解碼定時是否合適。
[0218]在解碼切片(切片)時，解碼單元254從切片報頭(切片報頭)中獲取“ref_idx_10_active' (ref_idx_ll_active)，作為表示時間方向的預測目的地的信息，以預測時間方向。應注意的是，處理在解碼之后的圖片，作為另一個圖片的參考，將從切片報頭(切片報頭)中獲取的 “short_term_ref_pic_set_idx” 或 “it_idx_sps” 用作索引。
[0219]現(xiàn)在，返回圖25，未壓縮數(shù)據(jù)緩沖器(dpb)206暫時儲存由解碼器205解碼的每個圖片的圖像數(shù)據(jù)。后處理單元207在顯示時間執(zhí)行處理，以使依次從未壓縮數(shù)據(jù)緩沖器(dpb)206中讀取的每個圖片的圖像數(shù)據(jù)的幀速率與顯示能力匹配。在這種情況下，根據(jù)PTS(呈現(xiàn)時間戳)，從CPU201中提供顯示時間。
[0220]例如，如果在解碼之后的每個圖片的圖像數(shù)據(jù)的幀速率是120fps并且顯示能力是120fps，那么后處理單元207將在解碼之后的每個圖片的圖像數(shù)據(jù)照原樣發(fā)送給顯示器。而且，例如，如果在解碼之后的每個圖片的圖像數(shù)據(jù)的幀速率是120fps并且顯示能力是60fps，那么后處理單元207執(zhí)行二次采樣處理，以便時間方向分辨率比在解碼之后的每個圖片的圖像數(shù)據(jù)減少一半，并且將該數(shù)據(jù)發(fā)送給顯示器，作為60fps的圖像數(shù)據(jù)。
[0221]而且，例如，如果在解碼之后的每個圖片的圖像數(shù)據(jù)的幀速率是60fps并且顯示能力是120fps，那么后處理單元207執(zhí)行插入處理，以便時間方向分辨率是在解碼之后的每個圖片的圖像數(shù)據(jù)的兩倍，并且將該數(shù)據(jù)發(fā)送給顯示器，作為120fps的圖像數(shù)據(jù)。例如，如果在解碼之后的每個圖片的圖像數(shù)據(jù)的幀速率是60fps并且顯示能力是60fps，那么后處理單元207將在解碼之后的每個圖片的圖像數(shù)據(jù)照原樣發(fā)送給顯示器。
[0222]圖31示出后處理單元207的一個配置實例。這是一個實例，其中，能夠處理一下情況:如上所述，在解碼之后的每個圖片的圖像數(shù)據(jù)的幀速率是120fps或60fps，并且顯示能力是12Of ps 或 6Of ps。
[0223]后處理單元207包括插入單元271、二次采樣單元272以及切換單元273。將來自未壓縮數(shù)據(jù)緩沖器206的在解碼之后的每個圖片的圖像數(shù)據(jù)直接輸入切換單元273中，在幀速率由插入單元271翻倍之后，輸入切換單元273中，或者在幀速率由二次采樣單元272減少一半之后，輸入切換單元273中。
[0224]將選擇信息從CPU 201中供應給切換單元273。這個選擇信息由CPU 201參照顯示能力自動生成或者根據(jù)用戶的操作生成。切換單元273根據(jù)選擇信息選擇性輸出任何輸入。因此，在顯示時間依次從未壓縮數(shù)據(jù)緩沖器(dpb)206中讀取的每個圖片的圖像數(shù)據(jù)的幀速率被視為與顯示能力匹配的幀速率。
[0225]圖32示出解碼器205和后處理單元207的處理流程的一個實例。解碼器205和后處理單元207在步驟ST51中開始處理，然后，執(zhí)行步驟ST52的處理。在該步驟ST52中，解碼器205讀取在壓縮數(shù)據(jù)緩沖器(cpb:編碼圖片緩沖器)204內(nèi)儲存的作為解碼目標的視頻流，并且根據(jù)temporal_id，從CPU 201中選擇在指定作為目標的層中的圖片。
[0226]接下來，解碼器205在解碼定時依次解碼每個所選圖片的編碼圖像數(shù)據(jù)，將在解碼之后的每個圖片的圖像數(shù)據(jù)傳輸給未壓縮數(shù)據(jù)緩沖器(dpb)206，并且在步驟ST53中暫時儲存數(shù)據(jù)。接下來，后處理單元207在步驟ST54中在顯示時間從未壓縮數(shù)據(jù)緩沖器(dpb)206中讀取每個圖片的圖像數(shù)據(jù)。
[0227]接下來，后處理單元207確定每個圖片的所讀取的圖像數(shù)據(jù)的幀速率是否與顯示能力匹配。如果幀速率與顯示能力不匹配時，那么后處理單元207在步驟ST56中使幀速率與顯示能力匹配，并且將幀速率發(fā)送給顯示器，在步驟ST57中完成處理。另一方面，如果幀速率與顯示能力匹配，那么后處理單元207在步驟ST58中將幀速率照原樣發(fā)送給顯示器，然后，在步驟ST57中完成處理。
[0228]簡單描述在圖25中顯示的接收設(shè)備200的操作。在接收單元202中，解調(diào)由接收天線接收的RF調(diào)制信號，以獲取傳輸流TS。將這個傳輸流TS發(fā)送給多路復用器203。在多路復用器203中，根據(jù)解碼能力(解碼器時間層能力)，從傳輸流TS中PID過濾所有或一部分視頻流。
[0229]例如，如果解碼能力高，那么選擇基礎(chǔ)流和增強流的所有視頻流。而且，例如，如果解碼能力低，那么選擇包括可解碼的層的預定數(shù)量的視頻流和基礎(chǔ)流。然后，所選的視頻流的圖片的編碼圖像數(shù)據(jù)從多路復用器203中傳輸給壓縮數(shù)據(jù)緩沖器(cpb:編碼圖片緩沖器)204，并且暫時儲存。
[0230]在解碼器205中，從在壓縮數(shù)據(jù)緩沖器204中儲存的視頻流中取出在指定為要解碼的層的層中的編碼圖像數(shù)據(jù)。然后，在解碼器205中，以解碼定時解碼這樣取出的每個圖片的編碼圖像數(shù)據(jù)，將該數(shù)據(jù)發(fā)送給未壓縮數(shù)據(jù)緩沖器(dpb)206，并且暫時儲存。在這種情況下，在每個圖片的編碼圖像數(shù)據(jù)解碼時，必要時從未壓縮數(shù)據(jù)緩沖器206中讀取參考圖片的圖像數(shù)據(jù)，并且使用該數(shù)據(jù)。
[0231]將以顯示定時依次從未壓縮數(shù)據(jù)緩沖器(dpb)206中讀取的圖片的圖像數(shù)據(jù)發(fā)送給后處理單元207。在后處理單元207中，執(zhí)行插入或者二次采樣，用于使每個圖片的圖像數(shù)據(jù)的幀速率與顯示能力匹配。將在后處理單元207中處理的每個圖片的圖像數(shù)據(jù)供應給顯示器，并且顯示每個圖片的圖像數(shù)據(jù)的運動圖像。
[0232]如上所述，在圖1中顯示的發(fā)送/接收系統(tǒng)10中，在接收側(cè)上，執(zhí)行編碼，以便在最低層組內(nèi)的圖片的編碼圖像數(shù)據(jù)的解碼間隔至少是規(guī)則間隔。因此，在接收器具有對最低層組的多個層內(nèi)的圖片的編碼圖像數(shù)據(jù)上執(zhí)行處理的解碼能力的情況下，例如，可以對每個圖片的編碼圖像數(shù)據(jù)連續(xù)地并且輕松地執(zhí)行解碼處理。
[0233]而且，在圖1中顯示的發(fā)送/接收系統(tǒng)10中，在發(fā)送側(cè)上執(zhí)行編碼，以便在高于最低層組的層組內(nèi)的圖片的編碼圖像數(shù)據(jù)的解碼定時是在低于所述層組的所有層組內(nèi)的圖片的編碼圖像數(shù)據(jù)的平均解碼定時。因此，在接收器具有不僅解碼在最低層組內(nèi)的而且解碼在比該最低層組更高的層組內(nèi)的圖片的編碼圖像數(shù)據(jù)的解碼能力的情況下，可以對每個圖片依次并且平穩(wěn)地執(zhí)行解碼處理。
[0234]而且，在圖1中顯示的發(fā)送/接收系統(tǒng)10中，在發(fā)送側(cè)上，在多個層分成預定數(shù)量的層組的情況下，進行劃分，以便最低層組包括多個層，并且比最低層組更高的層組包括一個層。因此，例如，在接收器具有對最低層組內(nèi)的多個層內(nèi)的圖片的編碼圖像數(shù)據(jù)執(zhí)行處理的解碼能力的情況下，僅僅需要僅僅選擇在最低層組內(nèi)具有圖片的編碼圖像數(shù)據(jù)的視頻流，在緩沖器內(nèi)采用該視頻流，并且對該視頻流執(zhí)行解碼處理的配置，并且不需要對多個視頻流執(zhí)行組合處理的復雜配置。
[0235]而且，在圖1中顯示的發(fā)送/接收系統(tǒng)10中，在發(fā)送側(cè)上，用于識別預定數(shù)量的視頻流中的每個是基礎(chǔ)流還是增強流的識別信息插入傳輸流TS的層內(nèi)。因此，接收器可以容易選擇基礎(chǔ)流，并且選擇性解碼在更低層組內(nèi)的圖片的編碼圖像數(shù)據(jù)，例如，通過使用識別信息。
[0236]而且，在圖1中顯示的發(fā)送/接收系統(tǒng)10中，在發(fā)送側(cè)上，視頻流的配置信息插入傳輸流TS的層內(nèi)，對應于包含在傳輸流TS內(nèi)的預定數(shù)量的視頻流。因此，例如，接收器可以容易了解包含在傳輸流TS內(nèi)的每個視頻流屬于哪組、在視頻流之間具有什么流依賴關(guān)系以及層的數(shù)量。
[0237]而且，在圖1中顯示的發(fā)送/接收系統(tǒng)10中，在接收器側(cè)上，從所接收的視頻流中，根據(jù)解碼能力(解碼器時間層能力)，在壓縮數(shù)據(jù)緩沖器204中選擇性取出在等于或低于預定層的層內(nèi)的圖片的編碼圖像數(shù)據(jù)，并且解碼。因此，例如，根據(jù)解碼能力，可以執(zhí)行適當?shù)慕獯a處理。
[0238]而且，在圖1中顯示的發(fā)送/接收系統(tǒng)10中，在接收器側(cè)上，使在解碼之后的每個圖片的圖像數(shù)據(jù)的幀速率與在后處理單元207中的顯示能力。因此，即使解碼能力低，例如，也能夠獲取與顯示能力匹配的幀速率的圖像數(shù)據(jù)。
[0239]〈2、變形例〉
[0240]應注意的是，在上述實施方式中，作為層最大值的信息的“max_layer_in_group”寫入多流描述符中(見圖18)中，并且發(fā)送給接收器。然而，并未將層最大值的信息寫入描述符中并且將其供應給接收器，可以描述在文件或書面標準的表面上“指定最大層”，以提前指定或者設(shè)置在接收設(shè)備中的層最大值。而且，在這種情況下，接收器引用層最大值的信息，根據(jù)自身解碼能力，對包括層的流執(zhí)行濾波，并且執(zhí)行解碼處理，與如上所述從傳輸器側(cè)中給其供應描述符的情況相似。
[0241]而且，在上述實施方式中，描述時間可擴展性(時間可擴展性)的一個實例，并且多流描述符用于將每個流的配置信息發(fā)送給接收器。然而，雖然省略了詳細描述，但是可以在服務中應用上述多流描述符，其中，基礎(chǔ)流(基礎(chǔ)流)和擴展流(增強流)共存，涉及可擴展性，例如，空間可擴展性和位速率可擴展性。具體而言，在執(zhí)行多流編碼時，上述多流描述符表不一種有用的信令方法。
[0242]而且，在上述實施方式中，描述了包括發(fā)送設(shè)備100和接收設(shè)備200的發(fā)送/接收系統(tǒng)10。然而，可以應用本技術(shù)的發(fā)送/接收系統(tǒng)的配置不限于此。例如，接收設(shè)備200部分可具有由數(shù)字接口(例如，HDMI(高清晰度多媒體接口)連接的機頂盒和顯示器的配置。應注意的是，“HDMI”是是注冊商標。
[0243]而且，在上述實施方式中，描述了內(nèi)容是傳輸流(MPEG-2TS)的實例。然而，本技術(shù)可以同樣適用于系統(tǒng)中，該系統(tǒng)具有使用網(wǎng)絡(例如，互聯(lián)網(wǎng))執(zhí)行到接收終端的傳送的配置。在使用互聯(lián)網(wǎng)傳送的情況下，由內(nèi)容通過MP4等格式執(zhí)行傳送。換言之，具有各種格式(例如，由數(shù)字廣播標準和MP4采用的傳輸流(MPEG-2TS))以及由互聯(lián)網(wǎng)傳送的MP4對應于內(nèi)容。
[0244]而且，本技術(shù)可以采用以下配置。
[0245](I)一種編碼設(shè)備，包括:
[0246]圖像編碼單元，配置為:
[0247]將構(gòu)成運動圖像數(shù)據(jù)的每個圖片的圖像數(shù)據(jù)分類成多個層，
[0248]編碼每個分類的層中的圖片的圖像數(shù)據(jù)，
[0249]將多個層劃分成預定數(shù)量的層組，并且
[0250]生成具有每個劃分的層組內(nèi)的圖片的編碼圖像數(shù)據(jù)的預定數(shù)量的視頻流，圖像編碼單元執(zhí)行編碼，以便在至少最低層組內(nèi)的圖片的編碼圖像數(shù)據(jù)的解碼間隔是規(guī)則間隔。
[0251](2)根據(jù)以上(I)所述的編碼設(shè)備，其中，
[0252]圖像編碼單元執(zhí)行編碼，以便在高于最低層組的層組內(nèi)的圖片的編碼圖像數(shù)據(jù)的解碼定時是在低于該層組的所有層組內(nèi)的圖片的編碼圖像數(shù)據(jù)的解碼定時的平均定時。
[0253](3)根據(jù)以上(I)或(2)所述的編碼設(shè)備，其中，
[0254]圖像編碼單元將多個層劃分成預定數(shù)量的層組，以便最低層組包括多個層并且高于最低層組的層組包括一個層。
[0255](4)—種編碼方法，包括:
[0256]由圖像編碼單元將構(gòu)成運動圖像數(shù)據(jù)的每個圖片的圖像數(shù)據(jù)分類成多個層；
[0257]編碼每個分類的層中的圖片的圖像數(shù)據(jù)；
[0258]將多個層劃分成預定數(shù)量的層組;并且
[0259]生成具有每個劃分的層組內(nèi)的圖片的編碼圖像數(shù)據(jù)的預定數(shù)量的視頻流，圖像編碼單元執(zhí)行編碼，以便在至少最低層組內(nèi)的圖片的編碼圖像數(shù)據(jù)的解碼間隔是規(guī)則間隔。
[0260](5)一種發(fā)送設(shè)備，包括:
[0261]圖像編碼單元，配置為:
[0262]將構(gòu)成運動圖像數(shù)據(jù)的每個圖片的圖像數(shù)據(jù)分類成多個層，
[0263 ]編碼每個分類的層中的圖片的圖像數(shù)據(jù)，
[0264]將多個層劃分成預定數(shù)量的層組，并且
[0265]生成具有每個劃分的層組內(nèi)的圖片的編碼圖像數(shù)據(jù)的預定數(shù)量的視頻流;以及
[0266]發(fā)送單元，配置為發(fā)送具有預定格式的包括所生成的預定數(shù)量的視頻流的內(nèi)容，圖像編碼單元執(zhí)行編碼，以便在至少最低層組內(nèi)的圖片的編碼圖像數(shù)據(jù)的解碼間隔是規(guī)則間隔。
[0267](6)一種發(fā)送設(shè)備，包括:
[0268]圖像編碼單元，配置為:
[0269]將構(gòu)成運動圖像數(shù)據(jù)的每個圖片的圖像數(shù)據(jù)分類成多個層，
[0270]編碼每個分類的層中的圖片的圖像數(shù)據(jù)，
[0271 ]將多個層劃分成預定數(shù)量的層組，并且
[0272]生成具有每個劃分的層組內(nèi)的圖片的編碼圖像數(shù)據(jù)的預定數(shù)量的視頻流；