專利名稱：視頻編碼中的參數(shù)集和圖片報(bào)頭的制作方法
技術(shù)領(lǐng)域：
本發(fā)明一般地涉及視頻編碼，更具體地，涉及視頻比特流結(jié)構(gòu)。
背景技術(shù)：
已經(jīng)制定的視頻編碼標(biāo)準(zhǔn)包括ITU-T H.261，ISO/IEC MPEG-1Visual，ITU-T H.262(即ISO/IEC MPEG-2 Visual)，ITU-T H.263，ISO/IEC MPEG-4 Visual和ITU-T H.264(即ISO/IEC MPEG-4 AVC)。H.264/AVC是ITU-T視頻編碼專家組(VCEG)和ISO/IEC MPEG的聯(lián)合視頻工作組的(JVT)工作成果。
另外，人們正在努力完成新的視頻編碼標(biāo)準(zhǔn)。一個(gè)成就是開發(fā)MPEG中的可伸縮視頻編碼(SVC)標(biāo)準(zhǔn)。第二個(gè)成就是開發(fā)由中國音頻視頻編碼標(biāo)準(zhǔn)工作組(AVS)組織的中國視頻編碼標(biāo)準(zhǔn)。在2004年2月，AVS確定了其第一個(gè)視頻編碼規(guī)范，用于SDTV和HDTV應(yīng)用的AVS 1.0。其后，工作重心轉(zhuǎn)到移動(dòng)視頻業(yè)務(wù)。并且分別于2004年12月和2006年4月公布了最后得到的兩個(gè)標(biāo)準(zhǔn)AVS-M分級1和AVS-M分級2。
H.264/AVC之前的視頻編碼標(biāo)準(zhǔn)規(guī)定了用于基礎(chǔ)比特流的結(jié)構(gòu)，亦即，解碼器可以進(jìn)行語法分析的自包含比特流。該比特流由若干層組成，通常包括以下各層中的幾層序列層、圖片層、片層、宏塊層和塊層。用于各層的比特流通常由報(bào)頭和相關(guān)聯(lián)的數(shù)據(jù)組成。片層或更高層的每個(gè)報(bào)頭以用于再同步和標(biāo)識(shí)的起始碼開始。包括多個(gè)例程和子例程的這種結(jié)構(gòu)稱為基于起始碼的比特流結(jié)構(gòu)。
如下所述，可以用許多表來描述基于起始碼的比特流結(jié)構(gòu)(為簡單起見，沒有包括序列級和圖片級的用戶數(shù)據(jù)和擴(kuò)展數(shù)據(jù))





正如在上面的表中看到的那樣，video_bitstream()例程包含多個(gè)子例程，如next_start_code()，sequence_header()。用于這些子例程的每一個(gè)子例程的表包含多個(gè)例如起始碼的代碼和多個(gè)參數(shù)。
video_bitstream()例程中的next_start_code()子例程使比特流指針前進(jìn)直至下一個(gè)起始碼。序列結(jié)束碼(未示出)也是一種類型的起始碼。slice_data()子例程(沒有用表的方式表示)包含除片報(bào)頭之外的片的編碼視頻數(shù)據(jù)。
用于H.264/AVC的句法由網(wǎng)絡(luò)抽象層(NAL)單元組成。編碼的視頻數(shù)據(jù)被組織成NAL單元。每個(gè)NAL單元實(shí)際上是一個(gè)分組，該分組包含整數(shù)個(gè)字節(jié)。每個(gè)NAL單元的第一個(gè)字節(jié)是一個(gè)報(bào)頭字節(jié)，該報(bào)頭字節(jié)包含該NAL單元內(nèi)的數(shù)據(jù)類型的指示，剩余字節(jié)包含該報(bào)頭所指示的類型的有效載荷數(shù)據(jù)。NAL單元結(jié)構(gòu)定義規(guī)定面向分組的和面向比特流的傳送系統(tǒng)中使用的一般格式。編碼器生成的一系列NAL單元稱為NAL單元流。NAL單元流不能形成基礎(chǔ)比特流，這是因?yàn)镹AL單元中沒有起始碼。相反地，當(dāng)需要基礎(chǔ)比特流結(jié)構(gòu)時(shí)，必須利用根據(jù)H.264/AVC規(guī)范的附錄B的起始碼構(gòu)造NAL單元，以形成基礎(chǔ)比特流。
在片層和下面的層上，H.264/AVC包含報(bào)頭，但它不包括圖片和序列報(bào)頭。而是用一個(gè)或多個(gè)參數(shù)集取代報(bào)頭。利用參數(shù)集設(shè)計(jì)來提供報(bào)頭信息的魯棒且有效的運(yùn)送。因?yàn)閳?bào)頭信息(如序列報(bào)頭或圖片報(bào)頭信息)的幾個(gè)關(guān)鍵比特的丟失可能會(huì)對解碼過程造成非常嚴(yán)重的不利影響，通過使用參數(shù)集設(shè)計(jì)可以隔離這類關(guān)鍵信息，以便用更靈活、更專業(yè)的方式進(jìn)行處理。
假設(shè)的是參數(shù)集將包含被認(rèn)為很少變化的信息，并提供對很多片的解碼。有兩種類型的參數(shù)集1)序列參數(shù)集，應(yīng)用于稱為編碼視頻序列的一系列連續(xù)編碼的視頻圖片；以及2)圖片參數(shù)集，應(yīng)用于編碼視頻序列內(nèi)的一個(gè)或多個(gè)分割圖片的解碼。
序列和圖片參數(shù)集機(jī)制把很少變化的信息的傳送和視頻圖片中的采樣的值的編碼表示的傳送分離開來。每個(gè)片包含有指向有關(guān)圖片參數(shù)集的內(nèi)容的標(biāo)識(shí)符，并且每個(gè)圖片參數(shù)集包含有指向相關(guān)序列參數(shù)集的內(nèi)容的標(biāo)識(shí)符。如此，可以利用少量數(shù)據(jù)(標(biāo)識(shí)符)來指向大量信息(參數(shù)集)，而無需在每個(gè)片內(nèi)重復(fù)該信息?？梢栽趹?yīng)用這些序列和圖片參數(shù)集的其它NAL單元之前發(fā)送它們，并且可以重復(fù)這些序列和參數(shù)集以提供預(yù)防數(shù)據(jù)丟失的魯棒性。在某些應(yīng)用中，可以在運(yùn)送其它NAL單元的信道內(nèi)發(fā)送參數(shù)集(稱為“帶內(nèi)”傳送)。在其它應(yīng)用中，通過使用比視頻信道本身更可靠的傳送機(jī)制采用“帶外”方式來運(yùn)送參數(shù)集是有利的。
H.264/AVC的比特流結(jié)構(gòu)稱為NAL單元加參數(shù)集比特流結(jié)構(gòu)。請注意，如果使用H.264/AVC附錄B，則可以把比特流結(jié)構(gòu)視為起始碼加參數(shù)集比特流結(jié)構(gòu)，這是因?yàn)榭梢园袶.264/AVC附錄B的起始碼前綴和NAL單元的第一個(gè)字節(jié)的拼接定義為一個(gè)起始碼。
NAL單元加參數(shù)集比特流結(jié)構(gòu)是包含序列參數(shù)集NAL單元、圖片參數(shù)集NAL單元和片NAL單元在內(nèi)的許多NAL單元的拼接，如下所述





在上面的表中，除了別的以外，其中的nal_unit_header代碼還指示NAL單元的類型。
可以用以下方式描述起始碼加參數(shù)集比特流結(jié)構(gòu)





在上面的表中，sequence_parameter_set_id代碼標(biāo)識(shí)來自任一其它序列參數(shù)集的序列參數(shù)集。picture_parameter_set_id代碼標(biāo)識(shí)來自任一其它圖片參數(shù)集的圖片參數(shù)集。
與基于起始碼的結(jié)構(gòu)相比，序列報(bào)頭和圖片報(bào)頭子例程在起始碼加參數(shù)集結(jié)構(gòu)中是無用的。鑒于此，沒有把序列報(bào)頭和圖片報(bào)頭子例程包括在起始碼加參數(shù)集結(jié)構(gòu)內(nèi)。AVS Video 1.0采用了基于起始碼的比特流結(jié)構(gòu)。迄今為止，尚不清楚基于起始碼的比特流結(jié)構(gòu)或具有NAL單元加參數(shù)集的結(jié)構(gòu)是否用于AVS-M和MPEG-21 SVC編碼標(biāo)準(zhǔn)。
在基于起始碼的比特流結(jié)構(gòu)中，例如在H.264/AVC之前的編碼標(biāo)準(zhǔn)中的比特流結(jié)構(gòu)中，沒有使用參數(shù)集技術(shù)。因此，對于序列報(bào)頭中的每個(gè)序列或圖片報(bào)頭中的每個(gè)圖片，必須重復(fù)用信號(hào)通知保持不變的很少發(fā)生變化的信息。從壓縮效率的觀點(diǎn)看，這是浪費(fèi)。另外，在不使用參數(shù)集技術(shù)的情況下，難以把很少發(fā)生變化的信息的傳送和其它信息的傳送分離開來。這使得編碼數(shù)據(jù)很容易受到傳輸誤差的影響，因?yàn)樾蛄袌?bào)頭或圖片報(bào)頭中很少發(fā)生變化的信息的幾個(gè)關(guān)鍵比特的丟失可能會(huì)對解碼過程造成非常嚴(yán)重的不利影響。
在NAL單元加參數(shù)集比特流結(jié)構(gòu)和起始碼加參數(shù)集比特流結(jié)構(gòu)中，沒有圖片報(bào)頭。必須在每個(gè)片報(bào)頭中重復(fù)用于某一圖片的保持不變的某些信息。從壓縮效率的觀點(diǎn)看，這也是浪費(fèi)。特別地，對于H.264/AVC，正如在下面看到的那樣，保守估計(jì)此類信息將占用全部比特速率的2％。
圖1表示層分層結(jié)構(gòu)(不論是加NAL單元還是加起始碼)中的常規(guī)的基于參數(shù)集的結(jié)構(gòu)。
H.264/AVC片報(bào)頭中的參數(shù)包括可以在整個(gè)圖片的每一片中變化的參數(shù)以及在整個(gè)圖片中保持不變的參數(shù)。圖2表示在整個(gè)圖片中不變的片報(bào)頭中的參數(shù)連同每個(gè)參數(shù)使用多少比特的估計(jì)。該估計(jì)給出的結(jié)果是每片16比特。對于CIF(通用媒體格式)圖片，當(dāng)使用每片一個(gè)宏塊行的分片方法時(shí)，每幀有18行。得出18×16＝288比特/幀。在每秒30幀時(shí)，變成8640比特/秒，這是384kbps總比特速率的2.3％。對于移動(dòng)視頻通話，一個(gè)合理的假設(shè)是，QCIF(四分之一CIF)圖片具有每片100字節(jié)，以便以64kbps的速率傳送。這等效于80片/秒。對于每片16比特，傳輸速率為80×16＝1280比特/秒，即，384kbps總比特速率的2.0％。

發(fā)明內(nèi)容
為了提高視頻編碼中的壓縮效率，本發(fā)明在片之前的圖片層中提供一個(gè)圖片報(bào)頭。作為選擇，圖片報(bào)頭參數(shù)可選擇地包含在片報(bào)頭內(nèi)，不管該圖片層內(nèi)是否提供圖片報(bào)頭。此外，圖片報(bào)頭參數(shù)可以包含在一個(gè)或多個(gè)片內(nèi)。
在現(xiàn)有技術(shù)中，圖片報(bào)頭參數(shù)包含在片報(bào)頭內(nèi)。相反地，根據(jù)本發(fā)明圖片報(bào)頭參數(shù)包含在圖片報(bào)頭內(nèi)；或者圖片報(bào)頭內(nèi)，并且可選擇地包含在由某一標(biāo)志指示的片報(bào)頭的每個(gè)片報(bào)頭內(nèi)；或者至少一個(gè)片報(bào)頭內(nèi)，并且可選擇地包含在由某一標(biāo)志指示的其它片報(bào)頭的每個(gè)片報(bào)頭內(nèi)。


圖1表示視頻比特流中的常規(guī)的基于參數(shù)集的結(jié)構(gòu)；圖2是現(xiàn)有技術(shù)的H.264/AVC片報(bào)頭中的參數(shù)的列表；圖3表示根據(jù)本發(fā)明的視頻比特流中的基于參數(shù)集的結(jié)構(gòu)；圖4是一個(gè)框圖，表示根據(jù)本發(fā)明的視頻編碼系統(tǒng)；圖5是一個(gè)框圖，表示根據(jù)本發(fā)明的視頻編碼器；圖6是一個(gè)框圖，表示根據(jù)本發(fā)明的視頻解碼器；圖7是一個(gè)框圖，表示根據(jù)本發(fā)明的具有視頻編碼系統(tǒng)的電子設(shè)備；圖8a表示根據(jù)本發(fā)明另一實(shí)施例的視頻比特流中的基于參數(shù)集的結(jié)構(gòu)；以及圖8b表示根據(jù)本發(fā)明又一實(shí)施例的視頻比特流中的基于參數(shù)集的結(jié)構(gòu)。
具體實(shí)施例方式
可以在兩個(gè)實(shí)施例內(nèi)實(shí)現(xiàn)本發(fā)明。第一實(shí)施例與基于起始碼的比特流結(jié)構(gòu)有關(guān)，而第二實(shí)施例與NAL單元加參數(shù)集比特流有關(guān)。
第一實(shí)施例本發(fā)明的第一實(shí)施例在基于起始碼的比特流結(jié)構(gòu)中同時(shí)使用參數(shù)集和圖片報(bào)頭子例程。
為了支持兩種類型的參數(shù)集子例程序列參數(shù)集子例程和圖片參數(shù)集子例程，使用兩個(gè)獨(dú)特的起始碼序列參數(shù)集起始碼和圖片參數(shù)集起始碼。這些起始碼中的每個(gè)起始碼必須與任何其它起始碼不同，它們包括比特流結(jié)束碼。
以下描述本發(fā)明的第一實(shí)施例






根據(jù)第一實(shí)施例1)在上面的表中，也允許在片報(bào)頭之前存在至少一個(gè)序列參數(shù)集或圖片參數(shù)集。
2)圖片報(bào)頭(picture_header_parameter#1，#2，...)內(nèi)的信息沒有變化，用于整個(gè)圖片的解碼，并且與圖片參數(shù)集(picture_parameter#1，#2，...)內(nèi)的信息相比，其變化比較頻繁(例如，針對每個(gè)圖片變化)。
3)picture_parameter_set_id代碼包含在圖片報(bào)頭和片報(bào)頭兩者內(nèi)。然而，如果圖片報(bào)頭參數(shù)的語法分析不需要該圖片參數(shù)集內(nèi)的信息，則也可以從該圖片報(bào)頭中排除picture_parameter_set_id代碼。如果圖片內(nèi)的所有片必須使用同一圖片參數(shù)集，則還可以從該片報(bào)頭中排除picture_parameter_set_id代碼。
4)序列報(bào)頭不存在，這是因?yàn)閼?yīng)該在該序列報(bào)頭內(nèi)的所有信息已經(jīng)包含在該序列參數(shù)集內(nèi)。然而，也允許序列報(bào)頭的存在，以包含變化相對頻繁的某些序列級參數(shù)(例如，針對每個(gè)序列變化)。如果序列報(bào)頭存在，則序列起始碼是必需的，作為序列報(bào)頭內(nèi)的第一個(gè)參數(shù)。在這種情況下，也允許在圖片報(bào)頭之前存在至少一個(gè)序列參數(shù)集或圖片參數(shù)集。
第二實(shí)施例本發(fā)明的第二實(shí)施例在NAL單元加參數(shù)集比特流結(jié)構(gòu)中同時(shí)使用參數(shù)集子例程和圖片報(bào)頭子例程。根據(jù)本發(fā)明的第二實(shí)施例，通過使用H.264/AVC附錄B或類似編碼器，可以實(shí)現(xiàn)在起始碼加參數(shù)集比特流結(jié)構(gòu)中同時(shí)使用參數(shù)集子例程和圖片報(bào)頭子例程。
為了實(shí)現(xiàn)本發(fā)明的第二實(shí)施例，需要用于圖片報(bào)頭的新的NAL單元類型。如下所示，把新的圖片報(bào)頭表放在片報(bào)頭表之前






根據(jù)本發(fā)明的第二實(shí)施例1)圖片報(bào)頭NAL單元在屬于同一圖片的所有片NAL單元之前。
2)在對整個(gè)圖片進(jìn)行解碼的期間內(nèi)，圖片報(bào)頭信息(picture_header_pararcieter#1，#2，...)沒有變化，與圖片參數(shù)集(picture_parameter#1，#2，...)內(nèi)的信息相比，其變化比較頻繁(例如，針對每個(gè)圖片變化)。
3)如果圖片NAL單元容易受到傳輸誤差，則也可以在片中選擇包含圖片報(bào)頭信息，以提高誤差恢復(fù)力。
4)picture_paramet er_set_id代碼包含在圖片報(bào)頭和片報(bào)頭兩者內(nèi)。然而，如果圖片報(bào)頭參數(shù)的語法分析不需要該圖片參數(shù)集內(nèi)的信息，則也可以從該圖片報(bào)頭中排除picture_parameter_set_id代碼。如果圖片內(nèi)的所有片必需使用同一圖片參數(shù)集，則也可以從該片報(bào)頭中排除picture_parameter_set_id代碼。
5)序列報(bào)頭不存在，這是因?yàn)閼?yīng)該在序列報(bào)頭內(nèi)的所有信息已經(jīng)包含在該序列參數(shù)集內(nèi)。然而，也可以允許存在包含有被認(rèn)為是變化比較頻繁的(例如，針對每個(gè)序列變化的)某些序列級參數(shù)的序列報(bào)頭。如果該序列報(bào)頭存在，則用于該序列報(bào)頭的另一個(gè)NAL單元類型是必需的。
根據(jù)本發(fā)明的第二實(shí)施例，在每個(gè)片報(bào)頭中可以選擇性地包含圖片報(bào)頭信息(picture_header_parameter#1，#2，...)來代替圖片報(bào)頭NAL單元。
總之，在該視頻編碼方法中，根據(jù)本發(fā)明，與比特流結(jié)構(gòu)中的圖片報(bào)頭子例程一起同時(shí)使用一個(gè)或多個(gè)參數(shù)集子例程。該比特流結(jié)構(gòu)可以是基于起始碼的比特流結(jié)構(gòu)或NAL單元加參數(shù)集比特流結(jié)構(gòu)。如果該比特流是基于起始碼的比特流結(jié)構(gòu)，則使用一個(gè)或多個(gè)參數(shù)集起始碼來支持相應(yīng)的參數(shù)集例程。如果比特流是NAL單元加參數(shù)集比特流結(jié)構(gòu)，則用于該圖片報(bào)頭的新的NAL單元是必需的和/或該圖片報(bào)頭參數(shù)可以選擇性地包含在片報(bào)頭內(nèi)。連同其它NAL單元一起使用新的圖片報(bào)頭，但是在同一圖片內(nèi)的所有片NAL單元之前。圖3依據(jù)視頻比特流中的層分層結(jié)構(gòu)表示基于參數(shù)集的結(jié)構(gòu)，不論該基于參數(shù)集的結(jié)構(gòu)是基于起始碼還是基于NAL單元。和圖1所示的常規(guī)的基于參數(shù)集的結(jié)構(gòu)形成對照，根據(jù)本發(fā)明的圖片報(bào)頭出現(xiàn)在圖片層中。在圖1和圖3中，MB代表宏塊。
可以在圖4所示的視頻編碼系統(tǒng)中實(shí)現(xiàn)根據(jù)本發(fā)明的視頻編碼方法。正如圖4所示，視頻編碼系統(tǒng)1包括發(fā)射設(shè)備20，后者具有可操作地與發(fā)射機(jī)40相連接的編碼器30。編碼器30接收來自諸如照相機(jī)、攝象機(jī)之類的視頻信號(hào)源10的需要在視頻流中被編碼的圖片。可以把視頻流的圖片(畫面)分成更小的部分，如片。還可以把片分成宏塊(MB)或塊。編碼器30選擇供編碼處理使用的合適的參數(shù)集，并且通過信道50和接收機(jī)70，經(jīng)由發(fā)射機(jī)40向解碼器80提供選擇的參數(shù)集。正如圖4所示，解碼器80是接收機(jī)系統(tǒng)的一部分，接收機(jī)系統(tǒng)還包括一個(gè)顯示設(shè)備90。發(fā)送到解碼器的視頻數(shù)據(jù)是比特流形式的，該比特流具有多個(gè)結(jié)構(gòu)層，該多個(gè)結(jié)構(gòu)層包括層分層結(jié)構(gòu)中的序列層、圖片層和片層。該比特流具有基于參數(shù)集的結(jié)構(gòu)，包括選擇的參數(shù)集。基于參數(shù)集的結(jié)構(gòu)還包括代表結(jié)構(gòu)層的多個(gè)子結(jié)構(gòu)，其中一個(gè)結(jié)構(gòu)層代表圖片層中的圖片。根據(jù)本發(fā)明，代表該圖片層中的圖片的結(jié)構(gòu)層包括片層中的多個(gè)片，以及多個(gè)片前面的圖片層中的圖片報(bào)頭。在對比特流中的視頻數(shù)據(jù)進(jìn)行解碼后，可以在顯示設(shè)備90上顯示經(jīng)過解碼的視頻數(shù)據(jù)。
正如圖5所示，編碼器30有一個(gè)編碼緩沖器330，用于臨時(shí)存儲(chǔ)需要進(jìn)行編碼的某些圖片。編碼器30還包括存儲(chǔ)器310和處理器320，用于接收需要進(jìn)行編碼的原始視頻序列302。存儲(chǔ)器310包括具有可執(zhí)行代碼組成的軟件程序312，該可執(zhí)行代碼用于生成包含在該圖片層內(nèi)的參數(shù)集和圖片報(bào)頭。處理器320根據(jù)本發(fā)明執(zhí)行編碼任務(wù)。存儲(chǔ)器310和處理器320可以是與發(fā)射設(shè)備30共存的，或是可操作地與發(fā)射設(shè)備30相連接的。從處理器320執(zhí)行的編碼處理起，將經(jīng)過編碼的圖片移動(dòng)到編碼圖片緩沖器340，如必要的話。從編碼器30向解碼器80發(fā)射經(jīng)過編碼的圖片342。
正如圖6所示，在接收端，對在處理器810中接收的經(jīng)過編碼的圖片802進(jìn)行解碼，以形成盡量與經(jīng)過編碼的圖片相對應(yīng)的解壓縮圖片?？梢栽赗AM 830中的解碼緩沖器832中緩沖經(jīng)過解碼的圖片，RAM 830是存儲(chǔ)設(shè)備820的一部分。解碼器80還包括內(nèi)嵌在ROM840中的一個(gè)軟件程序842，以便在處理器810執(zhí)行的解碼處理中使用該參數(shù)集和該圖片層內(nèi)的圖片報(bào)頭。
根據(jù)本發(fā)明，編碼器30和解碼器80可以用在諸如移動(dòng)終端的電子設(shè)備中。正如圖7所示，電子設(shè)備100具有用于數(shù)據(jù)和信號(hào)處理的CPU 120。CPU 120包括可操作地與RF前端相連接的編碼器30和解碼器80，用于接收來自通信網(wǎng)絡(luò)中的一個(gè)或多個(gè)網(wǎng)絡(luò)部件的視頻數(shù)據(jù)，以及用于向該通信網(wǎng)絡(luò)中的一個(gè)或多個(gè)網(wǎng)絡(luò)部件傳送視頻數(shù)據(jù)。電子設(shè)備100可以包括用于提供需要進(jìn)行編碼的圖片的照相機(jī)130，以及用于顯示解碼的圖片的顯示器160。正如圖7所示，存儲(chǔ)設(shè)備110可以用于圖片緩沖和編碼緩沖。軟件112可以包括編碼器軟件程序312(見圖5)和解碼器軟件程序842(見圖6)。電子設(shè)備還包括可通過音頻處理器150與CPU 120可操作地相連接的音頻輸出設(shè)備152和音頻輸入設(shè)備154。例如，可以把軟件112內(nèi)嵌在芯片集內(nèi)的存儲(chǔ)介質(zhì)內(nèi)。
請注意，可以把本發(fā)明擴(kuò)展到任意的基于起始碼的比特流結(jié)構(gòu)中，其方法是在保持圖片報(bào)頭的同時(shí)，在其結(jié)構(gòu)中引入一個(gè)或多個(gè)參數(shù)集。根據(jù)本發(fā)明，使用兩個(gè)參數(shù)集序列參數(shù)集和圖片參數(shù)集。然而，參數(shù)集的數(shù)目未必是2。通常，參數(shù)集的數(shù)目為N，其中N是正整數(shù)。例如，也可以使用諸如片參數(shù)集的附加參數(shù)集。
關(guān)于圖3所示的視頻比特流中的基于參數(shù)集的結(jié)構(gòu)，可以在圖片的一個(gè)或多個(gè)片報(bào)頭中選擇包含圖片報(bào)頭參數(shù)，如圖8a所示。此外，也可以在至少一個(gè)片報(bào)頭中或者可選地在某一標(biāo)志指示的其它片報(bào)頭中包含該圖片報(bào)頭參數(shù)，如圖8b所示。
因此，盡管相對于其一個(gè)或多個(gè)實(shí)施例描述了本發(fā)明，但是本領(lǐng)域的熟練技術(shù)人員懂得，可以對其形式和細(xì)節(jié)做出前述和各種其它變更、刪節(jié)和異化，而并不背離本發(fā)明的范圍。
權(quán)利要求
1.一種用于提供視頻數(shù)據(jù)的比特流的視頻編碼方法，該比特流具有多個(gè)結(jié)構(gòu)層，該多個(gè)結(jié)構(gòu)層包括層分層結(jié)構(gòu)中的序列層、圖片層和片層，該比特流還具有一個(gè)結(jié)構(gòu)，該結(jié)構(gòu)包括代表該結(jié)構(gòu)層的多個(gè)子結(jié)構(gòu)，其中代表該圖片層中的圖片的子結(jié)構(gòu)包括該片層中的多個(gè)片，所述方法其特征在于提供與該圖片層相關(guān)聯(lián)的信息、與該層分層結(jié)構(gòu)中的該圖片層以下的結(jié)構(gòu)層相關(guān)聯(lián)的信息以及與多個(gè)參數(shù)集相關(guān)聯(lián)的信息。
2.根據(jù)權(quán)利要求1的方法，其特征在于與該圖片層相關(guān)聯(lián)的信息包括該圖片中的圖片報(bào)頭，以及與該圖片層下面的結(jié)構(gòu)層相關(guān)聯(lián)的信息包括該圖片中的多個(gè)片的至少一個(gè)片中的片報(bào)頭。
3.根據(jù)權(quán)利要求1的方法，其特征在于該視頻編碼包括該比特流中的多個(gè)起始碼。
4.根據(jù)權(quán)利要求2的方法，其特征在于該比特流包括該片報(bào)頭中的一個(gè)或多個(gè)圖片報(bào)頭參數(shù)。
5.根據(jù)權(quán)利要求1的方法，其特征在于該參數(shù)集還包括至少一個(gè)序列參數(shù)集和至少一個(gè)圖片參數(shù)集。
6.根據(jù)權(quán)利要求4的方法，其特征在于該視頻數(shù)據(jù)包括多個(gè)網(wǎng)絡(luò)抽象層(NAL)單元，該NAL單元包括一個(gè)圖片報(bào)頭NAL單元和一個(gè)片NAL單元，并且其特征在于與該圖片層相關(guān)聯(lián)的信息至少包括該圖片報(bào)頭NAL單元中的該圖片報(bào)頭參數(shù)，以及與該圖片層下面的結(jié)構(gòu)層相關(guān)聯(lián)的信息包括該片NAL單元中的至少一個(gè)片報(bào)頭。
7.根據(jù)權(quán)利要求6的方法，其特征在于該圖片報(bào)頭包括用于對該圖片進(jìn)行解碼的圖片參數(shù)集標(biāo)識(shí)符。
8.根據(jù)權(quán)利要求7的方法，其特征在于利用唯一的NAL單元類型來標(biāo)識(shí)該圖片報(bào)頭NAL單元。
9.一種用于視頻編碼中的編碼器，其特征在于第一裝置，響應(yīng)于視頻序列，基于該視頻序列提供視頻數(shù)據(jù)的比特流，該比特流具有多個(gè)結(jié)構(gòu)層，該多個(gè)結(jié)構(gòu)層包括層分層結(jié)構(gòu)中的序列層、圖片層和片層，該比特流還具有一個(gè)結(jié)構(gòu)，該結(jié)構(gòu)包括代表該結(jié)構(gòu)層的多個(gè)子結(jié)構(gòu)，其中代表該圖片層中的圖片的子結(jié)構(gòu)包括該片層中的多個(gè)片；以及第二裝置，用于提供與該圖片層相關(guān)聯(lián)的第一信息、與該層分層結(jié)構(gòu)中的該圖片層以下的結(jié)構(gòu)層相關(guān)聯(lián)的第二信息以及與多個(gè)參數(shù)集相關(guān)聯(lián)的第三信息。
10.根據(jù)權(quán)利要求9的編碼器，其特征在于該第一信息包括該圖片中的一個(gè)圖片報(bào)頭，以及該第二信息包括該圖片中的多個(gè)片的至少一個(gè)片中的一個(gè)片報(bào)頭。
11.根據(jù)權(quán)利要求10的編碼器，其特征在于該視頻編碼包括該比特流中的多個(gè)起始碼。
12.根據(jù)權(quán)利要求10的編碼器，其特征在于該比特流包括該片報(bào)頭中的一個(gè)或多個(gè)圖片報(bào)頭參數(shù)。
13.根據(jù)權(quán)利要求10的編碼器，其特征在于該參數(shù)集還包括至少一個(gè)序列參數(shù)集和至少一個(gè)圖片參數(shù)集。
14.根據(jù)權(quán)利要求12的編碼器，其特征在于該視頻數(shù)據(jù)包括多個(gè)網(wǎng)絡(luò)抽象層(NAL)單元，該NAL單元包括一個(gè)圖片報(bào)頭NAL單元和一個(gè)片NAL單元，并且其特征在于該第一信息至少包括該圖片報(bào)頭NAL單元中的圖片報(bào)頭參數(shù)，以及該第二信息包括該片NAL單元中的至少一個(gè)片報(bào)頭。
15.根據(jù)權(quán)利要求14的編碼器，其特征在于該圖片報(bào)頭包括用于對該圖片進(jìn)行解碼的圖片參數(shù)集標(biāo)識(shí)符。
16.根據(jù)權(quán)利要求15的編碼器，其特征在于利用唯一的NAL單元類型來標(biāo)識(shí)該圖片報(bào)頭NAL單元。
17.一種用于視頻編碼中的解碼器，其特征在于第一裝置，用于接收視頻數(shù)據(jù)的比特流，該比特流具有多個(gè)結(jié)構(gòu)層，該多個(gè)結(jié)構(gòu)層包括層分層結(jié)構(gòu)中的序列層、圖片層和片層，該比特流還具有一個(gè)結(jié)構(gòu)，該結(jié)構(gòu)包括代表該結(jié)構(gòu)層的多個(gè)子結(jié)構(gòu)，其中代表該圖片層中的圖片的子結(jié)構(gòu)包括該片層中的多個(gè)片，并且其中該比特流還具有與該圖片層相關(guān)聯(lián)的第一信息，以及與該層分層結(jié)構(gòu)中的該圖片層以下的結(jié)構(gòu)層相關(guān)聯(lián)的第二信息，并且其中該比特流還具有與多個(gè)參數(shù)集相關(guān)聯(lián)的第三信息；以及第二裝置，響應(yīng)于該比特流，在解碼處理中基于該第一信息、該第二信息和該第三信息提供解壓縮視頻序列。
18.根據(jù)權(quán)利要求17的解碼器，其特征在于該第一信息包括該圖片中的一個(gè)圖片報(bào)頭，以及該第二信息包括該圖片中的多個(gè)片的至少一個(gè)片中的一個(gè)片報(bào)頭。
19.根據(jù)權(quán)利要求17的解碼器，其特征在于該第二裝置使用起始碼進(jìn)行解碼。
20.根據(jù)權(quán)利要求18的解碼器，其特征在于該比特流包括該片報(bào)頭中的一個(gè)或多個(gè)圖片報(bào)頭參數(shù)。
21.根據(jù)權(quán)利要求17的解碼器，其特征在于該參數(shù)集還包括至少一個(gè)序列參數(shù)集和至少一個(gè)圖片參數(shù)集。
22.根據(jù)權(quán)利要求20的解碼器，其特征在于該視頻數(shù)據(jù)包括多個(gè)網(wǎng)絡(luò)抽象層(NAL)單元，該NAL單元包括一個(gè)圖片報(bào)頭NAL單元和一個(gè)片NAL單元，并且其特征在于該第一信息至少包括該圖片報(bào)頭NAL單元中的圖片報(bào)頭參數(shù)，以及該第二信息包括該片NAL單元中的至少一個(gè)片報(bào)頭。
23.根據(jù)權(quán)利要求22的解碼器，其特征在于該圖片報(bào)頭包括用于對該圖片進(jìn)行解碼的圖片參數(shù)集標(biāo)識(shí)符。
24.根據(jù)權(quán)利要求23的解碼器，其特征在于利用唯一的NAL單元類型來標(biāo)識(shí)該圖片報(bào)頭NAL單元。
25.一種包含存儲(chǔ)介質(zhì)的軟件應(yīng)用程序產(chǎn)品，該存儲(chǔ)介質(zhì)具有用于視頻數(shù)據(jù)的比特流的視頻編碼中的軟件應(yīng)用程序，該比特流具有多個(gè)結(jié)構(gòu)層，該多個(gè)結(jié)構(gòu)層包括層分層結(jié)構(gòu)中的序列層、圖片層和片層，該比特流還具有一個(gè)結(jié)構(gòu)，該結(jié)構(gòu)包括代表該結(jié)構(gòu)層的多個(gè)子結(jié)構(gòu)，其中代表該圖片層中的圖片的子結(jié)構(gòu)包括該片層中的多個(gè)片，并且該比特流還具有多個(gè)參數(shù)集，所述軟件應(yīng)用程序其特征在于用于提供與該圖片層相關(guān)聯(lián)的第一信息的程序代碼；用于提供與該層分層結(jié)構(gòu)中的該圖片層以下的結(jié)構(gòu)層相關(guān)聯(lián)的第二信息的程序代碼；以及用于提供第三信息的程序代碼。
26.根據(jù)權(quán)利要求25的軟件應(yīng)用程序產(chǎn)品，其特征在于該第一信息包括該圖片中的一個(gè)圖片報(bào)頭，以及該第二信息包括該圖片中的多個(gè)片的至少一個(gè)片中的一個(gè)片報(bào)頭。
27.根據(jù)權(quán)利要求25的軟件應(yīng)用程序產(chǎn)品，其特征在于該比特流包括多個(gè)起始碼。
28.根據(jù)權(quán)利要求26的軟件應(yīng)用程序產(chǎn)品，其特征在于該比特流包括該片報(bào)頭中的一個(gè)或多個(gè)圖片報(bào)頭參數(shù)。
29.根據(jù)權(quán)利要求25的軟件應(yīng)用程序產(chǎn)品，其特征在于該參數(shù)集還包括至少一個(gè)序列參數(shù)集和至少一個(gè)圖片參數(shù)集。
30.根據(jù)權(quán)利要求28的軟件應(yīng)用程序產(chǎn)品，其特征在于該視頻數(shù)據(jù)包括多個(gè)網(wǎng)絡(luò)抽象層(NAL)單元，該NAL單元包括一個(gè)圖片報(bào)頭NAL單元和一個(gè)片NAL單元，并且該第一信息至少包括該圖片報(bào)頭NAL單元中的圖片報(bào)頭參數(shù)，以及該第二信息包括該片NAL單元中的至少一個(gè)片報(bào)頭。
31.根據(jù)權(quán)利要求30的軟件應(yīng)用程序產(chǎn)品，其特征在于該圖片報(bào)頭包括用于對該圖片進(jìn)行解碼的圖片參數(shù)集標(biāo)識(shí)符。
32.根據(jù)權(quán)利要求31的軟件應(yīng)用程序產(chǎn)品，其特征在于利用唯一的NAL單元類型來標(biāo)識(shí)該圖片報(bào)頭NAL單元。
33.根據(jù)權(quán)利要求25的軟件應(yīng)用程序產(chǎn)品，其特征在于用于實(shí)現(xiàn)該存儲(chǔ)介質(zhì)的芯片集。
34.一種電子設(shè)備，其特征在于用于視頻編碼中的編碼器，其響應(yīng)于視頻序列，基于該視頻序列提供視頻數(shù)據(jù)的比特流，該比特流具有多個(gè)結(jié)構(gòu)層，該多個(gè)結(jié)構(gòu)層包括層分層結(jié)構(gòu)中的序列層、圖片層和片層，該比特流還具有一個(gè)結(jié)構(gòu)，該結(jié)構(gòu)包括代表該結(jié)構(gòu)層的多個(gè)子結(jié)構(gòu)，其中代表該圖片層中的圖片的子結(jié)構(gòu)包括該片層中的多個(gè)片；并且其中該比特流還包括與該圖片層相關(guān)聯(lián)的第一信息、與該層分層結(jié)構(gòu)中的該圖片層以下的結(jié)構(gòu)層相關(guān)聯(lián)的第二信息以及與多個(gè)參數(shù)集相關(guān)聯(lián)的第三信息；以及通過信道發(fā)射該比特流的發(fā)射機(jī)。
35.根據(jù)權(quán)利要求34的電子設(shè)備，其特征在于該第一信息包括該圖片中的一個(gè)圖片報(bào)頭，以及該第二信息包括該圖片中的多個(gè)片的至少一個(gè)片中的一個(gè)片報(bào)頭。
36.根據(jù)權(quán)利要求34的電子設(shè)備，其特征在于該視頻編碼使用該比特流中的起始碼。
37.根據(jù)權(quán)利要求35的電子設(shè)備，其特征在于該比特流包括該片報(bào)頭中的一個(gè)或多個(gè)圖片報(bào)頭參數(shù)。
38.根據(jù)權(quán)利要求34的電子設(shè)備，其特征在于該參數(shù)集還包括至少一個(gè)序列參數(shù)集和至少一個(gè)圖片參數(shù)集。
39.根據(jù)權(quán)利要求37的電子設(shè)備，其特征在于該視頻數(shù)據(jù)包括多個(gè)網(wǎng)絡(luò)抽象層(NAL)單元，該NAL單元包括一個(gè)圖片報(bào)頭NAL單元和一個(gè)片NAL單元，并且該第一信息至少包括該圖片報(bào)頭NAL單元中的圖片報(bào)頭參數(shù)，以及該第二信息包括該片NAL單元中的至少一個(gè)片報(bào)頭。
40.根據(jù)權(quán)利要求39的電子設(shè)備，其特征在于該圖片報(bào)頭包括用于對該圖片進(jìn)行解碼的圖片參數(shù)集標(biāo)識(shí)符。
41.根據(jù)權(quán)利要求40的電子設(shè)備，其特征在于利用唯一的NAL單元類型來標(biāo)識(shí)該圖片報(bào)頭NAL單元。
42.一種電子設(shè)備，其特征在于接收機(jī)，適于接收視頻數(shù)據(jù)的比特流；以及解碼器，響應(yīng)于該接收的比特流，用于提供視頻序列，其中該接收的比特流具有多個(gè)結(jié)構(gòu)層，該多個(gè)結(jié)構(gòu)層包括層分層結(jié)構(gòu)中的序列層、圖片層和片層，該接收的比特流還具有一個(gè)結(jié)構(gòu)，該結(jié)構(gòu)包括代表該結(jié)構(gòu)層的多個(gè)子結(jié)構(gòu)，其中代表該圖片層中的圖片的子結(jié)構(gòu)包括該片層中的多個(gè)片，并且其中該接收的比特流還具有與該圖片層相關(guān)聯(lián)的第一信息、與該層分層結(jié)構(gòu)中的該圖片層以下的結(jié)構(gòu)層相關(guān)聯(lián)的第二信息以及與多個(gè)參數(shù)集相關(guān)聯(lián)的第三信息，并且其中該視頻序列基于該第一信息和該第二信息。
43.根據(jù)權(quán)利要求42的電子設(shè)備，其特征在于該第一信息包括該圖片中的一個(gè)圖片報(bào)頭，以及該第二信息包括該圖片中的多個(gè)片的至少一個(gè)片中的一個(gè)片報(bào)頭。
44.根據(jù)權(quán)利要求42的電子設(shè)備，其特征在于該視頻編碼包括該比特流中的多個(gè)起始碼。
45.根據(jù)權(quán)利要求43的電子設(shè)備，其特征在于該比特流包括該片報(bào)頭中的一個(gè)或多個(gè)圖片報(bào)頭參數(shù)。
46.根據(jù)權(quán)利要求42的電子設(shè)備，其特征在于該參數(shù)集還包括至少一個(gè)序列參數(shù)集和至少一個(gè)圖片參數(shù)集。
47.根據(jù)權(quán)利要求45的電子設(shè)備，其特征在于該視頻數(shù)據(jù)包括多個(gè)網(wǎng)絡(luò)抽象層(NAL)單元，該NAL單元包括一個(gè)圖片報(bào)頭NAL單元和一個(gè)片NAL單元，并且該第一信息至少包括該圖片報(bào)頭NAL單元中的圖片報(bào)頭參數(shù)，以及該第二信息包括該片NAL單元中的至少一個(gè)片報(bào)頭。
48.根據(jù)權(quán)利要求47的電子設(shè)備，其特征在于該圖片報(bào)頭包括用于對該圖片解碼的圖片參數(shù)集標(biāo)識(shí)符。
49.根據(jù)權(quán)利要求48的電子設(shè)備，其特征在于利用唯一的NAL單元類型來標(biāo)識(shí)該圖片報(bào)頭NAL單元。
全文摘要
在用于視頻編碼的基于起始碼的比特流結(jié)構(gòu)中，與該起始碼中的參數(shù)集一起使用圖片報(bào)頭。該圖片報(bào)頭在同一圖片中的片報(bào)頭之前出現(xiàn)。因此，可以允許在該片報(bào)頭之前存在至少一個(gè)序列參數(shù)集或圖片參數(shù)集。在NAL單元參數(shù)集比特流結(jié)構(gòu)中，圖片報(bào)頭NAL單元在片NAL單元之前出現(xiàn)。在任何一個(gè)結(jié)構(gòu)中，在對整個(gè)圖片進(jìn)行解碼時(shí)，圖片報(bào)頭信息必需保持不變，但是與圖片參數(shù)集中的信息相比，其變化更頻繁。
文檔編號(hào)H04N7/26GK101036392SQ200580034316
公開日2007年9月12日 申請日期2005年8月29日 優(yōu)先權(quán)日2004年9月3日
發(fā)明者王業(yè)奎, M·阿尼塞拉 申請人:諾基亞公司