用于解碼增強(qiáng)型視頻流的方法和裝置制造方法
【專利摘要】公開了用于解碼增強(qiáng)型視頻流的方法和裝置。一種解碼包括基本層視頻訪問單元和增強(qiáng)層視頻訪問單元的增強(qiáng)型視頻流的方法，每個(gè)訪問單元包括多個(gè)語(yǔ)法結(jié)構(gòu)，該方法包括：將基本層訪問單元的語(yǔ)法結(jié)構(gòu)傳遞到基本層緩沖器；將增強(qiáng)層訪問單元的語(yǔ)法結(jié)構(gòu)傳遞到增強(qiáng)層緩沖器；以預(yù)定序列輸出傳遞到基本層緩沖器的語(yǔ)法結(jié)構(gòu)；以預(yù)定序列輸出傳遞到增強(qiáng)層緩沖器的語(yǔ)法結(jié)構(gòu)；以及重新組合分別由基本層緩沖器和增強(qiáng)層緩沖器輸出的語(yǔ)法結(jié)構(gòu)的序列，以形成完整的增強(qiáng)型訪問單元，包括預(yù)定序列的基本層語(yǔ)法結(jié)構(gòu)和增強(qiáng)層語(yǔ)法結(jié)構(gòu)。
【專利說明】 用于解碼增強(qiáng)型視頻流的方法和裝置
[0001]本申請(qǐng)是分案申請(qǐng)，原案的申請(qǐng)?zhí)枮?00980107819.5，申請(qǐng)日為2009年3月4日，發(fā)明名稱為“用于解碼增強(qiáng)型視頻流的方法和裝置”。相關(guān)申請(qǐng)的交叉引用
[0002]本申請(qǐng)基于35USC120要求2008年3月6日提交的美國(guó)臨時(shí)申請(qǐng)N0.61/034，370的權(quán)益，其全部公開內(nèi)容通過弓I用并入這里用于所有的目的。

【技術(shù)領(lǐng)域】
[0003]本發(fā)明涉及用于解碼增強(qiáng)型視頻流的方法和裝置。

【背景技術(shù)】
[0004]參考附圖中的圖1，視頻編碼器10從諸如照相機(jī)的源接收通常為SMPTE292M中定義的HD-SDI格式的原始視頻數(shù)據(jù)。視頻編碼器利用HD-SDI數(shù)據(jù)來生成視頻基礎(chǔ)流，并且將該視頻基礎(chǔ)流提供給視頻分組器(packetizer) 14,該視頻分組器14產(chǎn)生由可變長(zhǎng)度的分組組成的視頻分組化基礎(chǔ)流(PES)。通常，視頻PES的每個(gè)分組包含一個(gè)或多個(gè)視頻幀。類似地，音頻編碼器(未示出)從例如麥克風(fēng)接收原始音頻數(shù)據(jù)，并且將音頻基礎(chǔ)流提供給音頻分組器，該音頻分組器產(chǎn)生由可變長(zhǎng)度的分組組成的音頻PES。
[0005]視頻分組器和音頻分組器將視頻PES和音頻PES提供到傳輸流復(fù)用器18，該傳輸流復(fù)用器18將不同的相應(yīng)節(jié)目標(biāo)識(shí)符(PID)指配給視頻PES和音頻PES，并且將視頻PES和音頻PES的可變長(zhǎng)度的分組組織為固定長(zhǎng)度的MPEG-2傳輸流(TS)分組，每個(gè)分組都具有包括PES的PID的報(bào)頭以及包含PES視頻(或音頻)數(shù)據(jù)的有效負(fù)載。
[0006]可以將由傳輸流復(fù)用器輸出的單節(jié)目傳輸流(SPTS)提供到節(jié)目復(fù)用器22，該節(jié)目復(fù)用器22將SPTS與傳送其它節(jié)目的其它傳輸流進(jìn)行組合，以產(chǎn)生多節(jié)目傳輸流(MPTS)。通過信道將該MPTS發(fā)射到接收機(jī)，在接收機(jī)處，節(jié)目解復(fù)用器26從MPTS中分離選定的SPTS，并且將該選定的SPTS提供給傳輸流解復(fù)用器30。本領(lǐng)域技術(shù)人員將意識(shí)到，可以將由傳輸流復(fù)用器輸出的SPTS直接發(fā)射到傳輸流解復(fù)用器，而無需首先與其它傳輸流進(jìn)行組合來創(chuàng)建MPTS，但是在任何一種情況下，傳輸流解復(fù)用器接收選定的SPTS的傳輸流分組，并且基于PID對(duì)它們進(jìn)行分離，對(duì)傳輸流分組進(jìn)行解分組以重建PES分組，并且將視頻PES指向所謂的視頻系統(tǒng)目標(biāo)解碼器(T-STD) 34，并且將音頻PES指向音頻T-STD38。本申請(qǐng)的主題涉及解碼視頻比特流，并且因此我們將不進(jìn)一步討論音頻解碼器。
[0007]視頻T-STD34包括系統(tǒng)目標(biāo)解碼器緩沖器40和視頻解碼器42。STD緩沖器40在功能上等同于傳輸緩沖器Tb、復(fù)用緩沖器Mb和基礎(chǔ)流緩沖器Eb。傳輸緩沖器Tb以可變比特速率接收視頻PES，并且以恒定比特速率向復(fù)用緩沖器Mb輸出數(shù)據(jù)，該復(fù)用緩沖器Mb對(duì)視頻PES進(jìn)行解分組，并且以恒定比特速率向基礎(chǔ)流緩沖器Eb提供編碼比特流。有時(shí)被稱作解碼器緩沖器或被稱作編碼圖像緩沖器(CPB)的基礎(chǔ)流緩沖器接收CBR比特流，并且保存用于解碼圖像的比特，直至它們?cè)趫D像解碼時(shí)立即由視頻解碼器全部移除。
[0008]對(duì)于解碼器的適當(dāng)操作重要的是，解碼器緩沖器不應(yīng)當(dāng)溢出而使得丟失比特并且無法解碼圖像，也不應(yīng)當(dāng)下溢而使得解碼器缺少比特并且無法在適當(dāng)時(shí)解碼圖像。將比特提供到解碼器緩沖器由壓縮數(shù)據(jù)緩沖器(CDB)46來控制，該壓縮數(shù)據(jù)緩沖器(CBD)46從視頻編碼器10接收比特流。視頻編碼器以取決于⑶B充滿程度(fullness)的速率來向⑶B提供比特。CDB以恒定速率向視頻分組器14提供比特，并且復(fù)用緩沖器以相同的速率向解碼器緩沖器提供比特，并且因此CDB的充滿程度反映了解碼器緩沖器的充滿程度。通過調(diào)整對(duì)⑶B的比特的提供來防止⑶B的溢出/下溢，避免了解碼器緩沖器的下溢/溢出。
[0009]管理編碼器的操作的視頻壓縮標(biāo)準(zhǔn)可以指定CDB應(yīng)當(dāng)不大于假定基準(zhǔn)解碼器(hypothetical reference decoder)的解碼器緩沖器。
[0010]MPEG-2傳輸流被廣泛用于通過差錯(cuò)信道進(jìn)行的編碼視頻的遞送。MPEG-2系統(tǒng)層還支持在無差錯(cuò)環(huán)境中的節(jié)目流(PS)中的編碼視頻的傳輸。圖1圖示了將視頻PES作為節(jié)目流發(fā)射到視頻P-STD50，作為對(duì)作為傳輸流遞送到視頻T-STD34的替代。
[0011]視頻編碼器10所產(chǎn)生的比特流可以遵循在通常被稱作H.264/AVC的ISO/IEC14496-10(MPEG-4部分10)高級(jí)視頻編碼(AVC)中所指定的視頻壓縮標(biāo)準(zhǔn)。H.264/AVC使用圖像作為幀或場(chǎng)的統(tǒng)稱。H.264/AVC將訪問單元定義為網(wǎng)絡(luò)抽象層(NAL)單元的集合，并且指定訪問單元的解碼通常產(chǎn)生解碼圖像。AVC編碼器所產(chǎn)生的訪問單元的NAL單元可以是包含圖像信息的視頻編碼層(VCL)單元，或者是包含諸如隱蔽字幕(closedcapt1ning)和定時(shí)的其它信息的非VCL單元。
[0012]H.264/AVC的附錄G規(guī)定了被稱作可分級(jí)視頻編碼或SVC的H.264/AVC的擴(kuò)展。SVC將可分級(jí)的增強(qiáng)提供給AVC基本層，并且可分級(jí)性包括空間可分級(jí)性、時(shí)間可分級(jí)性、SNR可分級(jí)性以及比特深度可分級(jí)性。期望SVC編碼器產(chǎn)生符合H.264/AVC的基本層，并且在一個(gè)或多個(gè)增強(qiáng)層中對(duì)該基本層增加增強(qiáng)。在SVC的特定實(shí)施方式中所采用的每個(gè)類型的可分級(jí)性可以利用其自己的增強(qiáng)層。例如，如果原始視頻數(shù)據(jù)是由1920X1088像素的幀組成的稱為1080HD的格式，則可以通過由能夠被解碼為704X480像素的圖像的訪問單元組成的子比特流來傳送基本層，而可以通過由使得適當(dāng)?shù)慕獯a器能夠通過將基本層訪問單元與增強(qiáng)層訪問單元進(jìn)行組合來呈現(xiàn)1920X 1088像素的圖像的訪問單元組成的子比特流來傳送增強(qiáng)層。
[0013]能夠?qū)緦右约耙粋€(gè)或多個(gè)增強(qiáng)層進(jìn)行解碼的解碼器在這里被稱為SVC解碼器，而無法識(shí)別增強(qiáng)層并且僅能夠?qū)緦釉L問單元進(jìn)行解碼并且因此不具有SVC能力的解碼器在這里被稱作AVC解碼器。
[0014]由SVC編碼器產(chǎn)生的訪問單元不僅包括以上提到的通常稱為AVCNAL單元的基本層NAL單元，而且還包括SVC VCL NAL單元和SVC非VCL NAL單元。圖2示出了如SVC標(biāo)準(zhǔn)所規(guī)定的SVC訪問單元中的AVCNAL單元和SVC NAL單元的序列。例如，在編碼器產(chǎn)生兩個(gè)增強(qiáng)層的情況下，兩個(gè)增強(qiáng)層的非VCL NAL單元處于圖2中所示的序列的相鄰塊中，在包含AVC非VCL NAL單元和AVC VCL NAL單元的塊之間，并且兩個(gè)增強(qiáng)層的SVC VCL NAL單元處于在包含AVC VCL NAL單元的塊之后的序列的相鄰塊中。
[0015]從訪問單元提取基本層NAL單元的SVC解碼器僅選擇AVC非VCLNAL單元和AVCVCL NAL 單元。
[0016]H.264/AVC 指定了 5 比特的參數(shù) nal_unit_type 或 NUT?；?H.264/AVC，AVC NAL單元都具有1-13范圍內(nèi)的NUT值。SVC添加了 NUT值14、20和15。然而，緊接在具有等于5或I的NUT的NAL單元之前的具有等于14的NUT的NAL單元用信號(hào)發(fā)送基本層條帶，使得作為非VCL NAL單元的這些NAL單元與AVC相兼容，并且能夠由AVC解碼器來進(jìn)行解碼。
[0017]參考圖3，SVC解碼器10’生成傳送基本層以及例如兩個(gè)增強(qiáng)層ENHl和ENH2的單一比特流。根據(jù)其功能，解碼器可能期望僅接收和解碼基本層，或者接收和解碼基本層和增強(qiáng)層ENHl，或者接收和解碼基本層以及兩個(gè)增強(qiáng)層ENHl和增強(qiáng)層ENH2?；贛PEG-2系統(tǒng)標(biāo)準(zhǔn)和SVC的使用情況，編碼器可能不提供分別傳送僅基本層、基本層和增強(qiáng)層ENH1、以及基本層以及兩個(gè)增強(qiáng)層ENHl和增強(qiáng)層ENH2的三個(gè)比特流，而允許解碼器選擇它能夠解碼的任何一個(gè)比特流。編碼器必須在分離的比特流中提供基本層訪問單元以及每個(gè)增強(qiáng)層的一部分。原則上將能夠通過使用NAL分離器48基于NAL單元的NUT值來將單一比特流分成三個(gè)子比特流以符合MPEG-2系統(tǒng)標(biāo)準(zhǔn)。一個(gè)子比特流可以傳送基本層NAL單元，而其它兩個(gè)子比特流可以分別傳送兩個(gè)增強(qiáng)層的NAL單元。三個(gè)子比特流可以傳遞到相應(yīng)的視頻分組器(通常由14來指示)，該視頻分組器14創(chuàng)建相應(yīng)的視頻PES。將三個(gè)視頻PES提供到包括與包括在SVC T-STD中的緩沖器等同的T-STD緩沖器的傳輸流復(fù)用器18，用于將三個(gè)分組器的輸出復(fù)用在一起。復(fù)用器18將向三個(gè)PES指配不同的PID，并且輸出傳送三個(gè)層的傳輸流。
[0018]因?yàn)闆]有提供重組基本層單元和增強(qiáng)層訪問單元來產(chǎn)生能夠由SVC解碼器解碼的完整SVC訪問單元的功能，所以圖1中示出的視頻T-STD34無法對(duì)由圖3示出的傳輸流復(fù)用器18’產(chǎn)生的傳輸流所傳送的比特流進(jìn)行解碼。H.264/AVC標(biāo)準(zhǔn)或MPEG-2系統(tǒng)標(biāo)準(zhǔn)都沒有規(guī)定應(yīng)當(dāng)如何重組基本層單元和增強(qiáng)層訪問單元。因此，圖3中示出的架構(gòu)目前仍缺乏實(shí)際的應(yīng)用。


【發(fā)明內(nèi)容】

[0019]根據(jù)公開的主題的第一方面，提供了一種解碼包括基本層視頻訪問單元和增強(qiáng)層視頻訪問單元的增強(qiáng)型視頻流的方法，每個(gè)訪問單元包括多個(gè)語(yǔ)法結(jié)構(gòu)，所述方法包括:將基本層訪問單元的語(yǔ)法結(jié)構(gòu)傳遞到基本層緩沖器；將增強(qiáng)層訪問單元的語(yǔ)法結(jié)構(gòu)傳遞到增強(qiáng)層緩沖器；以預(yù)定序列來輸出傳遞到基本層緩沖器的語(yǔ)法結(jié)構(gòu)；以預(yù)定序列來輸出傳遞到增強(qiáng)層緩沖器的語(yǔ)法結(jié)構(gòu)；以及重新組合由基本層緩沖器和增強(qiáng)層緩沖器相應(yīng)輸出的語(yǔ)法結(jié)構(gòu)的序列，以形成完整的增強(qiáng)型訪問單元，包括預(yù)定序列的基本層語(yǔ)法結(jié)構(gòu)和增強(qiáng)層語(yǔ)法結(jié)構(gòu)。
[0020]根據(jù)公開的主題的第二方面，提供了一種創(chuàng)建增強(qiáng)型視頻信號(hào)的方法，包括:接收包括基本層訪問單元和增強(qiáng)層訪問單元的單一比特流；從所述單一比特流中分離基本層節(jié)目流和增強(qiáng)層節(jié)目流；以及將定界語(yǔ)法結(jié)構(gòu)插入增強(qiáng)層節(jié)目流中。
[0021]根據(jù)公開的主題的第三方面，提供了一種創(chuàng)建增強(qiáng)型視頻信號(hào)的方法，包括:接收包括基本層訪問單元和增強(qiáng)層訪問單元的單一比特流，其中，每個(gè)增強(qiáng)層訪問單元包括視頻層語(yǔ)法結(jié)構(gòu)和非視頻層語(yǔ)法結(jié)構(gòu)；從所述單一比特流中分離基本層節(jié)目流和增強(qiáng)層節(jié)目流；以及將增強(qiáng)層訪問單元的非視頻層語(yǔ)法結(jié)構(gòu)包括在基本層節(jié)目流中，從而所述增強(qiáng)型視頻信號(hào)包括基本層分量和增強(qiáng)層分量，所述基本層分量包括增強(qiáng)層訪問單元的非視頻層語(yǔ)法結(jié)構(gòu)，所述增強(qiáng)層分量包括增強(qiáng)層訪問單元的視頻層語(yǔ)法結(jié)構(gòu)。
[0022]根據(jù)公開的主題的第四方面，提供了一種用于解碼傳送增強(qiáng)型視頻流的基本層訪問單元系列的基本層節(jié)目流以及傳送所述增強(qiáng)型視頻流的增強(qiáng)層訪問單元系列的至少一個(gè)增強(qiáng)層節(jié)目流的解碼裝置，每個(gè)訪問單元包括多個(gè)語(yǔ)法結(jié)構(gòu)，所述解碼裝置包括:基本層緩沖器，該基本層緩沖器被連接以接收基本層節(jié)目流并且以預(yù)定序列輸出每個(gè)基本層訪問單元的語(yǔ)法結(jié)構(gòu)；增強(qiáng)層緩沖器，該增強(qiáng)層緩沖器被連接以接收增強(qiáng)層節(jié)目流并且以預(yù)定序列輸出每個(gè)增強(qiáng)層訪問單元的語(yǔ)法結(jié)構(gòu)；重組功能元件，該重組功能元件被連接以接收分別由基本層緩沖器和增強(qiáng)層緩沖器輸出的語(yǔ)法結(jié)構(gòu)，并且形成完整的增強(qiáng)型訪問單元，包括預(yù)定序列的基本層語(yǔ)法結(jié)構(gòu)和增強(qiáng)層語(yǔ)法結(jié)構(gòu)。
[0023]根據(jù)公開的主題的第五方面，提供了一種用于創(chuàng)建增強(qiáng)型視頻信號(hào)的裝置，所述裝置具有用于接收包括基本層訪問單元和增強(qiáng)層訪問單元的單一比特流的輸入，并且包括分離器，該分離器用于從所述單一比特流中分離基本層節(jié)目流和增強(qiáng)層節(jié)目流；以及插入器，該插入器用于將定界語(yǔ)法結(jié)構(gòu)插入增強(qiáng)層節(jié)目流中。
[0024]根據(jù)公開的主題的第六方面，提供了一種用于創(chuàng)建增強(qiáng)型視頻信號(hào)的裝置，所述裝置具有用于接收包括基本層訪問單元和增強(qiáng)層訪問單元的單一比特流的輸入，其中，每個(gè)增強(qiáng)層訪問單元包括視頻層語(yǔ)法結(jié)構(gòu)和非視頻層語(yǔ)法結(jié)構(gòu)，并且包括分離器，該分離器用于從所述單一比特流中分離基本層節(jié)目流和增強(qiáng)層節(jié)目流并且將增強(qiáng)層訪問單元的非視頻層語(yǔ)法結(jié)構(gòu)包括在基本層節(jié)目流中，從而所述增強(qiáng)型視頻信號(hào)包括基本層分量和增強(qiáng)層分量，所述基本層分量包括增強(qiáng)層訪問單元的非視頻層語(yǔ)法結(jié)構(gòu)，所述增強(qiáng)層分量包括增強(qiáng)層訪問單元的視頻層語(yǔ)法結(jié)構(gòu)。
[0025]根據(jù)公開的主題的第七方面，提供了一種包含軟件的計(jì)算機(jī)可讀介質(zhì)，當(dāng)由計(jì)算機(jī)執(zhí)行所述軟件時(shí)，所述計(jì)算機(jī)具有用于接收傳送基本層訪問單元和增強(qiáng)層訪問單元的增強(qiáng)型視頻流的輸入，每個(gè)訪問單元包括多個(gè)語(yǔ)法結(jié)構(gòu)，通過下述方法來處理所述視頻流，所述方法包括:將基本層訪問單元的語(yǔ)法結(jié)構(gòu)傳遞到基本層緩沖器；將增強(qiáng)層訪問單元的語(yǔ)法結(jié)構(gòu)傳遞到增強(qiáng)層緩沖器；以預(yù)定序列輸出傳遞到基本層緩沖器的語(yǔ)法結(jié)構(gòu)；以預(yù)定序列輸出傳遞到增強(qiáng)層緩沖器的語(yǔ)法結(jié)構(gòu)，以及重新組合分別由基本層緩沖器和增強(qiáng)層緩沖器輸出的語(yǔ)法結(jié)構(gòu)的序列，以形成完整的增強(qiáng)型訪問單元，包括預(yù)定序列的基本層語(yǔ)法結(jié)構(gòu)和增強(qiáng)層語(yǔ)法結(jié)構(gòu)。
[0026]根據(jù)公開的主題的第八方面，提供了一種包含軟件的計(jì)算機(jī)可讀介質(zhì)，當(dāng)由計(jì)算機(jī)執(zhí)行該軟件時(shí)，該計(jì)算機(jī)具有用于接收包括基本層訪問單元和增強(qiáng)層訪問單元的單一比特流的輸入，通過下述方法來處理所述比特流，所述方法包括:從所述單一比特流中分離基本層節(jié)目流和增強(qiáng)層節(jié)目流，以及將定界語(yǔ)法結(jié)構(gòu)插入增強(qiáng)層節(jié)目流中。
[0027]根據(jù)公開的主題的第九方面，提供了一種包含軟件的計(jì)算機(jī)可讀介質(zhì)，當(dāng)由計(jì)算機(jī)執(zhí)行該軟件時(shí)，該計(jì)算機(jī)具有用于接收包括基本層訪問單元和增強(qiáng)層訪問單元的單一比特流的輸入，其中，每個(gè)增強(qiáng)層訪問單元包括視頻層語(yǔ)法結(jié)構(gòu)和非視頻層語(yǔ)法結(jié)構(gòu)，通過下述方法來處理所述比特流，所述方法包括:從所述單一比特流中分離基本層節(jié)目流和增強(qiáng)層節(jié)目流；以及將增強(qiáng)層訪問單元的非視頻層語(yǔ)法結(jié)構(gòu)包括在基本層節(jié)目流中，從而所述增強(qiáng)型視頻信號(hào)包括基本層分量和增強(qiáng)層分量，所述基本層分量包括增強(qiáng)層訪問單元的非視頻層語(yǔ)法結(jié)構(gòu)，所述增強(qiáng)層分量包括增強(qiáng)層訪問單元的視頻層語(yǔ)法結(jié)構(gòu)。

【專利附圖】

【附圖說明】
[0028]為了更好地理解本發(fā)明并且示出如何可以實(shí)現(xiàn)本發(fā)明，現(xiàn)在將通過示例的方式來對(duì)附圖進(jìn)行參考，在附圖中
[0029]圖1是用于提供壓縮視頻素材用于呈現(xiàn)的第一系統(tǒng)的架構(gòu)的示意性框圖，
[0030]圖2圖示了具有基本層和一個(gè)增強(qiáng)層的SVC訪問單元的結(jié)構(gòu)；
[0031]圖3是用于傳輸壓縮SVC視頻素材用于解碼和呈現(xiàn)的架構(gòu)和使用情況的示意性框圖；
[0032]圖4是用于提供壓縮視頻素材用于呈現(xiàn)的第二系統(tǒng)的架構(gòu)的示意性框圖，
[0033]圖5是用于提供壓縮視頻素材用于呈現(xiàn)的第三系統(tǒng)的架構(gòu)的示意性框圖，
[0034]圖6A、圖6B和圖6C圖示了在圖5中示出的系統(tǒng)中的各個(gè)點(diǎn)處所生成的數(shù)據(jù)單元的結(jié)構(gòu)；
[0035]圖7是可以用于實(shí)現(xiàn)參考圖4和5描述的部分過程的計(jì)算機(jī)器的示意性框圖。
[0036]在附圖的若干示圖中，使用相同的附圖標(biāo)記來表示類似或等同的元素、功能或組件。

【具體實(shí)施方式】
[0037]圖4中示出的SVC編碼器10’生成傳送基本層和一個(gè)增強(qiáng)層的比特流。NAL分離器52將該比特流劃分成兩個(gè)子比特流，該兩個(gè)子比特流分別傳送基本層NAL單元和增強(qiáng)層NAL單元，并且該兩個(gè)子比特流傳遞到基本層視頻分組器140和增強(qiáng)層視頻分組器141。如參考圖3描述的，兩個(gè)分組器創(chuàng)建相應(yīng)的視頻PES。傳輸流復(fù)用器54對(duì)兩個(gè)PES指配不同的PID，并且輸出傳送兩個(gè)層的傳輸流。傳輸流復(fù)用器54包括遵循SVC T-STD模型的T-STD緩沖器。將傳輸流作為SPTS直接發(fā)射到傳輸流解復(fù)用器56，或者與其它傳輸流進(jìn)行復(fù)用并且作為MPTS的一部分經(jīng)由節(jié)目解復(fù)用器(未示出)提供到傳輸流解復(fù)用器56。
[0038]通常，傳輸流解復(fù)用器56基于PID來分離傳輸流分組，并且對(duì)該傳輸流分組進(jìn)行解分組以重建PES分組。以該方式，傳輸流解復(fù)用器輸出基本層PES和增強(qiáng)層PES以及一個(gè)或多個(gè)音頻PES。如圖4中所示，將基本層PES和增強(qiáng)層PES提供到視頻T-STD60，該視頻T-STD60包括基本層T-STD緩沖器64和增強(qiáng)層T-STD緩沖器68。與圖1中所示的T-STD緩沖器40類似，基本層T-STD緩沖器64包括傳輸緩沖器TbO和復(fù)用緩沖器MbO。復(fù)用緩沖器將包含基本層訪問單元(AVC非VCL NAL單元和AVC VCL NAL單元)的編碼比特流輸出到基礎(chǔ)流緩沖器部分ESbO。緩沖器部分ESbO的大小不可以超過H.264/AVC標(biāo)準(zhǔn)中所規(guī)定的基礎(chǔ)流緩沖器Eb的大小。
[0039]增強(qiáng)層T-STD緩沖器68還包括傳輸緩沖器Tbl、復(fù)用緩沖器Mbl和基礎(chǔ)流緩沖器部分ESbl。與復(fù)用緩沖器MbO相似，緩沖器Mbl輸出包含增強(qiáng)層訪問單元(SVC非VCL NAL單元和SVC VCL NAL單元)的編碼比特流，當(dāng)適當(dāng)?shù)亟M合該增強(qiáng)層訪問單元與基本層訪問單元時(shí)，產(chǎn)生如H.264的附錄G中所定義的SVC訪問單元。
[0040]緩沖器部分ESbO和ESbl的組合大小不可以超過對(duì)于SVC解碼器在H.264/AVC標(biāo)準(zhǔn)的附錄G中規(guī)定的基礎(chǔ)流緩沖器Eb的大小，該SVC解碼器對(duì)具有基本層和一個(gè)增強(qiáng)層的節(jié)目進(jìn)行解碼。然而，假設(shè)緩沖器部分ESbO的大小沒有超過對(duì)于AVC解碼器在H.264/AVC標(biāo)準(zhǔn)中規(guī)定的基礎(chǔ)流緩沖器Eb的大小，則可以在緩沖器部分之間分配所有被允許的緩沖器大小來優(yōu)化解碼器的性能。
[0041]本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，傳輸流解復(fù)用器56接收到的訪問單元的NAL單元可能沒有按照解碼訪問單元所需要的順序。接收由復(fù)用緩沖器提供的編碼比特流的基礎(chǔ)流緩沖器部分確保以用于解碼的適當(dāng)順序來輸出每個(gè)訪問單元的NAL單元。重組功能Re-A接收由兩個(gè)T-STD緩沖器分別輸出的AVC和SVC NAL單元，并且以適當(dāng)?shù)男蛄薪M合NAL單元來重建圖2中所示的SVC訪問單元結(jié)構(gòu)。重組功能將SVC訪問單元提供到SVC解碼器來在適當(dāng)?shù)南鄳?yīng)解碼時(shí)間進(jìn)行解碼。以該方式，T-STD60能夠輸出包括SVC支持的增強(qiáng)的圖像。
[0042]緩沖器管理(即，傳輸緩沖器的大小、復(fù)用緩沖器的大小和組合的基礎(chǔ)流緩沖器部分的大小以及緩沖器之間的傳送速率)與常規(guī)MPEG-2T-STD中的相同。數(shù)據(jù)以對(duì)從常規(guī)MPEG-2T-STD模型中的復(fù)用緩沖器輸出數(shù)據(jù)所指定的速率進(jìn)入基礎(chǔ)流緩沖器部分，并且在給定SVC訪問單元的基本層NAL單元和增強(qiáng)層NAL單元都出現(xiàn)在相應(yīng)的基礎(chǔ)流緩沖器部分中之后，它們被立即傳送到重組功能，在重組功能處，它們被組合且被立即傳送到SVC解碼器。因此，基礎(chǔ)流緩沖器部分和重組功能沒有在復(fù)用緩沖器和SVC解碼器之間引入任何時(shí)延。
[0043]由傳輸流復(fù)用器54輸出的傳輸流還可以經(jīng)由傳輸流解復(fù)用器30被提供到AVCT-STD34’。傳輸流復(fù)用器30從傳輸流中分離基本層PES，并且將該基本層PES提供到T-STD34’。由于沒有將增強(qiáng)層PES提供到T-STD34’，所以不會(huì)由于必須對(duì)不需要解碼基本層訪問單元的NAL單元進(jìn)行處理而對(duì)T-STD34’造成負(fù)擔(dān)。
[0044]現(xiàn)在參考圖5，在另一個(gè)實(shí)施例中，由SVC編碼器10’產(chǎn)生的比特流傳送基本層以及兩個(gè)增強(qiáng)層ENHl和ENH2。NAL分離器52基于NAL單元的NUT值將比特流分成三個(gè)子比特流，但是與圖4中的情況不同，該基本層比特流不僅包括AVC NAL單元，還包括SVC非VCLNAL單元(如上所述，包括與AVC兼容的NAL單元)。由NAL分離器產(chǎn)生的基本層比特流具有圖6A中所示的結(jié)構(gòu)。兩個(gè)增強(qiáng)層子比特流的每一個(gè)都包含相應(yīng)的SVC訪問單元的SVC VCL NAL單元。如圖6B中所示，NAL分離器還在每個(gè)增強(qiáng)層子比特流的每個(gè)訪問單元的開始時(shí)插入SVC定界(delim)NAL單元。SVC定界NAL單元可以非常小并且具有預(yù)留的NUT值，諸如23或24。除訪問單元定界符之外，該SVC定界NAL單元具有如MPEG-2系統(tǒng)標(biāo)準(zhǔn)所公布的等于9的NUT。
[0045]將三個(gè)子比特流分別提供給分組器140、141和142，該分組器140、141和142創(chuàng)建相應(yīng)的PES，并且將PES提供到傳輸流復(fù)用器72。包括遵循SVC T-STD模型的緩沖器的傳輸流復(fù)用器72對(duì)三個(gè)PES指配不同的PID，并且輸出傳送三個(gè)層的傳輸流。應(yīng)當(dāng)意識(shí)到，基本層PES包含解碼基本層訪問單元所需要的所有的AVC NAL單元。
[0046]將由傳輸流復(fù)用器72創(chuàng)建的傳輸流提供到傳輸流解碼功能74。該傳輸流解碼功能包括傳輸流解復(fù)用器76，該傳輸流解復(fù)用器76基于PID來分離基本層PES和兩個(gè)增強(qiáng)層PES，并且將它們提供到相應(yīng)的T-STD緩沖器80、81和82。每個(gè)T-STD緩沖器包括傳輸緩沖器Tb、復(fù)用緩沖器Mb和基礎(chǔ)流緩沖器部分ESb。緩沖器部分ESbO、ESbl和ESb2的組合大小不可以超過對(duì)于SVC解碼器在H.264/AVC標(biāo)準(zhǔn)的附錄G中規(guī)定的基礎(chǔ)流緩沖器Eb的大小，該SVC解碼器對(duì)具有基本層和兩個(gè)增強(qiáng)層的節(jié)目進(jìn)行解碼。然而，假設(shè)緩沖器部分ESbO和ESbl的組合大小沒有超過對(duì)于在SVC解碼器的H.264/AVC標(biāo)準(zhǔn)的附錄G中規(guī)定的基礎(chǔ)流緩沖器Eb的大小，該SVC解碼器對(duì)具有基本層和一個(gè)增強(qiáng)層的節(jié)目進(jìn)行解碼，并且緩沖器部分ESbO的大小沒有超過對(duì)于AVC解碼器在H.264/AVC標(biāo)準(zhǔn)的附錄G中規(guī)定的基礎(chǔ)流緩沖器Eb的大小，則可以在緩沖器部分之間分配所有被允許的緩沖器大小來優(yōu)化解碼器的性能。
[0047]每個(gè)T-STD緩沖器對(duì)以與參考圖4描述的方式類似的方式接收到的比特流進(jìn)行處理，使得緩沖器DRBO輸出具有圖6A中所示的結(jié)構(gòu)的訪問單元，并且緩沖器DRBl和DRB2的每一個(gè)都輸出具有圖6B中所示的結(jié)構(gòu)的訪問單元。緩沖器結(jié)構(gòu)的輸出由重組功能Re-A來連結(jié)，以創(chuàng)建圖6C中所示的用于每個(gè)訪問單元的NAL單元的序列。如參考圖4所述的，重組功能的輸出傳遞到基礎(chǔ)流緩沖器。
[0048]圖5示出了可以經(jīng)由如參考圖4所描述的傳輸流解復(fù)用器30來將由復(fù)用器54輸出的傳輸流提供到AVC T-STD34’。
[0049]圖5還圖示了通過無差錯(cuò)介質(zhì)將三個(gè)視頻PES提供給節(jié)目流解碼功能90?；緦覲ES可以被提供到包括緩沖器和解碼器的基本層AVCP-STD，而基本層PES和兩個(gè)增強(qiáng)層PES ENHl和ENH2被提供到包括符合SVC P-STD模型的緩沖器的節(jié)目流復(fù)用器。節(jié)目流復(fù)用器將基本層PES和增強(qiáng)層PES ENHl提供到包括節(jié)目流解復(fù)用器的SVC解碼器91，該節(jié)目流解復(fù)用器從基本層PES和增強(qiáng)層PES移除PES報(bào)頭，并且將基本層比特流指向基礎(chǔ)流緩沖器部分ESbO，并且將增強(qiáng)層ENHl比特流指向基礎(chǔ)流緩沖器部分ESbl。緩沖器部分ESbO和ESbl的輸出傳遞到重組功能。緩沖器部分ESbO和ESbl的大小可以以與緩沖器80和81中的基礎(chǔ)流緩沖器部分的大小類似的方式進(jìn)行變化。因此，在節(jié)目流的上下文中，SVC解碼器91的操作與傳輸流上下文中的緩沖器80和81以及重組功能的操作相對(duì)應(yīng)。
[0050]節(jié)目流復(fù)用器將基本層PES和兩個(gè)增強(qiáng)層PES ENHl和ENH2提供到SVC解碼器92，該SVC解碼器92與解碼器91類似，但是增加了與T-STD緩沖器82中的基礎(chǔ)流緩沖器相對(duì)應(yīng)的基礎(chǔ)流緩沖器部分ESb2。因此，節(jié)目流解碼功能90能夠單獨(dú)解碼基本層，或者基本層和增強(qiáng)層ENHl，或者基本層以及兩個(gè)增強(qiáng)層ENHl和增強(qiáng)層ENH2。
[0051]在圖4中示出的實(shí)施例和圖5中示出的實(shí)施例中，基于包括附錄G的H.264/AVC標(biāo)準(zhǔn)中的限制，可用緩沖器大小可以在按照需要的基礎(chǔ)上被動(dòng)態(tài)分配給編碼器產(chǎn)生的比特流的不同層。通過允許以該方式對(duì)不同層的緩沖器大小的動(dòng)態(tài)靈活的分配，解碼器可以基于例如訪問單元的復(fù)雜度來減少對(duì)基本層的緩沖器大小的分配并且增加對(duì)一個(gè)或多個(gè)增強(qiáng)層的緩沖器大小的分配來促進(jìn)適當(dāng)?shù)慕獯a。
[0052]SVC定界NAL單元易于由傳輸流解復(fù)用器76來檢測(cè)，并且促進(jìn)了 SVC VCL NAL單元的分離。SVC定界NAL單元不由解碼器來識(shí)別，并且因此不影響增強(qiáng)層訪問單元的解碼。
[0053]如結(jié)合圖4描述的，NAL分離器可以從SVC訪問單元中分離SVC非VCL NAL單元和SVC VCL NAL單元二者，使得基本層PES僅包括圖2中所示的訪問單元結(jié)構(gòu)的AVC NAL單元，并且增強(qiáng)層PES包含所有的SVC NAL單元，而在圖5的情況下，NAL分離器將SVC非VCLNAL單元與AVC NAL單元分組在一起，使得基本層PES包含SVC非VCL NAL單元。該方法引起發(fā)送基本層PES所需要的帶寬的輕微增加，但是從圖2中示出的SVC訪問單元結(jié)構(gòu)的考查將意識(shí)到，通過將SVC非VCL NAL單元包括在基本層PES中，SVC訪問單元的重組可以通過簡(jiǎn)單連結(jié)分別包括在基本層PES和增強(qiáng)層PES中的NAL單元來完成。否則，可能需要在重組緩沖器中進(jìn)行數(shù)據(jù)解析，這將增加對(duì)于處理的時(shí)延和復(fù)雜度。SVC訪問單元的重組的簡(jiǎn)單補(bǔ)償了需要稍大的帶寬來發(fā)射基本層PES的輕微缺點(diǎn)。
[0054]參考圖6，圖4或圖5所示的NAL分離器和分組器，或者圖4中所示的傳輸流解復(fù)用器56和視頻T-STD60，或者圖5中所示的節(jié)目流或傳輸流解碼功能可以使用計(jì)算機(jī)來實(shí)現(xiàn)，該計(jì)算機(jī)包括在一般常規(guī)架構(gòu)中配置的至少一個(gè)處理器161、隨機(jī)存取存儲(chǔ)器162、只讀存儲(chǔ)器163、I/O設(shè)備164 (包括用于接收和發(fā)射比特流的適當(dāng)適配器)、用戶接口 165、⑶ROM驅(qū)動(dòng)器166以及硬盤驅(qū)動(dòng)器167。該計(jì)算機(jī)根據(jù)存儲(chǔ)在計(jì)算機(jī)可讀介質(zhì)中的程序來進(jìn)行操作，該計(jì)算機(jī)可讀介質(zhì)諸如硬盤驅(qū)動(dòng)器167或CD R0M168，并且該程序被加載到隨機(jī)存取存儲(chǔ)器162中用于執(zhí)行。程序由指令組成，使得當(dāng)計(jì)算機(jī)通過輸入適配器來接收傳送涉及的特定輸入信號(hào)的比特流時(shí)，計(jì)算機(jī)對(duì)適當(dāng)?shù)木彌_器分配存儲(chǔ)器，并且利用其它適當(dāng)?shù)馁Y源和功能來執(zhí)行以上參考圖4和圖5描述的各種操作，并且通過輸出適配器來發(fā)射傳送特定輸出信號(hào)的比特流。
[0055]雖然以上已經(jīng)結(jié)合一個(gè)或兩個(gè)增強(qiáng)層討論了可分級(jí)的視頻流，但是本領(lǐng)域技術(shù)人員應(yīng)當(dāng)意識(shí)到，H.264/AVC的附錄G允許多達(dá)7個(gè)增強(qiáng)層。還應(yīng)當(dāng)意識(shí)到，雖然增強(qiáng)層的前述描述已經(jīng)在可分級(jí)視頻的上下文中，但是對(duì)AVC基本層的其它類型的增強(qiáng)也是可能的。
[0056]應(yīng)當(dāng)意識(shí)到，本發(fā)明并不局限于已經(jīng)描述的特定實(shí)施例，并且如根據(jù)現(xiàn)行法律的原則所解釋的，可以在不背離如所附權(quán)利要求限定的本發(fā)明的范圍的情況下進(jìn)行變化，包括擴(kuò)大權(quán)利要求超出其文字范圍的可實(shí)施范圍的等同物或任意其它原則的聲明。除非上下文另外指出，否則權(quán)利要求中對(duì)元素的實(shí)例的數(shù)目的引用，即對(duì)一個(gè)或多于一個(gè)的實(shí)例的引用，要求至少指出數(shù)目的元素的實(shí)例，但是并非意在從權(quán)利要求的范圍中排除具有比所指出的該元素的更多實(shí)例的結(jié)構(gòu)或方法。當(dāng)在權(quán)利要求中使用時(shí)，詞語(yǔ)“包括”或其派生詞義在非排他的意義上進(jìn)行使用，其并非意在排除在要求保護(hù)的結(jié)構(gòu)或方法中存在其它元素或步驟。所附權(quán)利要求采用也在有關(guān)H.264/AVC的參考文獻(xiàn)中也使用的術(shù)語(yǔ)(諸如語(yǔ)法結(jié)構(gòu))，但是這是為了本領(lǐng)域技術(shù)人員的方便，而并非意在將權(quán)利要求的范圍局限于依賴于
H.264/AVC中描述的特定視頻編碼的方法、裝置和計(jì)算機(jī)可讀介質(zhì)。
【權(quán)利要求】
1.一種創(chuàng)建增強(qiáng)型視頻信號(hào)的方法，包括: 接收包括基本層訪問單元和增強(qiáng)層訪問單元的單一比特流， 從所述單一比特流中分離基本層節(jié)目流和增強(qiáng)層節(jié)目流，以及 將定界語(yǔ)法結(jié)構(gòu)插入到所述增強(qiáng)層節(jié)目流中以定界所述增強(qiáng)層節(jié)目流的訪問單元。
2.一種創(chuàng)建增強(qiáng)型視頻信號(hào)的方法，包括: 接收包括基本層訪問單元和增強(qiáng)層訪問單元的單一比特流，其中，每個(gè)增強(qiáng)層訪問單元包括視頻層語(yǔ)法結(jié)構(gòu)和非視頻層語(yǔ)法結(jié)構(gòu)， 從所述單一比特流中分離基本層節(jié)目流和增強(qiáng)層節(jié)目流，以及 將所述增強(qiáng)層訪問單元的非視頻層語(yǔ)法結(jié)構(gòu)包括在所述基本層節(jié)目流中， 從而所述增強(qiáng)型視頻信號(hào)包括基本層分量和增強(qiáng)層分量，所述基本層分量包括所述增強(qiáng)層訪問單元的非視頻層語(yǔ)法結(jié)構(gòu)，所述增強(qiáng)層分量包括所述增強(qiáng)層訪問單元的視頻層語(yǔ)法結(jié)構(gòu)；并且 所述增強(qiáng)層分量不包括所述增強(qiáng)層訪問單元的非視頻層語(yǔ)法結(jié)構(gòu)。
3.一種用于創(chuàng)建增強(qiáng)型視頻信號(hào)的裝置，所述裝置包括: 至少一個(gè)處理器，所述至少一個(gè)處理器通信地耦合到輸入適配器，所述輸入適配器用于接收包括基本層訪問單元和增強(qiáng)層訪問單元的單一比特流； 所述至少一個(gè)處理器被配置成提供分離器模塊，所述分離器模塊用于從所述單一比特流中分離基本層節(jié)目流和增強(qiáng)層節(jié)目流；以及 所述至少一個(gè)處理器進(jìn)一步被配置成提供插入器模塊，所述插入器模塊用于將定界語(yǔ)法結(jié)構(gòu)插入所述增強(qiáng)層節(jié)目流中以定界所述增強(qiáng)層節(jié)目流的訪問單元。
4.一種用于創(chuàng)建增強(qiáng)型視頻信號(hào)的裝置，所述裝置包括: 至少一個(gè)處理器，所述至少一個(gè)處理器通信地耦合到輸入適配器，所述輸入適配器用于接收包括基本層訪問單元和增強(qiáng)層訪問單元的單一比特流，其中，每個(gè)增強(qiáng)層訪問單元包括視頻層語(yǔ)法結(jié)構(gòu)和非視頻層語(yǔ)法結(jié)構(gòu)； 所述至少一個(gè)處理器被配置成提供分離器模塊，所述分離器模塊用于從所述單一比特流中分離基本層節(jié)目流和增強(qiáng)層節(jié)目流并且將所述增強(qiáng)層訪問單元的非視頻層語(yǔ)法結(jié)構(gòu)包括在基本層節(jié)目流中，從而所述增強(qiáng)型視頻信號(hào)包括基本層分量和增強(qiáng)層分量，所述基本層分量包括所述增強(qiáng)層訪問單元的非視頻層語(yǔ)法結(jié)構(gòu)，所述增強(qiáng)層分量包括所述增強(qiáng)層訪問單元的視頻層語(yǔ)法結(jié)構(gòu)，從而所述增強(qiáng)層分量不包括所述增強(qiáng)層訪問單元的非視頻層語(yǔ)法結(jié)構(gòu)。
【文檔編號(hào)】H04N21/2343GK104202600SQ201410326963
【公開日】2014年12月10日 申請(qǐng)日期:2009年3月4日 優(yōu)先權(quán)日:2008年3月6日
【發(fā)明者】曼達(dá)亞姆·A·納拉辛漢 申請(qǐng)人:通用儀表公司