專利名稱：使用單層編碼和優(yōu)先級(jí)區(qū)分流的無線視頻流的制作方法
在通信中，無線連接的使用持續(xù)增長(zhǎng)。僅舉幾例受益于無線連接的設(shè)備包括便攜式計(jì)算機(jī)、便攜式手持機(jī)、個(gè)人數(shù)字助理(PDA)以及娛樂系統(tǒng)。無線連接的改善已經(jīng)使得經(jīng)由無線介質(zhì)的通信更加快速和穩(wěn)定，而某些技術(shù)已經(jīng)在質(zhì)量和速度上落后于其他技術(shù)了。所述這種技術(shù)之一就是視頻技術(shù)。
因?yàn)橐曨l信號(hào)的帶寬需求相對(duì)較高，視頻通信會(huì)使已知無線網(wǎng)絡(luò)的帶寬極限不堪重負(fù)。而且，無線網(wǎng)絡(luò)的帶寬可能取決于發(fā)送時(shí)間以及發(fā)射機(jī)的位置。此外，來自其它無線站、其它網(wǎng)絡(luò)、在同樣頻譜內(nèi)操作的無線設(shè)備以及其他環(huán)境因素的干擾可能使在無線介質(zhì)中所發(fā)送的視頻信號(hào)惡化。
除了考慮到帶寬和干擾，視頻信號(hào)質(zhì)量可能因?yàn)閿?shù)據(jù)分組丟失而受損。為此，數(shù)字視頻內(nèi)容經(jīng)常在分組數(shù)據(jù)中發(fā)送，所述分組包括使用帶有運(yùn)動(dòng)預(yù)測(cè)的變換編碼來編碼的壓縮內(nèi)容。該分組隨后在通常稱為視頻流的分組流中發(fā)送。然而，在發(fā)送期間丟失的或錯(cuò)誤的視頻分組可能阻礙在接收機(jī)的解碼過程。
眾所周知，漂移由于屬于參考視頻幀的數(shù)據(jù)分組的丟失而引起。這種丟失可能阻止接收機(jī)的解碼器正確的解碼參考視頻幀。
無論源頭是什么，屬于參考視頻幀的丟失的或錯(cuò)誤的分組數(shù)據(jù)都會(huì)導(dǎo)致不能正確地重構(gòu)該錯(cuò)誤的或丟失的分組之后的一定數(shù)目的視頻幀。這稱為預(yù)測(cè)漂移。當(dāng)在接收機(jī)的解碼器中用于補(bǔ)償后面幀的運(yùn)動(dòng)的參考視頻幀不匹配發(fā)射機(jī)的編碼器所使用的參考視頻幀時(shí)，發(fā)生預(yù)測(cè)漂移。最終，這將導(dǎo)致視頻質(zhì)量的更大失真或者降低的或不能接受的視頻質(zhì)量。
已經(jīng)探索了一些已知的技術(shù)，用來處理變化的帶寬和信道條件，以及它們對(duì)視頻質(zhì)量的影響的問題。其中一種已知的技術(shù)稱為可分級(jí)視頻內(nèi)容編碼技術(shù)，還稱為分層視頻內(nèi)容編碼技術(shù)。這些技術(shù)包括運(yùn)動(dòng)圖像專家組(MPEG)-2/4時(shí)域、空域和SNR分級(jí)，MPEG-4 FGS和數(shù)據(jù)劃分以及小波視頻編碼技術(shù)。
在可分級(jí)視頻編碼技術(shù)中，將視頻內(nèi)容壓縮并按優(yōu)先順序排列在比特流中。在利用可伸縮視頻流技術(shù)的分層視頻流系統(tǒng)中，將比特流分組/劃分為具有不同優(yōu)先級(jí)的不同子比特(層)。如果無線信道的帶寬不充足，內(nèi)容層將會(huì)被丟棄，使得基本層得以發(fā)送。雖然可分級(jí)視頻編碼技術(shù)相對(duì)于已知的單層技術(shù)提供了益處，但是許多接收機(jī)并不包含與多層編碼視頻內(nèi)容兼容的解碼器。因此，仍然需要改進(jìn)帶有單層內(nèi)容編碼的視頻發(fā)送。
因此，所需要的是一種至少能克服上述已知方法和裝置的缺點(diǎn)的無線通信方法和裝置。
根據(jù)示例性實(shí)施例的通信方法包括提供單層內(nèi)容編碼視頻幀。該方法還包括選擇性地將每個(gè)視頻幀分配到多個(gè)層次之一。此外，該方法包括基于帶寬限制，選擇性地發(fā)送一些或全部所述視頻幀。根據(jù)另一個(gè)示例性實(shí)施例的通信鏈路包括接收機(jī)和發(fā)射機(jī)。編碼器連接到該發(fā)射機(jī)，且該編碼器適于將視頻信號(hào)編碼成多個(gè)單層內(nèi)容編碼視頻幀。此外，該編碼器適于將每個(gè)視頻幀分配到多個(gè)層次之一。
根據(jù)以下的詳細(xì)描述，并結(jié)合附圖，可以最好地理解示例性實(shí)施例。必須強(qiáng)調(diào)的是，這些特征不必按比例畫出。事實(shí)上，為了清楚地討論，可以任意增加或減少尺寸。


圖1是根據(jù)一個(gè)示例性實(shí)施例的依賴關(guān)系樹的示意圖。
圖2是根據(jù)一個(gè)示例性實(shí)施例的依賴關(guān)系樹的示意圖。
圖3是根據(jù)一個(gè)示例性實(shí)施例的依賴關(guān)系樹的示意圖。
圖4是根據(jù)一個(gè)示例性實(shí)施例的依賴關(guān)系樹的示意圖。
圖5是根據(jù)一個(gè)示例性實(shí)施例的無線視頻鏈路的示意圖。
以下詳細(xì)描述，目的是解釋而非限制，為了提供對(duì)于本發(fā)明徹底的理解，闡述了用于公開本發(fā)明的詳盡細(xì)節(jié)的示例性實(shí)施例。然而，顯然對(duì)于受益于本公開的技術(shù)領(lǐng)域中的常識(shí)技術(shù)人員來說，本發(fā)明可以用不同于此處所公開的具體細(xì)節(jié)的其他實(shí)施例來實(shí)現(xiàn)。而且，為了不使本發(fā)明的描述晦澀難懂，就省略了對(duì)大家所熟知的設(shè)備、方法及材料的描述。只要有可能，同樣的數(shù)字始終代表同樣的特征。
簡(jiǎn)要地說，示例性實(shí)施例涉及發(fā)送和接收視頻流的方法。在示例性實(shí)施例中，經(jīng)由無線鏈路發(fā)送和接收視頻流。舉例來說，視頻數(shù)據(jù)在已分組并排列成基于優(yōu)先級(jí)層次的依賴結(jié)構(gòu)的單層編碼視頻流中。即，單層編碼視頻比特流基于對(duì)時(shí)間上先前幀的依賴性來區(qū)分優(yōu)先級(jí)。
從獲益的角度來說，該方法和相關(guān)裝置實(shí)質(zhì)上防止了視頻流中的預(yù)測(cè)漂移。而且，示例性實(shí)施例的方法和相關(guān)裝置促進(jìn)了具有取決于時(shí)間和位置的帶寬的無線網(wǎng)絡(luò)中的視頻通信的自適應(yīng)。此外，示例性實(shí)施例的方法和相關(guān)裝置使得具有符合標(biāo)準(zhǔn)的常規(guī)單層解碼器的網(wǎng)絡(luò)和鏈路中流視頻發(fā)送得以改進(jìn)。隨著本描述的繼續(xù)，具有本領(lǐng)域技術(shù)常識(shí)的技術(shù)人員會(huì)越來越清楚這些和其他益處。
注意到示例性實(shí)施例的描述包括根據(jù)已知的MPEG(及其后續(xù))或已知的H.264技術(shù)的視頻幀編碼。注意到這些方法都僅僅是示例性的，而且可預(yù)想其它的編碼方法。
此外，該無線鏈路以符合IEEE802.11協(xié)議、其后續(xù)及提議的修正為例。而且，這僅僅是示例性的，且可預(yù)想在其它無線系統(tǒng)中使用示例性實(shí)施例的方法和裝置。例如，該無線鏈路可以是衛(wèi)星無線數(shù)字視頻廣播鏈路，包括高清地面電視。此外，示例性實(shí)施例的方法和裝置可以用于實(shí)現(xiàn)經(jīng)由諸如第三代伙伴計(jì)劃(3GPP)的無線運(yùn)動(dòng)網(wǎng)絡(luò)的視頻傳輸。注意到除了無線鏈路，示例性實(shí)施例的方法和裝置可用于經(jīng)由電話線和寬帶IP網(wǎng)絡(luò)的諸如視頻會(huì)議/視頻電話的有線技術(shù)。
而且，要強(qiáng)調(diào)的是，示例性實(shí)施例的方法和裝置仍可與其它可替換的編碼技術(shù)和無線協(xié)議結(jié)合使用；且該可替換的編碼技術(shù)和無線協(xié)議對(duì)于受益于本公開的有著本技術(shù)領(lǐng)域常識(shí)的技術(shù)人員來說是顯而易見的。
圖1是根據(jù)一個(gè)示例性實(shí)施例的依賴關(guān)系樹100的示意性表示。樹100包括多個(gè)幀，其中每個(gè)幀包括一個(gè)或多個(gè)經(jīng)過單層運(yùn)動(dòng)估計(jì)視頻編碼方法編碼的分組，所述編碼方法諸如MPEG或H.264。
隨著本描述的繼續(xù)，會(huì)更加清楚，這些幀可以基于優(yōu)先級(jí)排列在多個(gè)層次中。舉例來說，第一優(yōu)先級(jí)層次是最高優(yōu)先級(jí)層次；第二優(yōu)先級(jí)層次是次高優(yōu)先級(jí)層次；而第三優(yōu)先級(jí)層次是最低優(yōu)先級(jí)層次。要強(qiáng)調(diào)的是，使用三個(gè)優(yōu)先級(jí)層次僅僅是示例性的，且可以使用多于三個(gè)層次。而且可以進(jìn)一步根據(jù)時(shí)間間隔來對(duì)各優(yōu)先級(jí)層次分類。
第一優(yōu)先級(jí)層次包括包含幀內(nèi)編碼視頻幀或?qū)ο笃矫?IVOP或I幀)壓縮數(shù)據(jù)的分組。例如，I1幀101包括在特定時(shí)刻的一幀的幀內(nèi)編碼視頻數(shù)據(jù)。如圖1的時(shí)間軸所示，幀101是第一圖像組(GOP)單層內(nèi)容編碼視頻流的初始幀。
該示例性實(shí)施例的第二優(yōu)先級(jí)層次包括預(yù)測(cè)編碼視頻幀或VOP(PVOP)編碼視頻幀。例如，P1幀102處于該第二優(yōu)先級(jí)層次。如我們所知，與I1幀101相比，P1幀102僅包括額外信息(例如非靜態(tài)視頻數(shù)據(jù))。為此目的，P1幀102不包括冗余視頻信息。因而，P1幀102包括I1幀101中不存在的視頻運(yùn)動(dòng)。而且，P1幀102依賴I1幀作為參考幀，因?yàn)镮1幀用來預(yù)測(cè)P1幀。如我們所知，在接收機(jī)解碼時(shí)的視頻重構(gòu)需要后續(xù)幀所依賴的該幀。
類似的，P2幀103處于該示例性實(shí)施例的第二優(yōu)先級(jí)層次，并包括P1幀101中未包括的額外數(shù)據(jù)(例如非靜態(tài)視頻數(shù)據(jù))；且P3幀104處于第二優(yōu)先級(jí)層次，并包括P2幀103中未包括的額外數(shù)據(jù)(例如非靜態(tài)視頻數(shù)據(jù))。顯然，P2幀103依賴于P1幀102，且P3幀104依賴于P2幀103。
第三優(yōu)先級(jí)層次包括雙向預(yù)測(cè)編碼視頻幀或視頻對(duì)象平面(BVOP)。這些幀依賴于I1幀和P2以及P3幀。例如，B1幀105依賴于P2幀和P1幀。類似的，如從一幀到另一幀的箭頭所示，B幀106-110選擇性地依賴于I1、P1、P2和P3。例如，幀B3和B4直接依賴于P1和P2幀，并間接依賴于I1幀。如此，B3幀有相對(duì)于P1和P2幀組合的額外數(shù)據(jù)(例如非靜態(tài)信息)。
從以上示例性實(shí)施例的描述，且如箭頭所示，較高優(yōu)先級(jí)層次幀用于預(yù)測(cè)第一GOP的較低優(yōu)先級(jí)層次幀。
第二個(gè)GOP單層內(nèi)容編碼視頻流從第二幀內(nèi)編碼幀I2111開始。該第二個(gè)GOP幀如時(shí)間軸所示，在時(shí)間上落后于第一個(gè)GOP。類似于I1幀，第二I2幀處于第一優(yōu)先級(jí)層次，且處于第二和第三優(yōu)先級(jí)層次的所有預(yù)測(cè)幀和雙向預(yù)測(cè)幀都依賴于這個(gè)參考幀。因此，較高優(yōu)先級(jí)層次幀用于預(yù)測(cè)第一GOP中的較低優(yōu)先級(jí)層次幀。
注意到每個(gè)幀包括已分組視頻數(shù)據(jù)。在一幀中可能有一個(gè)或多個(gè)視頻網(wǎng)絡(luò)分組，或者一個(gè)視頻網(wǎng)絡(luò)分組可以包括多于一個(gè)幀。例如，I1幀101可包括兩個(gè)視頻分組；P2幀103可以包括一個(gè)分組；而B1幀105和B2幀106可以構(gòu)成單一分組。因此，I幀有最多數(shù)據(jù)；P幀有比I幀少的數(shù)據(jù)；B幀有最少的數(shù)據(jù)。
正如我們所能意識(shí)到的，當(dāng)接收機(jī)解碼時(shí)，如果由于帶寬限制或其它因素而丟失了較高優(yōu)先級(jí)幀，那些依賴于所丟失的較高優(yōu)先級(jí)幀的幀就不能進(jìn)行運(yùn)動(dòng)補(bǔ)償，并且視頻狀態(tài)保持在未丟失的上一優(yōu)先級(jí)幀的時(shí)間層次上。在極端示例中，如果I1幀丟失了，就不可能在接收機(jī)重構(gòu)該視頻，并且使用P1、P2、和B1-B6幀將編譯出無法辨認(rèn)的視頻；或觀察屏被有意保持空白；或觀察屏顯示最后一個(gè)重構(gòu)圖像。
相比較而言，如果第三優(yōu)先級(jí)層次的B幀丟失了，由于沒有任何一幀依賴于B幀，所以僅有的損失是時(shí)間分辨率，而不是視頻中斷。例如，如果B1幀105和B2幀丟失，視頻圖像就是P1幀的視頻圖像。所有P1幀之后的運(yùn)動(dòng)(在依賴于P1幀的幀中)都丟失了。因此，在當(dāng)前依賴關(guān)系樹中，對(duì)于運(yùn)動(dòng)補(bǔ)償，進(jìn)而對(duì)于視頻重構(gòu)，I幀是最重要的幀，P幀是次重要的幀，B幀是最不重要的幀。
為了減輕潛在的視頻損失或視頻質(zhì)量損失，示例性實(shí)施例包括基于優(yōu)先級(jí)層次選擇性地丟棄流視頻的幀，以增加通過惡化的信道成功發(fā)送具有較高優(yōu)先級(jí)的層的可能性。按照信道的可用帶寬來實(shí)現(xiàn)從最低優(yōu)先級(jí)到最高優(yōu)先級(jí)丟棄幀。雖然丟棄流視頻幀可能導(dǎo)致最終視頻的時(shí)間分辨率較低，但是該示例性實(shí)施例與已知方法相比在帶寬削減網(wǎng)絡(luò)中提供了改進(jìn)的視頻質(zhì)量。現(xiàn)在將描述一些示例性的幀丟棄策略。
圖2是根據(jù)一個(gè)示例性實(shí)施例的單層內(nèi)容編碼視頻的依賴關(guān)系樹的示意性表示。在本示例性實(shí)施例中，基于VOP類型進(jìn)行優(yōu)先級(jí)區(qū)分。具體地，如圖所示，第一優(yōu)先級(jí)層次L0 201包括IVOP幀，I1 202和I2 203；第二優(yōu)先級(jí)層次204包括P幀，P1 205、P2 206、P3 207和P 208；且第三優(yōu)先級(jí)層次209包括B幀，B1 210到B10 209。
該示例性實(shí)施例中的優(yōu)先級(jí)區(qū)分方案用于確定在無線介質(zhì)的帶寬不支持GOP的帶寬要求的情況下丟棄幀的順序。通常，該示例性方法要求直到所有依賴于一個(gè)幀的幀都被丟棄了才能丟棄該幀。這樣就實(shí)質(zhì)上避免了在依賴幀鏈中的幀延時(shí)，減小了視頻質(zhì)量損失。因此，當(dāng)可以減小視頻流的時(shí)間分辨率時(shí)，實(shí)質(zhì)上避免了完全丟失視頻流。現(xiàn)在將描述一個(gè)示例性實(shí)施例的基于依賴性的優(yōu)先級(jí)區(qū)分和丟棄。
如前所述，對(duì)于所述視頻流，I幀比P幀更重要；P幀比B幀更重要。因此，不可分級(jí)(單層內(nèi)容編碼視頻)比特流可以基于VOP類型按照幀排列成三個(gè)優(yōu)先級(jí)層次。如果第一視頻流(從I1開始)的帶寬限制要求丟棄幀，本示例性實(shí)施例的方法要求基于依賴性來丟棄幀。為此，首先丟棄沒有幀依賴于其的幀(B VOP)。
接下來，丟棄有較少幀依賴于其的幀。舉例來說，接下來丟棄的是P幀。此外，在丟棄P幀的時(shí)候考慮子優(yōu)先級(jí)。也就是說，在P2幀206之前丟棄比P2幀有更少幀依賴于其的P3幀207。換句話說，本示例性實(shí)施例的第二優(yōu)先級(jí)層次L1 204的P幀有如箭頭所示的連續(xù)的依賴性。這樣，直到依賴于一幀的所有幀都丟棄時(shí)才丟棄該幀。例如，直到B3幀212到B6幀215和P3幀207都丟棄了，才丟棄P2幀206。正如我們所知，GOP結(jié)構(gòu)在整個(gè)MPEG比特流中重復(fù)。因此最初的MPEG比特流顯示出一定程度的周期性。
圖3是根據(jù)另一個(gè)示例性實(shí)施例的基于幀依賴性的另一個(gè)優(yōu)先級(jí)區(qū)分方案。本示例性實(shí)施例的優(yōu)先級(jí)區(qū)分方法包括與有關(guān)圖2中的示例性實(shí)施例所描述的特征共同的特征。如非必要，不重復(fù)共同特征的描述，以免混淆示例性實(shí)施例的描述。
如前面所提到的示例性實(shí)施例的基于依賴性進(jìn)行優(yōu)先級(jí)區(qū)分的方法中，直到依賴于一幀的所有幀都丟棄了才丟棄該幀。在本示例性實(shí)施例中，描述了相同類型幀之間的依賴性。例如，一些P幀依賴于其他P幀，對(duì)多個(gè)層次的優(yōu)先級(jí)區(qū)分必須包括對(duì)各P幀進(jìn)行優(yōu)先級(jí)區(qū)分，以充分利用這種依賴性。這可以稱為幀間依賴性。當(dāng)然，基于P幀幀間依賴性的優(yōu)先級(jí)區(qū)分僅用來舉例說明這種優(yōu)先級(jí)區(qū)分方法。顯然，可以對(duì)其他幀類似地進(jìn)行優(yōu)先級(jí)區(qū)分。
圖3中示例性實(shí)施例的視頻流的GOP被排列成第一優(yōu)先級(jí)層次L0 301、第二優(yōu)先級(jí)層次L1 302，第三優(yōu)先級(jí)層次L2 303、第四優(yōu)先級(jí)層次L3 304和第五優(yōu)先級(jí)層次L4 305。每個(gè)優(yōu)先級(jí)層次中的幀基于它們的相對(duì)重要性來分布于它們各自優(yōu)先級(jí)層次中。第一層次L0301包括最重要的幀，在這里是I1幀306和I2幀307。第二層次L1 302包括P1幀308和P幀309。第三層次L2包括依賴于P1幀308的P2幀310。第四層次L3 304包括依賴于P2幀310的P3幀311；且第五層次L4 305包括B1幀312到B幀321。
根據(jù)當(dāng)前示例性實(shí)施例，首先丟棄第五優(yōu)先級(jí)層次L4 305的幀，接下來是第四優(yōu)先級(jí)層次L3 304的那些幀，以此類推。從獲益的角度來說，基于這些幀對(duì)更高優(yōu)先級(jí)幀的依賴，將這些幀分配到某個(gè)優(yōu)先級(jí)層次中。以這種方式提供了用于丟棄相同類型幀的優(yōu)先級(jí)區(qū)分。
圖4是根據(jù)一個(gè)示例性實(shí)施例的具有恒定幀間隔的時(shí)間優(yōu)先級(jí)區(qū)分方案的示意圖。在本示例性實(shí)施例中，隨著本描述的繼續(xù)將會(huì)更加清楚，優(yōu)先級(jí)層次也可以按照時(shí)間間隔分類。
在關(guān)于圖4的示例性實(shí)施例中，利用了起始GOP的周期性。為此，保持每個(gè)層的周期性以便簡(jiǎn)化系統(tǒng)設(shè)計(jì)可能會(huì)有用。例如，在關(guān)于圖2和圖3的依賴性優(yōu)先級(jí)區(qū)分方案中，包含I和P幀的優(yōu)先級(jí)層次是周期性的，其周期為在每個(gè)單獨(dú)的層次中均勻傳輸?shù)恼麄€(gè)VOP。然而僅包含B VOP的優(yōu)先級(jí)層次是非周期性的，這使得系統(tǒng)設(shè)計(jì)復(fù)雜化。為此，在圖2的示例性實(shí)施例中，顯然B1幀210和B1幀211在時(shí)間上落后于P2幀?？梢愿鶕?jù)沿著時(shí)間軸的位置，通過進(jìn)一步在每個(gè)P周期內(nèi)將B VOP劃分成多層，實(shí)現(xiàn)完全周期性。
在圖4的示例性實(shí)施例中有六個(gè)優(yōu)先級(jí)層次第一優(yōu)先級(jí)層次L0 401，第二優(yōu)先級(jí)層次L1 402，第三優(yōu)先級(jí)層次L2 403，第四優(yōu)先級(jí)層次L3 404，第五優(yōu)先級(jí)層次L4 405，第六優(yōu)先級(jí)層次L5 406。第一優(yōu)先級(jí)層次401包括幀I1 407和I2 408；第二優(yōu)先級(jí)層次402包括幀P1 409和P 410；第三優(yōu)先級(jí)層次403包括幀P2 411；第四優(yōu)先級(jí)層次404包括幀P3 412；第五優(yōu)先級(jí)層次包括幀B1 413、B3 414、B5 415、B7 416、和B 417；且第六優(yōu)先級(jí)層次包括幀B2 418、B4 419、B6 420、Bg 421及B 422。
因此，對(duì)B幀進(jìn)行時(shí)間優(yōu)先級(jí)區(qū)分。例如，B1和B2在同一P周期(P1，I1)中；且B3和B4在同一P周期(P1，P2)中。因此，通過把B2、B4、B6、B7劃分到第六優(yōu)先級(jí)層次，就能實(shí)現(xiàn)每層的全部周期性。
如前面的示例性實(shí)施例，根據(jù)優(yōu)先級(jí)層次丟棄幀，最低層次的幀(L5 406)首先丟棄，最高層次的幀(L0 401)最后丟棄?？梢砸赃@種方式使用時(shí)間優(yōu)先級(jí)區(qū)分來顯著減小當(dāng)必須丟棄幀時(shí)由于丟棄的幀而引起的惡化。
圖4的示例性實(shí)施例是說明性的。顯然，本實(shí)施例的概念可以擴(kuò)展。對(duì)于使用GOP結(jié)構(gòu)(m，n)和恒定幀速率f(m是一個(gè)GOP中幀的數(shù)量，n是一個(gè)P周期中幀的數(shù)量)來進(jìn)行MPEG編碼的視頻，GOP中的P周期數(shù)量為；p=mn;]]>用恒定間隔分層方案所產(chǎn)生的層的數(shù)量是L＝p+n-l；且所得到的層l的恒定幀速率fr是fr(l)=fm,l∈
]>
依照一個(gè)示例性實(shí)施例，為了在多個(gè)傳輸中進(jìn)行不同優(yōu)先級(jí)層次的自適應(yīng)傳輸或優(yōu)先級(jí)區(qū)分傳輸，對(duì)分組加標(biāo)簽并將分組分配到使用了傳輸層標(biāo)識(shí)的層次中。
使用上述任意實(shí)施例，可以將不可分級(jí)的視頻內(nèi)容分配到多個(gè)優(yōu)先級(jí)層次。因此，可以這種方式用最小復(fù)雜度建立一般的時(shí)間可分級(jí)性。所建立的時(shí)間可分級(jí)性以MPEG編碼內(nèi)容為例，并便于面向優(yōu)先級(jí)的流策略。當(dāng)遇到信道惡化時(shí)，可以根據(jù)可用帶寬丟棄具有較低優(yōu)先級(jí)的層，以增加具有更高優(yōu)先級(jí)的層通過該惡化信道的機(jī)會(huì)。這種流策略通常稱為基于優(yōu)先級(jí)的丟棄。通過使用基于優(yōu)先級(jí)的丟棄，由于視頻內(nèi)容根據(jù)依賴性分配到優(yōu)先級(jí)層次，所以各VOP在它們的參考VOP之前被丟棄。即使沒有完全排除預(yù)測(cè)漂移，通過這種方式可以顯著減小預(yù)測(cè)漂移所引起的服務(wù)質(zhì)量損失。
圖5是描述了一個(gè)使用實(shí)時(shí)傳輸協(xié)議(RTP)/IP傳輸?shù)氖纠粤飨到y(tǒng)500的示意圖。上述的每個(gè)優(yōu)先級(jí)層次都可以加載在一個(gè)形成虛擬信道的RTP會(huì)話中，以便于自適應(yīng)。這種一般的多信道流結(jié)構(gòu)允許各種自適應(yīng)算法方案。它們包括，但不限于服務(wù)器驅(qū)動(dòng)自適應(yīng)、接收機(jī)驅(qū)動(dòng)自適應(yīng)、和/或經(jīng)由較低層QoS提供，諸如擁有Wi-Fi產(chǎn)品的Mac QoS。
舉例來說，流系統(tǒng)500的結(jié)構(gòu)包括媒體服務(wù)器501(例如，可以與無線網(wǎng)絡(luò)的接入點(diǎn)共處一地)、IP網(wǎng)絡(luò)及至少一個(gè)媒體客戶端502(例如，無線臺(tái))。視頻幀由媒體服務(wù)器501的發(fā)射機(jī)503，以點(diǎn)播的方式發(fā)送到媒體客戶端的接收機(jī)504。編碼器505如前所述，對(duì)視頻幀進(jìn)行編碼，并把幀提供給發(fā)射機(jī)503。注意到使用相似的元件和方法，客戶端502可以將視頻數(shù)據(jù)發(fā)送給服務(wù)器501，或者要么直接要么經(jīng)由服務(wù)器發(fā)送給其他客戶端502。
在說明性的系統(tǒng)500中，接收機(jī)503舉例說明為具有單層解碼器505的區(qū)分優(yōu)先級(jí)的多級(jí)接收機(jī)。使用已知的技術(shù)，已解分組的比特流首先基于它的幀類型，多路復(fù)用到相應(yīng)的解密器DEC 506，進(jìn)行解碼。重構(gòu)后，將參考幀存儲(chǔ)，并用于對(duì)其它依賴于參考幀的幀的重構(gòu)進(jìn)行運(yùn)動(dòng)補(bǔ)償。已解碼/重構(gòu)的幀根據(jù)它們的顯示順序進(jìn)行排序并經(jīng)過多路復(fù)用器(未示出)發(fā)送到播放器(未示出)。
根據(jù)一個(gè)示例性實(shí)施例，由于帶寬考慮而在網(wǎng)絡(luò)中必須的幀丟棄可能受上述從最低優(yōu)先級(jí)到最高優(yōu)先級(jí)丟棄層次的影響。舉例來說，較低網(wǎng)絡(luò)層，如服務(wù)器501的MAC層丟棄用該示例性實(shí)施例的優(yōu)先級(jí)區(qū)分丟棄方法、根據(jù)它們的傳輸ID/或標(biāo)簽所選擇的分組。這樣，在一段時(shí)間內(nèi)可能丟棄所選擇的幀或整個(gè)層次。如果信道條件及時(shí)改進(jìn)到允許更多層次進(jìn)行發(fā)送，可以將所丟棄的層次加回來。
可以預(yù)想，示例性實(shí)施例的與發(fā)送視頻數(shù)據(jù)結(jié)合描述的各種方法、設(shè)備和網(wǎng)絡(luò)可以以硬件或軟件實(shí)現(xiàn)。要強(qiáng)調(diào)的是所包含的各種方法、設(shè)備和網(wǎng)絡(luò)僅作為例子，而非限制。根據(jù)本公開，本領(lǐng)域的技術(shù)人員可以在所附權(quán)利要求范圍內(nèi)，通過確定他們自己的技術(shù)和所需設(shè)備來有效利用這些技術(shù)，從而實(shí)現(xiàn)各種示例性方法、設(shè)備和網(wǎng)絡(luò)。
權(quán)利要求
1.一種視頻通信方法，所述方法包括提供單層內(nèi)容編碼視頻幀(101-111)；選擇性地將每個(gè)所述幀分配到多個(gè)層次(201、204、209)之一中；以及基于帶寬限制，將一些或全部所述幀根據(jù)它們的層次選擇性地進(jìn)行發(fā)送。
2.如權(quán)利要求1所述的方法，其中，所述選擇性分配進(jìn)一步包括為所述多個(gè)層次的每個(gè)層次建立優(yōu)先級(jí)。
3.如權(quán)利要求2所述的方法，其中，所述優(yōu)先級(jí)層次基于幀相互間的依賴性。
4.如權(quán)利要求2所述的方法，其中，在丟棄依賴于較高優(yōu)先級(jí)層次中的幀的較低優(yōu)先級(jí)層次中的幀之后，才丟棄該較高優(yōu)先級(jí)層次中的幀。
5.如權(quán)利要求2所述的方法，其中，所述多個(gè)層次的優(yōu)先級(jí)基于所述幀的周期性。
6.如權(quán)利要求5所述的方法，其中，所述多個(gè)層次的優(yōu)先級(jí)基本上保持所述幀的周期性。
7.如權(quán)利要求2所述的方法，其中，所述發(fā)送進(jìn)一步包括基于帶寬考慮丟棄特定幀，并且其中，直到丟棄了依賴于所述特定幀的所有幀后才丟棄所述特定幀。
8.如權(quán)利要求7所述的方法，其中，最高優(yōu)先級(jí)層次包括幀內(nèi)視頻對(duì)象平面(IVOP)中的分組，較低優(yōu)先級(jí)層次包括預(yù)測(cè)視頻對(duì)象平面(PVOP)中的分組，且最低優(yōu)先級(jí)層次包括雙向預(yù)測(cè)視頻對(duì)象平面(BVOP)中的分組。
9.如權(quán)利要求8所述的方法，其中，所述方法進(jìn)一步包括基于幀間依賴性，將一個(gè)圖像組(GOP)中的多個(gè)PVOP劃分到所述多個(gè)層次的特定層次中。
10.如權(quán)利要求1所述的方法，其中，所述方法進(jìn)一步包括提供具有單層解碼器(506)的接收機(jī)(504)；解碼所述單層內(nèi)容視頻分組；以及重構(gòu)所述視頻。
11.如權(quán)利要求1所述的方法，其中，所述通信是無線的。
12.如權(quán)利要求1所述的方法，其中，所述多個(gè)優(yōu)先級(jí)層次也按時(shí)間間隔分類。
13.一種通信鏈路(500)，包括發(fā)射機(jī)(503)；接收機(jī)(504)；以及連接到所述發(fā)射機(jī)的編碼器(505)，其中，所述編碼器適于將視頻信號(hào)編碼成多個(gè)單層內(nèi)容編碼視頻幀，且所述編碼器適于將每個(gè)所述視頻幀分配到多個(gè)層次(201、204、209)之一中。
14.如權(quán)利要求13所述的通信鏈路，其中，所述鏈路是無線鏈路。
15.如權(quán)利要求14所述的通信鏈路，其中，基于所述鏈路的帶寬限制，所述發(fā)射機(jī)將一些或全部所述幀基于它們的層次選擇性地進(jìn)行發(fā)送。
16.如權(quán)利要求13所述的通信鏈路，進(jìn)一步包括用于解碼所述單層內(nèi)容視頻幀的解碼器(506)。
17.如權(quán)利要求13所述的通信鏈路，其中，對(duì)所述多個(gè)層次進(jìn)行優(yōu)先級(jí)區(qū)分。
18.如權(quán)利要求17所述的通信鏈路，其中，最高優(yōu)先級(jí)層次包括幀內(nèi)視頻對(duì)象平面(IVOP)中的分組，較低優(yōu)先級(jí)層次包括預(yù)測(cè)視頻對(duì)象平面(PVOP)中的分組，且最低優(yōu)先級(jí)層次包括雙向預(yù)測(cè)視頻對(duì)象平面(BVOP)中的分組。
19.如權(quán)利要求17所述的通信鏈路，其中，基于幀間依賴性，將一個(gè)圖像組(GOP)中的多個(gè)PVOP進(jìn)一步劃分到多個(gè)優(yōu)先級(jí)層次中。
20.如權(quán)利要求17所述的通信鏈路，其中，所述多個(gè)優(yōu)先級(jí)層次按時(shí)間間隔分類。
21.如權(quán)利要求17所述的通信鏈路，其中，所述多個(gè)層次的優(yōu)先級(jí)基本上保持了所述幀的周期性。
22.如權(quán)利要求15所述的通信鏈路，其中，所述發(fā)射機(jī)基于帶寬考慮丟棄特定幀，并且其中，直到丟棄了依賴于所述特定幀的所有幀之后才丟棄所述特定幀。
全文摘要
一種通信方法，包括提供單層內(nèi)容編碼視頻幀(101－111、202、203、205、208、210－219)。所述方法還包括選擇性地將每個(gè)視頻幀分配到多個(gè)層次之一。另外，所述方法包括基于帶寬限制，以優(yōu)先級(jí)區(qū)分的方式選擇性地發(fā)送一些或全部所述視頻幀；還描述了視頻鏈路(500)。
文檔編號(hào)H04N7/26GK101073268SQ200580041963
公開日2007年11月14日 申請(qǐng)日期2005年12月8日 優(yōu)先權(quán)日2004年12月10日
發(fā)明者R·Y·陳, Y·陳 申請(qǐng)人:皇家飛利浦電子股份有限公司