改善云會議中的視頻質(zhì)量的重復(fù)包策略的制作方法
【專利摘要】一種改善云會議中的視頻質(zhì)量的重復(fù)包策略。提供了用于編碼多媒體數(shù)據(jù)的多媒體編碼設(shè)備（100）和方法（200）。多媒體編碼設(shè)備（100）包括：用于從網(wǎng)絡(luò)接收信道狀態(tài)信息的信道狀態(tài)接收器（105）；用于根據(jù)信道狀態(tài)信息確定重復(fù)模式的重復(fù)模式確定器（106）；用于編碼多媒體數(shù)據(jù)來產(chǎn)生多個編碼包的編碼器（101）；用于根據(jù)確定的重復(fù)模式產(chǎn)生關(guān)鍵包的重復(fù)包的重復(fù)產(chǎn)生器（107），其中該關(guān)鍵包對于解碼已編碼的多媒體數(shù)據(jù)而言比其它包更重要。作為編碼的結(jié)果，多媒體編碼設(shè)備（100）輸出編碼包和重復(fù)包。
【專利說明】改善云會議中的視頻質(zhì)量的重復(fù)包策略

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及用于編碼多媒體數(shù)據(jù)以便在網(wǎng)絡(luò)上傳輸?shù)亩嗝襟w編碼設(shè)備和方法。

【背景技術(shù)】
[0002]視頻會議系統(tǒng)已經(jīng)日益開始使用諸如互聯(lián)網(wǎng)之類的包交換網(wǎng)絡(luò)，而不是諸如PSTN和ISDN之類的電路交換網(wǎng)絡(luò)。使用包交換網(wǎng)絡(luò)用于視頻會議的一個問題是所有的包交換網(wǎng)絡(luò)將經(jīng)歷某種程度的丟包。甚至適度的丟包都顯著地?fù)p害視頻質(zhì)量。
[0003]為了克服丟包，一些視頻會議裝置采用了不同的包重傳技術(shù)。例如，H.264/SVC解決方案使用一種重傳方案。由于H.264/SVC涉及若干個時間層，重傳方案僅僅重傳基本層，以便不導(dǎo)致或?qū)е螺^少的擁塞。但是重傳會導(dǎo)致視頻呈現(xiàn)顯著的延遲。而且當(dāng)信道條件進(jìn)一步惡化時，不斷增加的重傳仍會不可避免地導(dǎo)致?lián)砣?br> [0004]作為另一種解決方案，一些視頻會議裝置采用不同的包恢復(fù)技術(shù)。美國專利N0.7，876，685中就描述了這樣一種技術(shù)，所述專利被轉(zhuǎn)讓給Polycom公司，發(fā)明名稱為“System and method for lost packet recovery with congest1n avoidance (具有擁塞避免的用于丟包恢復(fù)的系統(tǒng)和方法)”，提交于2008年7月23日，其全部內(nèi)容通過引用被并入本文。這樣的技術(shù)在下文中可被稱作“丟包恢復(fù)”或“LPR”。
[0005]當(dāng)在有線網(wǎng)中被采用時，Polycom的視頻LPR的確是有效的。但是在新興的云視頻會議的環(huán)境下，其性能能夠被進(jìn)一步改善。在云視頻會議中，隨機(jī)的和突發(fā)的丟包經(jīng)常在下行鏈路中發(fā)生。它們通常是由互聯(lián)網(wǎng)擁塞或接入網(wǎng)中的3G/無線鏈路丟失所導(dǎo)致的。在許多情況下，Polycom的視頻LPR是最為有效的，一直到高達(dá)10%的丟包率，如果丟失超過視頻LPR的保護(hù)能力，將會有視頻偽像。在突發(fā)丟失的情況下事情變得更糟。同樣地，如果它添加更多的冗余信息，視頻LPR可能會涉及更多的延遲。
[0006]因此，需要提供改善的方法來克服上面提到的缺點(diǎn)或缺陷。


【發(fā)明內(nèi)容】

[0007]本公開內(nèi)容涉及用于編碼多媒體數(shù)據(jù)的多媒體編碼設(shè)備和方法。該方法與一些其它糾錯機(jī)制合作來改善糾錯能力而不引入任何額外的延遲，從而大大地改善多媒體數(shù)據(jù)的質(zhì)量。
[0008]根據(jù)一個方面，提供了用于編碼多媒體數(shù)據(jù)的多媒體編碼設(shè)備。該多媒體編碼設(shè)備包括:用于從網(wǎng)絡(luò)接收信道狀態(tài)信息的信道狀態(tài)接收器；用于根據(jù)信道狀態(tài)信息確定重復(fù)模式的重復(fù)模式確定器；用于編碼多媒體數(shù)據(jù)來產(chǎn)生多個編碼包的編碼器；以及用于根據(jù)確定的重復(fù)模式產(chǎn)生關(guān)鍵包的重復(fù)包的重復(fù)產(chǎn)生器，其中該關(guān)鍵包對于解碼已編碼的多媒體數(shù)據(jù)而言比其它包更重要。
[0009]信道狀態(tài)信息能夠包括丟包率。
[0010]重復(fù)模式確定器能夠根據(jù)丟包率為重復(fù)模式進(jìn)一步確定重復(fù)率。
[0011]重復(fù)模式確定器能夠進(jìn)一步包括用于將丟包率與預(yù)先確定的閾值比較的比較器，如果丟包率不小于預(yù)先確定的閾值，重復(fù)模式確定器能夠按照一個增加步長來增加當(dāng)前的重復(fù)率，否則，重復(fù)模式確定器能夠按照一個降低步長來降低當(dāng)前的重復(fù)率。
[0012]重復(fù)模式確定器能夠進(jìn)一步包括用于將丟包率與預(yù)先確定的閾值比較的比較器，如果丟包率不小于預(yù)先確定的閾值，重復(fù)模式確定器確定應(yīng)該產(chǎn)生重復(fù)包，否則，確定不需要重復(fù)。
[0013]信道狀態(tài)信息能夠進(jìn)一步包括丟包涉及持續(xù)丟包還是突發(fā)丟包。
[0014]如果丟包涉及持續(xù)丟包，重復(fù)模式確定器能夠設(shè)置重復(fù)塊長度為I個包長，如果丟包涉及突發(fā)丟包，設(shè)置重復(fù)塊長度不小于突發(fā)丟失窗口。
[0015]多媒體編碼設(shè)備能夠進(jìn)一步包括糾錯機(jī)制，其中預(yù)先確定的閾值是能夠被該糾錯機(jī)制糾正的最大丟包率。
[0016]關(guān)鍵包能夠包括視頻的I幀和/或糾錯機(jī)制的糾錯包。
[0017]糾錯機(jī)制能夠包括丟包恢復(fù)LPR機(jī)制，并且糾錯包是LPR恢復(fù)包。
[0018]編碼器能夠在編碼多媒體數(shù)據(jù)時減小編碼器帶寬，以便為重復(fù)帶寬保存帶寬。
[0019]編碼器能夠減小多媒體數(shù)據(jù)的一部分的編碼器帶寬，并且保持多媒體數(shù)據(jù)的其它部分的編碼器帶寬。
[0020]根據(jù)另一方面，提供了在網(wǎng)絡(luò)上編碼多媒體數(shù)據(jù)的方法。該方法包括:從網(wǎng)絡(luò)接收信道狀態(tài)信息；根據(jù)信道狀態(tài)信息確定重復(fù)模式；編碼多媒體數(shù)據(jù)來產(chǎn)生多個編碼包；根據(jù)確定的重復(fù)模式產(chǎn)生關(guān)鍵包的重復(fù)包，其中該關(guān)鍵包對于解碼已編碼的多媒體數(shù)據(jù)來說比其它包更重要；以及在網(wǎng)絡(luò)上輸出編碼包和重復(fù)包。
[0021]信道狀態(tài)信息能夠包括丟包率。
[0022]確定重復(fù)模式的步驟能夠進(jìn)一步包括根據(jù)丟包率為重復(fù)模式確定重復(fù)率。
[0023]確定重復(fù)率的步驟能夠包括:將丟包率與預(yù)先確定的閾值比較；如果丟包率不小于預(yù)先確定的閾值，按照一個增加步長來增加當(dāng)前的重復(fù)率，否則，按照一個降低步長來降低當(dāng)前的重復(fù)率。例如，如果丟包率超出LPR保護(hù)范圍，重復(fù)率被增加一個增加步長。相應(yīng)地，如果丟包率在該范圍內(nèi)，重復(fù)率被降低一個降低步長。
[0024]確定重復(fù)率的步驟能夠包括:將丟包率與預(yù)先確定的閾值比較；如果丟包率不小于預(yù)先確定的閾值，確定重復(fù)包應(yīng)該被產(chǎn)生，否則，確定不需要重復(fù)。
[0025]信道狀態(tài)信息能夠進(jìn)一步包括丟包涉及持續(xù)丟包還是突發(fā)丟包。
[0026]確定重復(fù)模式的步驟能夠包括:如果丟包涉及持續(xù)丟包，設(shè)置重復(fù)塊長度為I個包長；否則，如果丟包涉及突發(fā)丟包，設(shè)置重復(fù)塊長度不小于突發(fā)丟失窗口。
[0027]預(yù)先確定的閾值能夠是能夠被網(wǎng)絡(luò)中現(xiàn)存的糾錯機(jī)制糾正的最大丟包率。
[0028]關(guān)鍵包能夠包括視頻的I幀和/或網(wǎng)絡(luò)中現(xiàn)存的糾錯機(jī)制的糾錯包。
[0029]所述現(xiàn)存的糾錯機(jī)制能夠包括LPR機(jī)制,并且糾錯包是LPR恢復(fù)包。
[0030]編碼多媒體數(shù)據(jù)的步驟能夠包括減小編碼器帶寬以便為重復(fù)帶寬保存帶寬。
[0031]減小編碼器帶寬的步驟能夠包括減小多媒體數(shù)據(jù)的一部分的編碼器帶寬，并且保持多媒體數(shù)據(jù)的其它部分的編碼器帶寬。
[0032]本文描述的實(shí)施例能夠采用重復(fù)包策略來將丟包降低到一些諸如視頻LPR之類的糾錯機(jī)制能夠處理的范圍并且該重復(fù)包策略不會涉及額外的延遲。特別地，重復(fù)包策略能夠重復(fù)多媒體數(shù)據(jù)的一些重要的包。例如，視頻LPR涉及對于恢復(fù)丟失的包很重要的恢復(fù)包。同樣地，在視頻中諸如I幀之類的關(guān)鍵幀能夠被用來隱藏視頻偽像。因此，這些包的重復(fù)在大型丟包的情況下改善了視頻質(zhì)量。
[0033]本文描述的至少一些實(shí)施例能夠在M⑶(多點(diǎn)控制單元)端中工作來為人員視頻(People video)和內(nèi)容視頻(Content video)提供不同的策略,為不同的客戶提供不同的策略。不同的策略會得到更好的用戶體驗(yàn)。例如，在Polycom會議解決方案中有兩種視頻類型:人員和內(nèi)容。在一些實(shí)施例中，內(nèi)容視頻僅僅被MCU轉(zhuǎn)發(fā)，而不會在MCU端被解碼/編碼。對于發(fā)送內(nèi)容視頻的客戶，MCU根據(jù)內(nèi)容視頻和人員視頻花費(fèi)的帶寬開銷來降低人員視頻的帶寬。
[0034]本文描述的實(shí)施例同樣能夠處理突發(fā)丟包。在突發(fā)丟包的情況下，可以涉及重復(fù)窗口或重復(fù)塊。重復(fù)窗口或重復(fù)塊的長度定義了有多少重復(fù)包被歸組到一起，作為跟隨相同數(shù)量的相應(yīng)編碼包的一個塊被發(fā)送。I個包長的重復(fù)塊長度意味著重復(fù)包將緊接著相應(yīng)的編碼包。η個包長的重復(fù)塊長度意味著η個重復(fù)包的塊跟隨著η個編碼包的相應(yīng)塊。能夠限制窗口的最大值來避免過多的延遲。
[0035]總的來說，本文描述的配置易于實(shí)現(xiàn)且有效，不牽涉系統(tǒng)復(fù)雜度和延遲。此外，它能夠處理突發(fā)丟包。

【專利附圖】

【附圖說明】
[0036]被看作是本發(fā)明的主題將在說明書后面的權(quán)利要求書中加以特別地指出和清楚地要求保護(hù)。本發(fā)明前面提到的以及其它的特征和優(yōu)點(diǎn)將在下文中結(jié)合附圖進(jìn)行的詳細(xì)描述中變得清楚明白。
[0037]圖1圖示了根據(jù)本發(fā)明的一個實(shí)施例的多媒體編碼設(shè)備的框圖。
[0038]圖2圖示了根據(jù)本發(fā)明的一個實(shí)施例的多媒體編碼方法的流程圖。
[0039]圖3圖示了根據(jù)本發(fā)明的一個實(shí)施例的特定重復(fù)模式確定過程的流程圖。
[0040]應(yīng)當(dāng)指出的是，本發(fā)明公開的實(shí)施例只是本文創(chuàng)新教導(dǎo)的許多有利的使用的示例。一般而言，本申請說明書中所做的陳述不必要限制任何不同的要求保護(hù)的發(fā)明。而且，一些陳述可以適用于一些發(fā)明的特征而不適用于其它。一般而言，除非另外指示，單數(shù)的元件可以是復(fù)數(shù)的而不失一般性，反之亦然。在附圖中，相同的數(shù)字在若干視圖中指代相同的部分。

【具體實(shí)施方式】
[0041]本發(fā)明的一些實(shí)施例將通過參考附圖的方式如下詳細(xì)描述。
[0042]圖1圖示了根據(jù)本發(fā)明的一個實(shí)施例的多媒體編碼設(shè)備100的框圖。圖1圖示了多媒體編碼設(shè)備100的一種實(shí)現(xiàn)，該實(shí)現(xiàn)的變形同樣是可能的。出于易于解釋的目的，本發(fā)明在經(jīng)由實(shí)時傳輸協(xié)議(RTP)網(wǎng)絡(luò)傳輸視頻數(shù)據(jù)的環(huán)境下加以描述。但是，本領(lǐng)域的技術(shù)人員知曉本發(fā)明完全不局限于視頻數(shù)據(jù)和RTP網(wǎng)絡(luò)。相反，本發(fā)明能夠被應(yīng)用于所有類型的多媒體數(shù)據(jù)和傳輸協(xié)議或網(wǎng)絡(luò)。
[0043]如圖1所示，多媒體編碼設(shè)備100包括編碼器101。編碼器101編碼多媒體數(shù)據(jù)來產(chǎn)生多個編碼包。盡管編碼器101能夠單獨(dú)產(chǎn)生包，但是它在圖1中被圖示為與某個打包器(比如圖示的RTP發(fā)送器103)協(xié)同合作來產(chǎn)生包。在圖示的示例中，編碼器101可以是視頻編碼器。視頻編碼器可以是多種或多或少以常規(guī)方式運(yùn)行的視頻編碼器中的任何一種。例如，視頻編碼器能夠根據(jù)H.261、H.263,H.264、MPEG_2或MPEG-4視頻壓縮標(biāo)準(zhǔn)運(yùn)行。可替換地，視頻編碼器能夠根據(jù)多種專有視頻編碼技術(shù)中的任何一種來運(yùn)行。
[0044]編碼器101的輸出(在本示例中為視頻數(shù)據(jù))能夠被提供給多媒體編碼設(shè)備100的可選加密模塊102，它同樣可以是多種已知類型中的任何一種。加密的視頻數(shù)據(jù)(或未加密的視頻數(shù)據(jù)，如果未使用加密的話)能夠被提供給RTP發(fā)送器103，RTP發(fā)送器103同樣可以是常規(guī)的。RTP發(fā)送器103從接收到的視頻數(shù)據(jù)產(chǎn)生RTP包，并將產(chǎn)生的RTP包輸出給多媒體編碼設(shè)備100的LPR模塊104。之后LPR模塊104對RTP包重新打包來產(chǎn)生數(shù)據(jù)包和恢復(fù)包，正如下面將更詳細(xì)地描述的。
[0045]LPR模塊104能夠執(zhí)行丟包恢復(fù)功能。特別地，在每個保護(hù)周期期間，LPR模塊104接收來自RTP發(fā)送器103的RTP包，對RTP包重新打包來產(chǎn)生數(shù)據(jù)包和恢復(fù)包?；謴?fù)包本質(zhì)上涉及用于恢復(fù)包中某些丟失信息的冗余信息。多媒體數(shù)據(jù)的接收端能夠使用接收到的數(shù)據(jù)包和恢復(fù)包來恢復(fù)丟失的包(如果有的話)。更長的保護(hù)周期提供更有效的包再生或更高的恢復(fù)能力，但是產(chǎn)生了更多的等待時間。為了保持等待時間可接受，LPR模塊104具有最大恢復(fù)能力。也就是說，當(dāng)丟失率不高于10%時它能夠恢復(fù)丟失的包。同樣由于保護(hù)周期的限制，LPR模塊104對于突發(fā)丟包不能高效地工作。
[0046]信道狀態(tài)接收器105被包含進(jìn)來用于接收來自網(wǎng)絡(luò)的諸如丟包和其它信道統(tǒng)計信息之類的信道狀態(tài)信息。在RTP網(wǎng)絡(luò)中，信道狀態(tài)信息能夠從RTCP (RTP控制協(xié)議)報告中被接收，包括RTCP SR/RR (發(fā)送器報告/接收器報告)報告。在一個實(shí)施例中，接收到的信道狀態(tài)信息包括關(guān)于丟包涉及持續(xù)丟包還是突發(fā)丟包的信息。因此，信道狀態(tài)接收器105能夠指示出丟包涉及持續(xù)丟包還是突發(fā)丟包。
[0047]接收信道狀態(tài)信息后，信道狀態(tài)接收器105向多媒體編碼設(shè)備100中的重復(fù)模式確定器106提供接收到的信道狀態(tài)信息。重復(fù)模式確定器106根據(jù)信道狀態(tài)信息確定重復(fù)模式，包括根據(jù)信道狀態(tài)信息確定是否重復(fù)來自LPR模塊104 (或一些其它恢復(fù)機(jī)制)或RTP發(fā)送器103 (如果不存在恢復(fù)機(jī)制)的包，以及為重復(fù)模式確定重復(fù)率和/或重復(fù)塊長度。重復(fù)率可以是重復(fù)包數(shù)量與編碼包數(shù)量的比率。
[0048]在一個實(shí)施例中，重復(fù)模式確定器106可以進(jìn)一步包括用于將接收到的信道狀態(tài)信息與預(yù)先確定的閾值比較的比較器(未示出在圖1中)。信道狀態(tài)信息能夠包括丟包率，預(yù)先確定的閾值能夠是在多媒體編碼設(shè)備100中在不采用本文描述的重復(fù)解決方案的情況下能夠被處理的最大丟包率。例如，如果采用LPR技術(shù)，預(yù)先確定的閾值可以是10%。本領(lǐng)域的技術(shù)人員知曉它可以是更小的值以便保證更好的視頻質(zhì)量?？商鎿Q地，預(yù)先確定的閾值對于其它類型的信道狀態(tài)信息和/或?qū)τ谄渌謴?fù)機(jī)制和/或?qū)τ诓煌阅苄枨罂梢允瞧渌?。重?fù)模式確定器106能夠確定設(shè)備的丟包恢復(fù)能力，并相應(yīng)地確定閾值。如果比較器的比較結(jié)果是丟包率小于預(yù)先確定的閾值，重復(fù)模式確定器106按照一個降低步長來降低當(dāng)前的重復(fù)率，否則，按照一個增加步長來增加當(dāng)前的重復(fù)率。增加步長和降低步長可以是相同的或是不同的。一旦重復(fù)率達(dá)到最大或最小重復(fù)率，重復(fù)模式確定器106能夠停止增加或降低重復(fù)率。在另一個實(shí)施例中，如果丟包率超過第二閾值，重復(fù)模式確定器106能夠增加增加步長，以便更快地改善視頻質(zhì)量。第二閾值大于前文提到的預(yù)先確定的閾值。可替換地，如果比較器的比較結(jié)果是丟包率不小于預(yù)先確定的閾值，重復(fù)模式確定器106能夠確定應(yīng)該產(chǎn)生一個或更多重復(fù)包(例如確定重復(fù)率為預(yù)置的比率)，否則，確定不需要重復(fù)(即確定重復(fù)率為O)。
[0049]在另一個實(shí)施例中，信道狀態(tài)信息進(jìn)一步包括丟包涉及持續(xù)丟包還是突發(fā)丟包的信息。重復(fù)模式或參數(shù)能夠根據(jù)該信息被調(diào)整。例如，如果丟包涉及持續(xù)丟包，重復(fù)模式確定器106設(shè)置重復(fù)塊長度為I個包長。如果丟包涉及突發(fā)丟包，重復(fù)模式確定器106設(shè)置重復(fù)塊長度為不小于突發(fā)丟失窗口。重復(fù)塊長度定義了有多少重復(fù)包被歸組到一起，作為一個塊跟隨相同數(shù)量的相應(yīng)編碼包被發(fā)送。I個包長的重復(fù)塊長度意味著重復(fù)包將緊接著相應(yīng)的編碼包。η個包長的重復(fù)塊長度意味著η個重復(fù)包的塊跟隨著η個編碼包的相應(yīng)塊。
[0050]在重復(fù)模式確定器106確定了重復(fù)模式和/或參數(shù)后，確定的重復(fù)模式和/或參數(shù)被提供給重復(fù)產(chǎn)生器107，該重復(fù)產(chǎn)生器107根據(jù)確定的重復(fù)模式和/或參數(shù)產(chǎn)生一個或更多關(guān)鍵包的一個或更多重復(fù)包，其中關(guān)鍵包是對于解碼已編碼的多媒體數(shù)據(jù)而言比其它包更重要的包。在一個實(shí)施例中，關(guān)鍵包包括視頻的一個或更多I幀和/或設(shè)備中采用的糾錯機(jī)制中的一個或更多糾錯包。當(dāng)采用LPR機(jī)制時，所述的一個或更多糾錯包能夠是一個或更多LPR恢復(fù)包。最后，重復(fù)產(chǎn)生器107能夠向傳輸器提供編碼包和重復(fù)包以便在網(wǎng)絡(luò)上傳輸。由于重復(fù)產(chǎn)生器107僅僅重復(fù)一些包，因此接收端不需要進(jìn)行復(fù)雜的變化來適應(yīng)變化的多媒體包流。如果包被正確接收，其重復(fù)包能夠被丟棄。如果包沒有被正確接收或是被丟失，其重復(fù)包將被接收和采用。
[0051]在另一個實(shí)施例中，為了確保多媒體編碼設(shè)備100的發(fā)送帶寬是穩(wěn)定的，編碼器101能夠在編碼多媒體數(shù)據(jù)時減小編碼器帶寬，以便為重復(fù)帶寬開銷保存帶寬。特別地，多媒體編碼設(shè)備100的發(fā)送帶寬能夠等于帶寬開銷和編碼器帶寬之和。相應(yīng)地，編碼器101可以例如降低編碼器幀率和/或編碼率來降低編碼器帶寬，以便保證視頻質(zhì)量。通過這種方式，發(fā)送帶寬不會由于一個或更多重復(fù)包而波動。
[0052]編碼器101能夠減小多媒體數(shù)據(jù)的一部分的編碼器帶寬，并且保持多媒體數(shù)據(jù)的其它部分的編碼器帶寬。例如，根據(jù)本發(fā)明的實(shí)施例的多媒體編碼設(shè)備100能夠部署在Polycom會議解決方案的MCU (多點(diǎn)控制單元)端。在Polycom會議解決方案中有兩種視頻類型:人員視頻和內(nèi)容視頻。在一些實(shí)施例中，內(nèi)容視頻僅僅被MCU轉(zhuǎn)發(fā)，而不會在MCU端被解碼/編碼。MCU端僅僅解碼/編碼人員視頻。對于發(fā)送內(nèi)容視頻的客戶，MCU按照內(nèi)容視頻和人員視頻花費(fèi)的帶寬開銷來降低人員視頻的帶寬。
[0053]圖2圖示了根據(jù)本發(fā)明一個實(shí)施例的多媒體編碼方法200的流程圖。如圖2所示，多媒體編碼方法開始于步驟210。在步驟220，該方法從網(wǎng)絡(luò)接收諸如丟包和其它信道統(tǒng)計信息之類的信道狀態(tài)信息。例如，信道狀態(tài)信息能夠經(jīng)由RTP網(wǎng)絡(luò)中的RTCP SR/RR報告被接收。接收到的信道狀態(tài)信息能夠進(jìn)一步包括關(guān)于丟包涉及持續(xù)丟包還是突發(fā)丟包的信息。
[0054]在步驟230，該方法根據(jù)接收到的信道狀態(tài)信息確定重復(fù)率。例如，根據(jù)接收到的丟包率來確定重復(fù)率。根據(jù)一個實(shí)施例，步驟230進(jìn)一步包括將接收到的丟包率與預(yù)先確定的閾值比較，來確定接收的丟包率是否超過預(yù)先確定的閾值。預(yù)先確定的閾值可以是在沒有本文描述的重復(fù)解決方案的情況下能夠被處理的最大丟包率。在采用LPR技術(shù)的情況下，預(yù)先確定的閾值可以是10%。本領(lǐng)域的技術(shù)人員知曉它可以是更小的值以便保證更好的視頻質(zhì)量?？商鎿Q地，預(yù)先確定的閾值對于其它類型的信道狀態(tài)信息和/或?qū)τ谄渌謴?fù)機(jī)制和/或?qū)τ诓煌阅苄枨罂梢允瞧渌?。比較步驟能夠進(jìn)一步包括確定系統(tǒng)的丟包恢復(fù)能力和相應(yīng)地確定閾值的子步驟。
[0055]根據(jù)一個實(shí)施例，步驟230進(jìn)一步包括，如果比較結(jié)果是丟包率不小于預(yù)先確定的閾值，則按照一個增加步長來增加當(dāng)前的重復(fù)率，否則，按照一個降低步長來降低當(dāng)前的重復(fù)率。增加步長和降低步長可以是相同的或不同的。一旦重復(fù)率達(dá)到最大或最小重復(fù)率，步驟230能夠停止增加或降低重復(fù)率。在另一個實(shí)施例中，如果丟包率超過第二閾值，步驟230增加增加步長以便更快地改善視頻質(zhì)量。第二閾值大于前述的預(yù)先確定的閾值?？商鎿Q地，如果比較結(jié)果是丟包率不小于預(yù)先確定的閾值，步驟230確定應(yīng)該產(chǎn)生一個或更多重復(fù)包(例如以預(yù)置的重復(fù)率)，否則，確定不需要重復(fù)(即確定重復(fù)率為O)。確定重復(fù)率的特定細(xì)節(jié)將在下文中參考圖3來描述。
[0056]在步驟240，該方法檢查接收到的信道狀態(tài)信息來確定丟包涉及持續(xù)丟包還是突發(fā)丟包。如果它涉及持續(xù)丟包，該方法進(jìn)行到步驟252，否則，該方法進(jìn)行到步驟254。
[0057]在步驟252,重復(fù)塊長度被設(shè)置為I個包長,而在步驟254,重復(fù)塊長度被設(shè)置為不小于突發(fā)丟失窗口。
[0058]確定了重復(fù)率和重復(fù)塊長度后，該方法進(jìn)行編碼多媒體數(shù)據(jù)來產(chǎn)生多個編碼包。步驟260能夠包括減小編碼器帶寬以便為重復(fù)帶寬開銷保存帶寬的子步驟。編碼步驟能夠減小多媒體數(shù)據(jù)的一部分的編碼器帶寬，并且保持多媒體數(shù)據(jù)的其它部分的編碼器帶寬。
[0059]在步驟260產(chǎn)生編碼包后，該方法進(jìn)行步驟270，根據(jù)確定的重復(fù)模式(例如重復(fù)是否是必要的以及，如果是必要的，重復(fù)率和重復(fù)塊長度)來產(chǎn)生一個或更多關(guān)鍵包的一個或更多重復(fù)包，其中關(guān)鍵包是對于解碼已編碼的多媒體數(shù)據(jù)而言比其它包更重要的包。關(guān)鍵包能夠包括視頻的一個或更多I幀和/或網(wǎng)絡(luò)中現(xiàn)存的糾錯機(jī)制的一個或更多糾錯包。當(dāng)LPR機(jī)制作為糾錯機(jī)制被采用時，一個或更多糾錯包能夠是一個或更多LPR恢復(fù)包。
[0060]最后，在步驟280，該方法例如輸出編碼包和重復(fù)包給傳輸器以便在網(wǎng)絡(luò)上傳輸。
[0061]根據(jù)一個實(shí)施例的多媒體編碼設(shè)備和方法已在上文中參考其框圖和流程圖加以解釋?，F(xiàn)在將參考圖3詳細(xì)描述特定的重復(fù)模式確定過程。
[0062]圖3圖示了根據(jù)本發(fā)明一個實(shí)施例的特定的重復(fù)模式確定過程300的流程圖。該流程圖給出了如何確定重復(fù)模式的特定實(shí)現(xiàn)。但是本發(fā)明絕不能被限制在所述的特定實(shí)現(xiàn)中。
[0063]在步驟310,該過程開始于設(shè)置下列參數(shù)的默認(rèn)值:Duplicat1n_Rate,Duplicat1n_Rate_Down_Step 和 Duplicat1n_Rate_Up_Step。Duplicat1n_Rate 指重復(fù)包的比率。Duplicat1n_Rate_Down_Step指一旦滿足某個條件時用于降低重復(fù)率的步長。降低重復(fù)率的過程將在下面解釋。Dupl icat1n_Rate_Up_Step指一旦滿足某個條件時用于增加重復(fù)率的步長。增加重復(fù)率的過程同樣將在下面解釋。
[0064]在步驟320，將接收到的丟包率與預(yù)先確定的閾值比較來確定接收到的丟包率是否小于預(yù)先確定的閾值。在這個實(shí)現(xiàn)中，預(yù)先確定的閾值被設(shè)置為10%。如果步驟320的比較結(jié)果為“是”，即丟包率小于10%，該過程進(jìn)行到步驟334。否則，該過程進(jìn)行到步驟332。
[0065]在步驟332確定是否達(dá)到最大的重復(fù)率即Duplicat1n_Rate_Max。例如，Duplicat1n_Rate_Max可以被設(shè)置為100%。本領(lǐng)域的技術(shù)人員知曉Duplicat1n_Rate_Max可以被設(shè)置為更大的值，100%僅僅是一個示例。一旦Duplicat1n_Rate達(dá)到Duplicat1n_Rate_Max,即步驟 332 的分支“是”，過程 300 停止增加 Duplicat1n_Rate 并進(jìn)行到步驟356。否則，如果Duplicat1n_Rate還沒有達(dá)到Duplicat1n_Rate_Max,該過程進(jìn)行到步驟342。
[0066]在步驟356,由于重復(fù)率達(dá)到Duplicat1n_Rate_Max,并且丟包率不小于預(yù)先確定的閾值，步驟356會告訴編碼器只編碼關(guān)鍵幀(I幀)來隱藏丟包牽涉的偽像。然后過程300進(jìn)行到步驟360。
[0067]在步驟342,執(zhí)行 Duplicat1n_Rate_Up_Step 判決來確定優(yōu)選的 Duplicat1n_Rate_Up_Step。特別地,如果丟包率太大,Duplicat1n_Rate_Up_Step應(yīng)該被設(shè)置得更大。例如，在丟失率>15%的情況下，Duplicat1n_Rate_Up_Step=30%,在15%>丟失率>12%的情況下，Duplicat1n_Rate_Up_Step=20%?在該判決后，該過程進(jìn)行到步驟352。
[0068]在步驟352, Duplicat1n_Rate_Up_Step 被添加到 Duplicat1n_Rate 來更新Duplicat1n_Rate。這個步驟是增加重復(fù)率的步驟。之后該過程進(jìn)行到步驟360。
[0069]如上指示，如果步驟320的結(jié)果為“是”，該過程進(jìn)行到步驟334。在步驟334確定是否達(dá)到最小重復(fù)率即Duplicat1n_Rate_Min。例如,Duplicat1n_Rate_Min可以被設(shè)置為O。如果“是”，該過程直接進(jìn)行到步驟360。否則，如果還沒有達(dá)到最小重復(fù)率，該過程進(jìn)行步驟354。
[0070]在步驟354, Duplicat1n_Rate_Down_Step 從 Duplicat1n_Rate 中被減去來更新Duplicat1n_Rate。這個步驟是降低重復(fù)率的步驟。之后該過程進(jìn)行到步驟360。
[0071]在步驟360，該過程檢查接收到的信道狀態(tài)信息來確定丟包涉及持續(xù)丟包還是突發(fā)丟包。如果它涉及持續(xù)丟包，該過程進(jìn)行到步驟364，否則，該過程進(jìn)行到步驟362。
[0072]在步驟364，Duplicat1n_Block_Len (重復(fù)塊長度)被設(shè)置為I個包長，而在步驟362,Duplicat1n_Block_Len 被設(shè)置為不小于 Burst_Loss_Window (突發(fā)丟失窗口)。在設(shè)置重復(fù)塊長度后，該過程進(jìn)行到步驟374。步驟374根據(jù)確定的重復(fù)模式和/或參數(shù)計算源于重復(fù)的比特率開銷，并相應(yīng)地減小編碼器比特率。同時，為一個或更多包產(chǎn)生一個或更多重復(fù)包。能夠給予諸如I幀和恢復(fù)包之類的關(guān)鍵包更高的優(yōu)先級。即關(guān)鍵包對于包重復(fù)而言具有更高的優(yōu)先級。之后該過程進(jìn)行到步驟380并以輸出編碼包和重復(fù)包結(jié)束。
[0073]在上文中參考附圖和本發(fā)明的優(yōu)選實(shí)施例詳細(xì)描述了本發(fā)明。但是，本領(lǐng)域的技術(shù)人員知曉上文的詳細(xì)描述僅僅為了解釋本發(fā)明，而絕對不是將本發(fā)明的保護(hù)范圍限制在上面的特定實(shí)施例中。本發(fā)明的范圍僅僅由權(quán)利要求限定。在不偏離權(quán)利要求限定范圍的情況下，本領(lǐng)域的技術(shù)人員能夠?qū)ι鲜鰧?shí)施例做出任何修改和變形，這些修改和變形同樣落入到本發(fā)明的保護(hù)范圍之內(nèi)。
[0074]在權(quán)利要求中，任何括號內(nèi)的參考標(biāo)記不能被解釋為對權(quán)利要求的限制。詞“包括”不排除權(quán)利要求中所列組件或步驟以外的組件或步驟的存在。組件前的詞“一”或“一個”不排除有多個組件。
[0075]本發(fā)明既可以由包含不同組件的硬件來實(shí)現(xiàn)，也可以由適當(dāng)編程的計算機(jī)實(shí)現(xiàn)。在列出若干裝置的設(shè)備權(quán)利要求中，所述若干裝置能夠由一個或更多硬件實(shí)體實(shí)現(xiàn)。僅僅在相互不同的從屬權(quán)利要求中記載一些措施這個事實(shí)并不意味著這些措施的組合不能夠被有利地使用。
【權(quán)利要求】
1.一種用于編碼多媒體數(shù)據(jù)的多媒體編碼設(shè)備，包括: 用于從網(wǎng)絡(luò)接收信道狀態(tài)信息的信道狀態(tài)接收器； 用于根據(jù)信道狀態(tài)信息確定重復(fù)模式的重復(fù)模式確定器； 用于編碼多媒體數(shù)據(jù)來產(chǎn)生多個編碼包的編碼器；以及 用于根據(jù)確定的重復(fù)模式產(chǎn)生關(guān)鍵包的重復(fù)包的重復(fù)產(chǎn)生器，其中該關(guān)鍵包對于解碼已編碼的多媒體數(shù)據(jù)而言比其它包更重要。
2.如權(quán)利要求1所述的多媒體編碼設(shè)備，其中信道狀態(tài)信息包括丟包率。
3.如權(quán)利要求2所述的多媒體編碼設(shè)備，其中重復(fù)模式確定器進(jìn)一步根據(jù)丟包率為重復(fù)模式確定重復(fù)率。
4.如權(quán)利要求3所述的多媒體編碼設(shè)備，其中重復(fù)模式確定器進(jìn)一步包括用于將丟包率與預(yù)先確定的閾值比較的比較器， 如果丟包率不小于預(yù)先確定的閾值，重復(fù)模式確定器按照一個增加步長來增加當(dāng)前的重復(fù)率， 否則，重復(fù)模式確定器按照一個降低步長來降低當(dāng)前的重復(fù)率。
5.如權(quán)利要求3所述的多媒體編碼設(shè)備，其中重復(fù)模式確定器進(jìn)一步包括用于將丟包率與預(yù)先確定的閾值比較的比較器， 如果丟包率不小于預(yù)先確定的閾值，重復(fù)模式確定器確定應(yīng)該產(chǎn)生重復(fù)包， 否則，確定不需要重復(fù)。
6.如權(quán)利要求4所述的多媒體編碼設(shè)備，其中信道狀態(tài)信息進(jìn)一步包括丟包涉及持續(xù)丟包還是突發(fā)丟包。
7.如權(quán)利要求6所述的多媒體編碼設(shè)備，其中如果丟包涉及持續(xù)丟包，重復(fù)模式確定器設(shè)置重復(fù)塊長度為1個包長，如果丟包涉及突發(fā)丟包，設(shè)置重復(fù)塊長度不小于突發(fā)丟失窗口。
8.如權(quán)利要求4所述的多媒體編碼設(shè)備，進(jìn)一步包括糾錯機(jī)制，其中預(yù)先確定的閾值是能夠被該糾錯機(jī)制糾正的最大丟包率。
9.如權(quán)利要求1至8的任一項所述的多媒體編碼設(shè)備，其中關(guān)鍵包包括視頻的I幀和/或糾錯機(jī)制的糾錯包。
10.如權(quán)利要求9所述的多媒體編碼設(shè)備，其中糾錯機(jī)制包括丟包恢復(fù)機(jī)制，并且糾錯包是恢復(fù)包。
11.如權(quán)利要求1所述的多媒體編碼設(shè)備，其中編碼器在編碼多媒體數(shù)據(jù)時減小編碼器帶寬，以便為重復(fù)包保存帶寬。
12.如權(quán)利要求11所述的多媒體編碼設(shè)備，其中編碼器減小多媒體數(shù)據(jù)的一部分的編碼器帶寬，并且保持多媒體數(shù)據(jù)的其它部分的編碼器帶寬。
13.—種在網(wǎng)絡(luò)上編碼多媒體數(shù)據(jù)的方法，該方法包括: 接收來自網(wǎng)絡(luò)的信道狀態(tài)信息； 根據(jù)信道狀態(tài)信息確定重復(fù)模式； 編碼多媒體數(shù)據(jù)來產(chǎn)生多個編碼包； 根據(jù)確定的重復(fù)模式產(chǎn)生關(guān)鍵包的重復(fù)包，其中該關(guān)鍵包對于解碼已編碼的多媒體數(shù)據(jù)而言比其它包更重要；以及 在網(wǎng)絡(luò)上輸出編碼包和重復(fù)包。
14.如權(quán)利要求13所述的方法，其中信道狀態(tài)信息包括丟包率。
15.如權(quán)利要求14所述的方法，其中確定重復(fù)模式進(jìn)一步包括根據(jù)丟包率為重復(fù)模式確定重復(fù)率。
16.如權(quán)利要求15所述的方法，其中確定重復(fù)率包括: 將丟包率與預(yù)先確定的閾值比較； 如果丟包率不小于預(yù)先確定的閾值，按照一個增加步長來增加當(dāng)前的重復(fù)率， 否則，按照一個降低步長來降低當(dāng)前的重復(fù)率。
17.如權(quán)利要求15所述的方法，其中確定重復(fù)率包括: 將丟包率與預(yù)先確定的閾值比較； 如果丟包率不小于預(yù)先確定的閾值，確定應(yīng)該產(chǎn)生重復(fù)包， 否則，確定不需要重復(fù)。
18.如權(quán)利要求16所述的方法，其中信道狀態(tài)信息進(jìn)一步包括丟包涉及持續(xù)丟包還是突發(fā)丟包。
19.如權(quán)利要求18所述的方法，其中確定重復(fù)模式包括: 如果丟包涉及持續(xù)丟包，設(shè)置重復(fù)塊長度為1個包長； 否則，如果丟包涉及突發(fā)丟包，設(shè)置重復(fù)塊長度不小于突發(fā)丟失窗口。
20.如權(quán)利要求16所述的方法，其中預(yù)先確定的閾值是能夠被網(wǎng)絡(luò)中現(xiàn)存的糾錯機(jī)制糾正的最大丟包率。
21.如權(quán)利要求13至20的任一項所述的方法，其中關(guān)鍵包包括視頻的I幀和丨或網(wǎng)絡(luò)中現(xiàn)存的糾錯機(jī)制的糾錯包。
22.如權(quán)利要求21所述的方法，其中現(xiàn)存的糾錯機(jī)制包括丟包恢復(fù)⑶!?機(jī)制，并且糾錯包是恢復(fù)包。
23.如權(quán)利要求13所述的方法，其中編碼多媒體數(shù)據(jù)包括減小編碼器帶寬以便為重復(fù)包保存帶寬。
24.如權(quán)利要求23所述的方法，其中減小編碼器帶寬包括減小多媒體數(shù)據(jù)的一部分的編碼器帶寬，并保持多媒體數(shù)據(jù)的其它部分的編碼器帶寬。
【文檔編號】H04N7/15GK104348577SQ201310330948
【公開日】2015年2月11日 申請日期:2013年8月1日 優(yōu)先權(quán)日:2013年8月1日
【發(fā)明者】郭啟行 申請人:波利康公司