專利名稱：用于產(chǎn)生發(fā)送幀的設(shè)備和方法
技術(shù)領(lǐng)域：
本發(fā)明屬于通信領(lǐng)域，并且尤其涉及在例如因特網(wǎng)的通信網(wǎng)絡(luò)上的信號(hào)傳輸領(lǐng)域。
背景技術(shù)：
因特網(wǎng)上的視頻流—或者其中很多用戶共享資源的任何其它類型的網(wǎng)絡(luò)—始終面臨如下問題在路徑上的一點(diǎn)或多點(diǎn)上，網(wǎng)絡(luò)節(jié)點(diǎn)處的輸入速率可能高于輸出速率。這導(dǎo)致了該節(jié)點(diǎn)的不斷增加的緩沖器充滿度，并最終導(dǎo)致分組丟失。對(duì)于視頻信號(hào)，如果可以支持比輸出鏈路多的業(yè)務(wù)量到達(dá)，則視頻數(shù)據(jù)必須被變碼到較低速率，或者視頻分組必須被丟棄。
變碼是計(jì)算昂貴的并且隨機(jī)丟棄對(duì)視頻質(zhì)量有負(fù)面影響?？蓴U(kuò)展視頻提供了首先丟棄視頻比特流的較不重要部分的機(jī)會(huì)，這導(dǎo)致了隨著業(yè)務(wù)量增長(zhǎng)的適度退化。
視頻分組的服務(wù)質(zhì)量(QOS)標(biāo)記以及網(wǎng)絡(luò)節(jié)點(diǎn)中的優(yōu)先級(jí)機(jī)制支持重要性受控的數(shù)據(jù)丟棄。分組的標(biāo)記(重要性)在傳輸前由發(fā)送方確定，并且不包括實(shí)際傳輸情況。這在分組的重要性沿著傳輸路徑可能改變時(shí)是不利的。
以下通過示例，將考慮具有時(shí)間可伸縮性的視頻流，該流具有如下的圖像組結(jié)構(gòu)IBBPBBP...。如果網(wǎng)絡(luò)節(jié)點(diǎn)丟棄了B-幀，則其它幀不受影響。然而，如果丟棄了I-幀之后的P-幀，則由于直到下一個(gè)I-幀的所有隨后的幀(B-幀和P-幀)都依賴于所丟棄的幀，則其將受到影響。因此，如果第一個(gè)P-幀不得不被丟棄是已知的，則所有隨后的幀的重要性改變。通常，盡管僅存在少數(shù)不同重要性標(biāo)記，但是具有相同標(biāo)記的不同幀將對(duì)在接收機(jī)處的重構(gòu)質(zhì)量具有不同影響。
如由C.香農(nóng)的速率失真理論可知，信息失真隨著速率降低而增加。在此情況下，術(shù)語“失真”指的是對(duì)例如具有特定速率的信號(hào)的采樣和在速率降低后的信號(hào)的采樣之間的差異的某些測(cè)量。
例如，如果圖像組中的特定幀被丟棄，則可以觀察到與由幀丟棄實(shí)現(xiàn)的速率降低相關(guān)聯(lián)的增長(zhǎng)的失真。在接收機(jī)處，當(dāng)例如通過插入包含丟失幀也包含的一些信息的先前接收的幀來重構(gòu)丟失幀的隱蔽策略時(shí)，與丟失幀相關(guān)聯(lián)的信息丟失在接收機(jī)處可以至少被部分地補(bǔ)償。因此，在接收機(jī)處應(yīng)用隱蔽策略之后，所產(chǎn)生的重構(gòu)失真可能不同于在未應(yīng)用任何隱蔽策略時(shí)的失真。在下文中，術(shù)語“重構(gòu)失真”表示在應(yīng)用例如用其它幀替換丟失幀的隱蔽策略之后，在接收機(jī)處觀察到的所得到的信息失真。
Ralph Keller，Sumi Choi，Dan Decasper，Marcel Dasen，GeorgeFankhauser，和Bernhard Plattner在“An Active Router ArchitectureFor Multicast Video Distribution”，Proc.Infocom 2000，Tel Aviv，Israel，March 2000中描述了一種用于可縮放視頻的丟棄策略，該策略可以在主動(dòng)路由器上實(shí)現(xiàn)。然而，由于在應(yīng)用其中公開的丟棄策略之后，失真可能顯著提高，所以不以速率-失真最佳的方式作出丟棄判定。G.Ravindra，N.Balakrishnan，K.R.Ramakrishnan在“Active RouterApproach For Selective Packet Discard Of Streamed MPEG VideoUnder Low Bandwidth Conditions”，Proc.ICME 2000，New York，July 2000中公開了一種視頻幀丟棄策略，該策略丟棄所有依賴于先前丟棄的幀的那些幀。然而，該丟棄判定沒有以速率-失真最佳的方式考慮很多同時(shí)的視頻流，使得特定視頻流遭受了比其它視頻流高得多的失真。

發(fā)明內(nèi)容
本發(fā)明的目的是提供一種速率降低的速率-失真優(yōu)化的構(gòu)思。
該目的由根據(jù)權(quán)利要求1的用于產(chǎn)生發(fā)送幀的設(shè)備或者根據(jù)權(quán)利要求14的通信網(wǎng)絡(luò)節(jié)點(diǎn)、或者根據(jù)權(quán)利要求15的用于產(chǎn)生發(fā)送信號(hào)的設(shè)備或者根據(jù)權(quán)利要求16的用于重構(gòu)丟失幀的設(shè)備、或者根據(jù)權(quán)利要求17的用于產(chǎn)生發(fā)送幀的方法、或者根據(jù)權(quán)利要求18的用于轉(zhuǎn)發(fā)的方法、或者根據(jù)權(quán)利要求19的用于產(chǎn)生發(fā)送信號(hào)的方法、或者根據(jù)權(quán)利要求20的用于重構(gòu)丟失幀的方法或者根據(jù)權(quán)利要求21的計(jì)算機(jī)程序來實(shí)現(xiàn)。
本發(fā)明基于如下發(fā)現(xiàn)當(dāng)考慮到在接收機(jī)處用例如先前發(fā)送的信息幀的替換幀替換未被發(fā)送的信息幀時(shí)在接收機(jī)處所得到的附加重構(gòu)失真時(shí)，作出是發(fā)送信息幀還是不發(fā)送信息幀的判定時(shí)，可以實(shí)現(xiàn)速率-失真最佳的速率降低。換言之，本發(fā)明明確地利用了有關(guān)在應(yīng)用了隱蔽策略之后在接收機(jī)處所得到的重構(gòu)失真的信息，以便補(bǔ)償幀丟失，使得例如將僅不發(fā)送在多個(gè)信息幀中與最小重構(gòu)失真相關(guān)聯(lián)的特定信息幀，以便實(shí)現(xiàn)期望的速率降低。
例如，如果要經(jīng)由不支持與信息信號(hào)相關(guān)聯(lián)的數(shù)據(jù)速率的通信鏈路發(fā)送包括多個(gè)信息幀的信息信號(hào)，則速率降低可能被執(zhí)行。根據(jù)本發(fā)明，提供僅包括信息信號(hào)所包含的信息幀的一個(gè)子集的發(fā)送幀，其中在對(duì)每個(gè)未被插入到發(fā)送幀中的信息幀明確利用這樣產(chǎn)生的附加重構(gòu)失真時(shí)，即所述附加重構(gòu)失真在執(zhí)行例如用其它幀替換丟失幀的隱蔽策略時(shí)在接收機(jī)處被觀察到，確定未被插入到發(fā)送幀中的信息幀。根據(jù)本發(fā)明，對(duì)于未被插入到發(fā)送信號(hào)中的幀僅選擇特定幀組合，該組合與在執(zhí)行隱蔽策略時(shí)在接收機(jī)處的最小附加重構(gòu)失真相關(guān)聯(lián)。以此方式，可以實(shí)現(xiàn)與例如最小可實(shí)現(xiàn)的附加重構(gòu)失真相關(guān)聯(lián)的速率降低。
本發(fā)明還提供了一種多個(gè)信息信號(hào)的共同速率-失真最佳的速率降低的構(gòu)思，所述多個(gè)信息信號(hào)例如是要經(jīng)公共通信鏈路發(fā)送的信息信號(hào)。根據(jù)本發(fā)明，在明確利用與不發(fā)送特定信息信號(hào)的特定信息幀相關(guān)聯(lián)的重構(gòu)失真信息，并且根據(jù)所選擇的隱蔽策略用另一替換幀替換丟失信息幀時(shí)，對(duì)于所有信息信號(hào)共同作出例如應(yīng)當(dāng)丟棄或者不應(yīng)當(dāng)丟棄哪個(gè)信息信號(hào)的哪個(gè)信息幀的判定。確定每個(gè)信息信號(hào)的丟棄模式，其中該丟棄模式指示不被發(fā)送的信息信號(hào)，使得可以總體實(shí)現(xiàn)與最小附加重構(gòu)失真相關(guān)聯(lián)的所需的數(shù)據(jù)速率降低。換言之，為了速率降低，將不發(fā)送僅僅那些對(duì)在接收機(jī)處感知的質(zhì)量影響最小的信息幀。
在例如重業(yè)務(wù)量負(fù)載的情況下，可以在例如主動(dòng)網(wǎng)絡(luò)節(jié)點(diǎn)上應(yīng)用本發(fā)明的速率-失真優(yōu)化的幀丟棄策略。本發(fā)明的方法例如依賴于隨著比特流，例如隨著視頻比特流發(fā)送的輔助信息(side information)。該輔助信息可以包括包含例如每個(gè)圖像的幀大小(用字節(jié)表示)的速率矢量，以及安排給例如失真矩陣的失真值，該失真矩陣優(yōu)選地在均方差(MSE)意義上描述給定特定幀丟失模式時(shí)圖像組的所觀察到的重構(gòu)失真。與基于服務(wù)質(zhì)量的方法相比，本發(fā)明方案提供了較大的靈活性并且支持動(dòng)態(tài)幀重要性控制。當(dāng)比較本發(fā)明的速率-失真優(yōu)化的丟棄構(gòu)思和基于優(yōu)先級(jí)的丟失策略時(shí)，可以觀察到由例如高達(dá)7dB的改善所反映的明顯更好的重構(gòu)質(zhì)量。
此外，速率降低的本發(fā)明的速率-失真優(yōu)化的構(gòu)思使得速率能夠動(dòng)態(tài)適應(yīng)于變化的傳輸特性。為此，還可以考慮有關(guān)指示例如與附加失真相關(guān)聯(lián)的期望的幀丟失速率的信道狀態(tài)信息，以便降低數(shù)據(jù)速率。當(dāng)與傳統(tǒng)的速率適應(yīng)機(jī)制相比較時(shí)，可以實(shí)現(xiàn)例如不同用戶的不同信息信號(hào)的改善質(zhì)量。此外，由于例如關(guān)于重構(gòu)失真值的信息在信號(hào)源處已經(jīng)可以得到，所以所提出的速率-優(yōu)化的速率降低方案易于實(shí)現(xiàn)。此外，不需要客戶機(jī)軟件的修改。
本發(fā)明的另一個(gè)優(yōu)點(diǎn)是不需要與顯著的復(fù)雜度和增長(zhǎng)的延遲相關(guān)聯(lián)的變碼。此外，由于在通信網(wǎng)絡(luò)的路由節(jié)點(diǎn)處可以應(yīng)用簡(jiǎn)單的丟棄策略，以便例如考慮不同的傳輸延遲或者用于存儲(chǔ)要轉(zhuǎn)發(fā)的信息幀的有限的緩沖器大小，所以可以實(shí)現(xiàn)簡(jiǎn)化的通信網(wǎng)絡(luò)上的傳輸方案。此外，可以實(shí)現(xiàn)關(guān)于節(jié)點(diǎn)的重構(gòu)失真值的附加信息的透明傳輸，其中該節(jié)點(diǎn)沒有實(shí)施本發(fā)明機(jī)制。
本發(fā)明的另一個(gè)優(yōu)點(diǎn)是通過利用如下事實(shí)可以實(shí)現(xiàn)全部的用戶所感知的質(zhì)量在明確考慮服務(wù)歷史時(shí)，判定還可以基于關(guān)于對(duì)于速率降低模式的以前的降質(zhì)判定的了解。
本發(fā)明的另一個(gè)優(yōu)點(diǎn)是本發(fā)明的速率-優(yōu)化的速率降低構(gòu)思僅與低實(shí)現(xiàn)復(fù)雜度相關(guān)聯(lián)，并從而與低成本相關(guān)聯(lián)。


參照以下附圖詳細(xì)描述本發(fā)明的其它實(shí)施例，附圖中圖1示出了用于產(chǎn)生發(fā)送幀的本發(fā)明設(shè)備的框圖；圖2展示了本發(fā)明的主動(dòng)網(wǎng)絡(luò)節(jié)點(diǎn)；圖3a展示了拉格朗日乘數(shù)的本發(fā)明內(nèi)插；圖3b展示了拉格朗日乘數(shù)的本發(fā)明內(nèi)插；圖4a展示了本發(fā)明方法的性能；圖4b展示了本發(fā)明方法的性能；圖5a展示了本發(fā)明方法的性能；圖5b展示了本發(fā)明方法的性能；圖6總結(jié)了用于確定本發(fā)明方法的性能的信號(hào)特征；和圖7示出了本發(fā)明通信網(wǎng)絡(luò)場(chǎng)景。
具體實(shí)施例方式
圖1示出了用于根據(jù)信息信號(hào)產(chǎn)生發(fā)送幀的本發(fā)明設(shè)備的框圖。如圖1中所示，信息信號(hào)包括僅作為示例的、按時(shí)間排列的第一信息幀101和第二信息幀103。
該設(shè)備包括用于提供重構(gòu)失真值的提供器105，其中提供器105耦接于用于將第一信息幀或者第二信息幀插入到發(fā)送幀中的單元107。用于插入的單元107包括用于接收信息信號(hào)的輸入和用于提供發(fā)送幀的輸出。
一般而言，用于插入的單元107可以被配置成將M個(gè)信息幀中的N個(gè)信息幀插入到發(fā)送幀中，其中M是大于或等于N的數(shù)，并且其中M指示信息信號(hào)所包含的信息幀數(shù)。
圖1中所示的設(shè)備被配置成以速率-失真優(yōu)化的方式，根據(jù)信息信號(hào)產(chǎn)生發(fā)送幀。為此，提供器105被配置成提供指示在用替換幀替換第一信息幀時(shí)的重構(gòu)失真的第一重構(gòu)失真值，并且提供指示在用替換幀替換第二信息幀時(shí)的重構(gòu)失真的第二重構(gòu)失真值。例如，第一重構(gòu)失真值指示在用例如接收機(jī)接收的在前信息幀替換第一信息幀時(shí)的重構(gòu)失真。因此，第二重構(gòu)失真值可以指示在用例如接收機(jī)接收的其它在前信息幀替換第二信息幀時(shí)的重構(gòu)失真。
為了實(shí)現(xiàn)速率降低，單元107被配置成依賴于第一重構(gòu)失真值或者依賴于第二重構(gòu)失真值，將第一信息幀或者第二信息幀插入到發(fā)送幀中。
一般而言，提供器105可以被配置成提供指示在用任一替換幀替換信息信號(hào)所包含的任一信息幀時(shí)的多個(gè)重構(gòu)失真的多個(gè)重構(gòu)失真值，使得基于所提供的重構(gòu)失真值，用于插入的單元107可以僅將來自信息信號(hào)所包含的信息幀的集合的信息幀的特定子集插入到發(fā)送幀中，其中未被插入的信息幀的子集與最小附加重構(gòu)失真相關(guān)聯(lián)，該最小附加重構(gòu)失真是在例如丟失幀(即，未發(fā)送幀)被在前幀替換以便重構(gòu)信息時(shí)在接收機(jī)處觀察到的附加重構(gòu)失真。
例如，用于插入的單元107被配置成依賴于優(yōu)化目的而將第一信息幀或者第二信息幀插入到發(fā)送幀中，其中優(yōu)化目的可以是共同的速率和附加重構(gòu)失真降低。例如，優(yōu)化目的可以是速率降低和在執(zhí)行隱蔽策略時(shí)，例如在用其它幀替換所發(fā)送的幀時(shí)在接收機(jī)處觀察到的附加重構(gòu)失真之間的折衷。
例如，可以丟棄未被插入到發(fā)送幀中的信息幀。然而，可以預(yù)先存儲(chǔ)未被包括在當(dāng)前發(fā)送幀中的信息幀，使得未被包括的幀可以被包括在例如在以后時(shí)刻的在后發(fā)送幀中，以便減少信息丟失。
根據(jù)本發(fā)明的另一方面，用于插入的單元107可以被配置成為了速率和附加重構(gòu)失真降低，確定不將信息信號(hào)的哪個(gè)信息幀插入到發(fā)送幀中。例如，用于插入的單元107可以被配置成確定指示信息信號(hào)所包含的幀和未被插入到發(fā)送幀中的幀的組合的丟棄模式。因此，用于插入的單元107可以被配置成確定將信息信號(hào)的哪個(gè)信息幀插入到發(fā)送幀中以便傳輸。為此，用于插入的單元107可以包括用于確定不將哪個(gè)信息幀插入到發(fā)送幀中，以便可以實(shí)現(xiàn)例如與最小附加重構(gòu)失真相關(guān)聯(lián)的速率降低的單元。
一般而言，信息信號(hào)可以包括多個(gè)信息幀，其中提供器105可以被配置成提供指示在用任一替換幀替換任一信息幀時(shí)的不同重構(gòu)失真的不同重構(gòu)失真值。在此情況下，用于插入的單元107可以被配置成為了速率和附加重構(gòu)失真降低，確定指示未被插入到發(fā)送幀中的信息幀的組合的丟棄模式。
例如，信息信號(hào)可以進(jìn)一步包括第三信息幀，其中提供器105可以被配置成提供指示在用替換幀替換第三信息幀時(shí)的重構(gòu)失真的第三重構(gòu)失真值。在考慮第三重構(gòu)失真值時(shí)，用于插入的單元107可以被配置成確定信息信號(hào)的哪個(gè)信息幀未被插入到發(fā)送幀中，以便以速率-失真優(yōu)化的方式實(shí)現(xiàn)速率和附加重構(gòu)失真降低。
為了確定信息信號(hào)的哪個(gè)信息幀未被插入到發(fā)送幀中，用于插入的單元107可以被配置成最小化成本函數(shù)，以便可以以最小成本實(shí)現(xiàn)速率降低，其中該最小成本與在未發(fā)送所選擇的信息幀和例如用其它信息幀在接收機(jī)處替換未被發(fā)送的所選信息幀時(shí)所得到的附加重構(gòu)失真相關(guān)聯(lián)。
根據(jù)本發(fā)明的另一方面，圖1中所示的本發(fā)明設(shè)備可以進(jìn)一步包括選擇器，用于選擇信息信號(hào)的幀，哪些幀將被插入到發(fā)送信號(hào)中或者哪些幀將不被插入到發(fā)送信號(hào)中。例如，可以將隨后選擇的信息幀直接插入到發(fā)送幀中，使得在發(fā)送幀中，可以保持所選的幀在信息信號(hào)中出現(xiàn)的順序。然而，用于插入的單元107可以被配置成重新排列所選的信息幀在發(fā)送幀中出現(xiàn)的順序，以及根據(jù)幀速率，例如以幀速率的降序或者升序排列所選的幀。為此，可以考慮例如網(wǎng)絡(luò)擁塞或者當(dāng)前可用的帶寬。
根據(jù)本發(fā)明的另一方面，用于插入的單元107可以被配置成解決優(yōu)化問題，以便確定信息信號(hào)的哪些信息幀將不被插入到發(fā)送幀中，或者以便確定哪些信息幀將被插入到發(fā)送幀中?？梢詫?yōu)化問題建立為成本函數(shù)，該成本函數(shù)將被最小化，以便確定信息信號(hào)的哪個(gè)信息幀將不被插入到發(fā)送幀中。成本函數(shù)可以例如將附加重構(gòu)失真反映作為與降低的數(shù)據(jù)速率相關(guān)聯(lián)的附加成本。然而，成本函數(shù)還可以反映速率降低和在考慮全部丟棄(或扔掉)的幀時(shí)的總重構(gòu)失真的附加增加的組合。
用于插入的單元107可以被配置成最小化成本函數(shù)，以便確定信息信號(hào)的哪些信息幀將不被插入到發(fā)送幀中。
根據(jù)本發(fā)明的另一方面，用于插入的單元107可以被配置成例如參照預(yù)定的幀組合，以便為了與特定重構(gòu)失真相關(guān)聯(lián)的特定數(shù)據(jù)速率降低，確定哪個(gè)幀組合應(yīng)不被插入到發(fā)送信號(hào)中。通過最小化上述的成本函數(shù)的任一個(gè)，例如可以先驗(yàn)地計(jì)算預(yù)定設(shè)置。例如依賴于所需的數(shù)據(jù)速率降低，可以解決指示要被丟棄的幀組合的預(yù)先計(jì)算的設(shè)置。因此，可以迅速確定特定幀組合或者特定幀，以便為了在接收機(jī)處應(yīng)用隱蔽策略時(shí)，以最小的附加重構(gòu)失真實(shí)現(xiàn)例如最小速率降低，丟棄特定幀組合或者特定幀。
根據(jù)本發(fā)明的另一方面，用于插入的單元107可以被配置成借助于計(jì)算最小化成本函數(shù)。例如，用于插入的單元107可以確定要被丟棄的幀的所有可能組合，以便確定速率降低和與其相關(guān)聯(lián)的附加重構(gòu)失真，并且選擇要被丟棄的幀的特定組合，使得成本函數(shù)為其最小值。
例如，成本函數(shù)可以包括與未將信息信號(hào)的特定信息幀插入到發(fā)送幀中相關(guān)聯(lián)的重構(gòu)失真值和在未插入特定幀時(shí)保存的比特?cái)?shù)的差值。換言之，成本函數(shù)可以包括在接收機(jī)處已經(jīng)執(zhí)行了任何隱蔽策略之后不發(fā)送特定信息幀時(shí)的重構(gòu)失真值和數(shù)據(jù)速率的降低的差值。在此情況下，用于插入的單元107可以被配置成確定特定信息幀，使得成本函數(shù)被最小化。
在上述實(shí)施例中，對(duì)于單個(gè)用戶場(chǎng)景或者換言之對(duì)于包含多個(gè)信息幀的單個(gè)信息信號(hào)，滿足了速率-失真優(yōu)化的速率降低的本發(fā)明構(gòu)思。然而，可以將本發(fā)明構(gòu)思應(yīng)用于與例如多個(gè)用戶相關(guān)聯(lián)的多個(gè)信息信號(hào)，其中將經(jīng)由共享媒體，例如，經(jīng)由到遠(yuǎn)程接收機(jī)的公共通信鏈路，發(fā)送其每一個(gè)都包括多個(gè)信息幀的多個(gè)信息信號(hào)。
根據(jù)本發(fā)明的另一方面，本發(fā)明設(shè)備可以被進(jìn)一步配置成根據(jù)其它信息信號(hào)產(chǎn)生其它發(fā)送幀，其中其它信息信號(hào)包括其它第一信息幀和其它第二信息幀。換言之，如已經(jīng)對(duì)于信息信號(hào)所討論的，其它信息信號(hào)可以包括多個(gè)幀。優(yōu)選地，用于提供的單元105被配置成提供指示在用替換幀替換其它第一信息幀時(shí)的重構(gòu)失真的其它第一重構(gòu)失真值，以及提供指示在用替換幀替換其它第二信息幀時(shí)的重構(gòu)失真的其它第二重構(gòu)失真值。
因此，用于插入的單元107可以被配置成依賴于其它第一重構(gòu)失真值或者依賴于其它第二重構(gòu)失真值，將其它第一信息幀或者其它第二信息幀插入到其它發(fā)送幀中。
為了速率和附加重構(gòu)失真降低而確定不將其它信息信號(hào)的哪個(gè)信息幀插入到其它發(fā)送信號(hào)中，用于插入的單元107可以被配置成例如參照與例如其它信息信號(hào)所包含的丟棄幀相關(guān)聯(lián)的重構(gòu)失真值。
因此，其它信息信號(hào)可以包括其它第三信息幀，其中提供器105可以被配置成提供在用替換幀替換其它第三信息幀時(shí)的其它第三重構(gòu)失真值。一般而言，其它信息信號(hào)可以包括多個(gè)其它信息幀，其中提供器105被配置成提供多個(gè)其它重構(gòu)失真值，每一個(gè)其它重構(gòu)失真值都與附加重構(gòu)失真相關(guān)聯(lián)，該附加重構(gòu)失真是在應(yīng)用依賴于幀替換的隱蔽策略時(shí)在接收機(jī)處用另一替換幀替換其它信息信號(hào)的相關(guān)信息幀時(shí)的附加重構(gòu)失真。例如，替換幀可以是先前發(fā)送的同種幀，例如，圖像組中的B-幀或者P-幀。同樣的考慮適用于信息信號(hào)。
一般而言，用于插入的單元107可以被配置成為了速率和附加重構(gòu)失真降低，確定將不被插入到其它發(fā)送信號(hào)中的信息幀的組合(例如，丟棄模式)。
根據(jù)以上描述，用于插入的單元107可以被進(jìn)一步配置成最小化成本函數(shù)，以便確定其它信息信號(hào)的哪些信息幀將不被插入到其它發(fā)送幀中。
此外，用于插入的單元107可以被配置成為了共同的速率和附加重構(gòu)失真降低，共同確定信息信號(hào)的哪個(gè)信息幀將不被插入到發(fā)送幀中，以及其它信息信號(hào)的哪個(gè)信息幀將不被插入到其它發(fā)送幀中。換言之，考慮了與總附加重構(gòu)失真降低相關(guān)聯(lián)的總速率降低。例如，當(dāng)經(jīng)公共通信鏈路，即經(jīng)共享媒體傳送發(fā)送幀和其它發(fā)送幀時(shí)，這是有利的。在此情況下，公共通信鏈路的帶寬確定總的可用數(shù)據(jù)速率。
通常，可以共同考慮多個(gè)信息信號(hào)，以便在同時(shí)考慮對(duì)于例如帶寬或者發(fā)送功率的所分配網(wǎng)絡(luò)資源在例如用戶的信息信號(hào)之間的公平的同時(shí)，為每個(gè)信息信號(hào)確定適合的丟棄模式。
如果要經(jīng)公共通信鏈路傳送發(fā)送幀和其它發(fā)送幀，則本發(fā)明設(shè)備可以包括用于對(duì)信息信號(hào)的信息幀和其它信息信號(hào)的信息幀進(jìn)行排隊(duì)的緩沖器，其中用于確定的單元107可以被配置成依賴于緩沖器長(zhǎng)度或者依賴于緩沖器充滿度，確定信息信號(hào)的哪個(gè)信息幀將不被插入到發(fā)送幀中，以及其它信息信號(hào)的哪個(gè)信息幀將不被插入到其它發(fā)送幀中。
根據(jù)本發(fā)明的另一方面，用于插入的單元107可以被配置成通過最小化成本函數(shù)，確定信息信號(hào)的哪個(gè)信息幀將被插入到發(fā)送幀中，以及其它信息信號(hào)的哪個(gè)信息幀將被插入到其它信息幀中。
成本函數(shù)可以包括例如與未將信息信號(hào)的特定幀插入到發(fā)送幀中相關(guān)聯(lián)的重構(gòu)失真值和與未將其它信息信號(hào)的特定幀插入到其它發(fā)送幀中相關(guān)聯(lián)的重構(gòu)失真值的第一和，與在未將信息信號(hào)的特定幀插入到發(fā)送幀中時(shí)保存的比特?cái)?shù)和在未將其它信息信號(hào)的特定幀插入到其它發(fā)送幀時(shí)保存的比特?cái)?shù)的第二和的差值。換言之，第一和包括與用替換幀替換未被發(fā)送的信息幀相關(guān)聯(lián)的重構(gòu)失真值之和，而第二和包括在未發(fā)送信息幀時(shí)保存的比特?cái)?shù)或者字節(jié)數(shù)的總數(shù)。隨后用于插入的單元107被配置成確定信息信號(hào)的特定幀和其它信息信號(hào)的特定幀，使得成本函數(shù)被最小化。以下將詳細(xì)討論該問題。
根據(jù)本發(fā)明的另一方面，用于插入的單元107可以被進(jìn)一步配置成建立成本函數(shù)。例如，用于插入的單元107可以被配置成確定上述和和/或上述和的差值。
為了最小化成本函數(shù)，該成本函數(shù)可以是拉格朗日成本函數(shù)，該設(shè)備可以進(jìn)一步包括優(yōu)化器，以便確定哪個(gè)信息幀將不被插入到發(fā)送幀中，或者以便確定哪個(gè)其它信息幀將不被插入到其它發(fā)送幀中。
根據(jù)本發(fā)明的另一方面，用于插入的單元107可以被進(jìn)一步配置成將例如輔助信息的幀信息插入到發(fā)送幀中，幀信息指示將不被插入到發(fā)送幀中的信息幀的類型。例如，幀信息指示在視頻信號(hào)的情況下是否尚未將I-幀、或B-幀或P-幀插入到發(fā)送幀中。
為了將重構(gòu)失真值提供給用于插入的單元107，提供器105可以被配置成接收該重構(gòu)失真值，例如，被配置成當(dāng)遠(yuǎn)程發(fā)送機(jī)被配置成經(jīng)由通信網(wǎng)絡(luò)發(fā)送重構(gòu)失真值或者指示重構(gòu)失真值的信息時(shí)，從該遠(yuǎn)程發(fā)送機(jī)接收第一重構(gòu)失真值或第二重構(gòu)失真值。
然而，提供器105可以被配置成根據(jù)信息信號(hào)的第一信息幀或第二信息幀所包含的信息類型，估計(jì)第一重構(gòu)失真值或第二重構(gòu)失真值。在此情況下，術(shù)語“信息幀類型”指的是信息幀所包含的信息類型。例如，在視頻信號(hào)的情況下或者在圖像的情況下，指示該信息類型的信息指的是例如視頻幀的類型。同樣的考慮適用于其它信息信號(hào)的情況，或者，通常適用于多個(gè)信息信號(hào)，每一個(gè)信息信號(hào)包含多個(gè)信息幀。
此外，提供器105可以被配置成提供多個(gè)重構(gòu)失真值，所述值的每一個(gè)指示在用不同的替換幀替換第一信息幀時(shí)的重構(gòu)失真，并且可以被配置成提供多個(gè)重構(gòu)失真值，所述值的每一個(gè)指示在用不同的替換幀替換第二信息幀時(shí)的重構(gòu)失真。換言之，提供器105可以被配置成確定在用所有可能的替換幀替換例如特定信息幀時(shí)的重構(gòu)失真值。
根據(jù)本發(fā)明的另一方面，提供器105可以被配置成確定重構(gòu)失真值。例如，提供器105可以被配置成仿真在接收機(jī)處應(yīng)用的例如幀替換的隱蔽策略。提供器105可以被配置成用特定替換幀，例如用先前發(fā)送的同種幀，替換將被丟棄的幀，并且解碼包括替換幀的所得到的信息信號(hào)，以便確定重構(gòu)失真。例如，用于確定重構(gòu)失真的解碼方案可以是在接收機(jī)處應(yīng)用的源解碼方案。此外，提供器105可以解碼原始信息信號(hào)，并且將解碼后的原始信息信號(hào)與在應(yīng)用了隱蔽策略后所得到的解碼后的信息信號(hào)相比較，以便確定重構(gòu)失真值。
本發(fā)明還提供了一種用于根據(jù)信息信號(hào)產(chǎn)生發(fā)送信號(hào)的設(shè)備，其中信息信號(hào)包括如上所述的信息幀。
本發(fā)明設(shè)備可以包括提供器，用于提供指示在用替換幀替換信息幀時(shí)的重構(gòu)失真值。例如，用于產(chǎn)生發(fā)送信號(hào)的設(shè)備可以包括上述提供器。
此外，本發(fā)明設(shè)備可以包括用于組合信息信號(hào)和重構(gòu)失真值以便獲得發(fā)送信號(hào)的組合器。
提供器還可以包括用于確定重構(gòu)失真值的單元，其中用于確定的單元可以被配置成確定在用其它替換幀替換信息幀時(shí)的其它重構(gòu)失真值。
此外，用于確定的單元可以被配置成確定MSE失真值以便確定重構(gòu)失真值。
例如，用于確定的單元可以被配置成確定在用在前的信息幀替換信息幀時(shí)所得到的重構(gòu)失真值。
根據(jù)本發(fā)明的另一方面，用于確定的單元可以被配置成解碼通過用替換幀替換信息幀而根據(jù)信息信號(hào)獲得的測(cè)試信號(hào)，以便確定重構(gòu)失真值。例如，如果信息信號(hào)由源編碼原始信號(hào)產(chǎn)生，則用于確定的單元可以被配置成源解碼測(cè)試信號(hào)，并且將源解碼后的測(cè)試信號(hào)與原始信號(hào)相比較以便確定重構(gòu)失真值。
要注意的是，上述用于插入的單元所包含的用于確定的單元也可以包含用于產(chǎn)生發(fā)送信號(hào)的設(shè)備所包含的用于確定的單元的功能。
此外，用于產(chǎn)生發(fā)送信號(hào)的設(shè)備可以包括源編碼器，用于源編碼原始信號(hào)以便獲得信息信號(hào)，其中，源編碼器被配置成確定與例如幀替換的隱蔽策略相關(guān)聯(lián)的重構(gòu)失真值。
此外，組合器可以被配置成將重構(gòu)失真值加在信息幀上，以便獲得發(fā)送信號(hào)。
該設(shè)備可以被進(jìn)一步配置成根據(jù)其它信息信號(hào)產(chǎn)生其它發(fā)送信號(hào)，該信息信號(hào)包括其它信息幀，其中該提供器可以被配置成提供在用替換幀替換其它信息幀時(shí)所得到的重構(gòu)失真值。此外，組合器可以被配置成組合其它信息信號(hào)和重構(gòu)失真值以便獲得其它發(fā)送信號(hào)。
為了進(jìn)行通信，該設(shè)備可以進(jìn)一步包括發(fā)送機(jī)，用于傳送發(fā)送信號(hào)或者用于發(fā)送其它發(fā)送信號(hào)。
本發(fā)明還提供通信網(wǎng)絡(luò)節(jié)點(diǎn)，包括用于接收信息信號(hào)的接收機(jī)，如上所述的用于根據(jù)信息信號(hào)產(chǎn)生發(fā)送幀的設(shè)備和用于基于發(fā)送幀產(chǎn)生發(fā)送信號(hào)的單元。
用于產(chǎn)生發(fā)送信號(hào)的裝置可以被配置成將例如輔助信息的幀信息加到發(fā)送幀上，以便獲得發(fā)送信號(hào)。如上所述，幀信息可以指示未被插入到發(fā)送信號(hào)中的信息幀的類型。例如，幀信息可以由遠(yuǎn)程接收機(jī)使用，該遠(yuǎn)程接收機(jī)用于通過用同種替換幀替換丟失幀，例如，用包括同種信息的信息幀替換丟失幀，重構(gòu)丟失的信息幀。
此外，用于產(chǎn)生發(fā)送信號(hào)的裝置可以被配置成將重構(gòu)失真值加在發(fā)送幀之上以便獲得發(fā)送信號(hào)。如上所述，重構(gòu)失真值可以指示在用替換幀替換信息幀時(shí)的重構(gòu)失真。
可以經(jīng)由例如通信網(wǎng)絡(luò)從遠(yuǎn)程發(fā)送機(jī)發(fā)送重構(gòu)失真值。在此情況下，接收機(jī)可以被配置成接收重構(gòu)失真值，或者檢測(cè)在從遠(yuǎn)程接收機(jī)接收的信號(hào)中的重構(gòu)失真值。
此外，接收機(jī)可以被配置成例如在多用戶傳輸?shù)膱?chǎng)景中接收其它信息信號(hào)。在此情況下，如上所述，用于產(chǎn)生發(fā)送幀的設(shè)備可以被配置成根據(jù)其它信息信號(hào)產(chǎn)生其它發(fā)送幀。在此情況下，用于產(chǎn)生的裝置可以被配置成基于其它發(fā)送幀產(chǎn)生其它發(fā)送信號(hào)。
此外，用于產(chǎn)生的裝置可以被配置成將幀信息加在發(fā)送幀之上，以便獲得發(fā)送信號(hào)，幀信息指示未被插入到發(fā)送幀中的信息幀的類型。因此，用于產(chǎn)生的裝置可以被配置成將重構(gòu)失真值加在其它發(fā)送幀之上，以便獲得其它發(fā)送信號(hào)，該重構(gòu)失真值指示在用替換幀替換信息幀時(shí)的重構(gòu)失真。
根據(jù)本發(fā)明的另一方面，用于產(chǎn)生的裝置可以被配置成產(chǎn)生包括發(fā)送信號(hào)和時(shí)間上跟隨在該發(fā)送信號(hào)之后的其它發(fā)送信號(hào)的組合發(fā)送信號(hào)。例如，用于產(chǎn)生的裝置可以被配置成將其它發(fā)送信號(hào)布置在將發(fā)送的信號(hào)幀中的發(fā)送信號(hào)之后。
此外，該設(shè)備可以包括用于傳送發(fā)送信號(hào)或發(fā)送幀或信號(hào)幀的發(fā)送機(jī)。
該發(fā)送機(jī)可以是無線或有線發(fā)送機(jī)。例如，在無線傳輸?shù)那闆r下，發(fā)送機(jī)可以包括任何WLAN系統(tǒng)的發(fā)送機(jī)功能，例如，信道編碼、調(diào)制等。因此，本發(fā)明接收機(jī)被配置成接收所發(fā)送的信號(hào)、解調(diào)和通過應(yīng)用例如任何信道解碼方案解碼該信號(hào)。
此外，本發(fā)明提供了一種重構(gòu)接收幀中的丟失幀的設(shè)備，如上所述，該接收幀包括例如輔助信息的幀信息，所述幀信息指示至少兩種幀的一種丟失幀。例如，幀信息包括有關(guān)未包括在包含圖像組的視頻信號(hào)的可接收形式中的B-幀或P-幀的信息。
用于重構(gòu)丟失幀的設(shè)備可以包括用于檢測(cè)接收幀的幀信息的裝置和用于響應(yīng)于幀信息而產(chǎn)生丟失幀的替換幀以便重構(gòu)丟失幀的裝置，其中替換幀的類型優(yōu)選地匹配于該種丟失幀。例如，幀信息指示B-幀丟失。在此情況下，用于產(chǎn)生的裝置可以被配置成用先前接收的B-幀或者先前接收的I-幀來替換丟失的B-幀，這在此情況下是隱蔽策略。
下面，將參照?qǐng)D3-8描述本發(fā)明的其它實(shí)施例。
我們考慮了以下場(chǎng)景，其中K個(gè)視頻流到達(dá)主動(dòng)網(wǎng)絡(luò)節(jié)點(diǎn)，并在同一輸出鏈路上離開該節(jié)點(diǎn)。主動(dòng)網(wǎng)絡(luò)節(jié)點(diǎn)是必須將輸入數(shù)據(jù)流轉(zhuǎn)發(fā)到一個(gè)或多個(gè)輸出鏈路(有線或無線)、且具有比僅轉(zhuǎn)發(fā)分組所需的計(jì)算資源多的計(jì)算資源的實(shí)體。示例是可編程的或主動(dòng)的路由器、蜂窩網(wǎng)絡(luò)的基站、或電纜網(wǎng)的電纜前端。
本發(fā)明的幀丟棄策略依賴于隨視頻比特流一起發(fā)送的輔助信息。以下我們假設(shè)以圖像組(GoP)來組織視頻，并且主動(dòng)網(wǎng)絡(luò)節(jié)點(diǎn)知道GoP的幀結(jié)構(gòu)。信息可以隨比特流一起被信號(hào)發(fā)送，或者由以前的GoP可以推知。視頻k的GoP結(jié)構(gòu)通過GoP長(zhǎng)度Lk和在兩個(gè)I-或P-幀之間的B-幀數(shù)Bk來描述。作為示例，考慮導(dǎo)致GoP結(jié)構(gòu)IB1B2，P1B3B4P2B5B6的Lk＝9和Bk＝2。速率矢量由GoP中的每個(gè)幀的幀大小構(gòu)成。視頻k中的幀n的幀大小被表示為Rek(n)，并且可以在發(fā)送方處在編碼過程期間被提取。因此，平均編碼速率被給出為在視頻k的長(zhǎng)度為Nk且?guī)俾蕿閒k的整個(gè)視頻序列上Rek(n)的平均值RekfkNkΣn=1NkRek(n)---(1)]]>失真矩陣由在用在前幀替換丟失幀時(shí)觀察到的重構(gòu)失真值構(gòu)成。視頻k的幀n的重構(gòu)失真被給出為Dk(n)。因此在解碼器處的平均失真被給出為Dk(n)=1NkΣn=1NkDk(n)---(2)]]>如果正確接收了每個(gè)視頻幀，則幀失真Dk(n)對(duì)應(yīng)于在編碼器處的量化步驟造成的編碼失真Dek(n)。在由于解碼而幀丟失的情況下，幀失真將大于編碼失真。假設(shè)在幀丟失的情況下，解碼器應(yīng)用隱蔽策略，其中顯示最近解碼的幀來替代丟失的幀。依賴于丟失幀的所有幀被看作是也丟失了。失真矩陣包含所有失真值，該失真值是在幀丟棄給定的前述隱蔽策略的情況下推導(dǎo)出在解碼器處的期望失真所需的值。
下列示例示出了Lk＝9和Bk＝2的GoP的失真矩陣。
失真矩陣DFlossFrep中的項(xiàng)是在作為隱蔽策略的一部分用Frep替換幀F(xiàn)loss時(shí)觀察到的MSE值。失真矩陣左邊的列示出了矩陣每一行的替換幀F(xiàn)rep。例如，DB1I表示在GoP的第一B-幀丟失并因此用該GoP的I-幀替換時(shí)的附加重構(gòu)失真。R是來自前一GoP的幀，該幀在當(dāng)前GoP的I-幀丟失時(shí)被用作當(dāng)前GoP中的所有幀的替換幀。根據(jù)該矩陣，可以為任意可能的丟失模式確定所得到的失真。將GoP的總失真計(jì)算作為單個(gè)幀丟失失真的和。在編碼視頻期間可以確定該矩陣。B-幀B2、B4和B6將從不被用作GoP中的任一其它幀的替換幀，因此其不會(huì)出現(xiàn)在失真矩陣中。失真矩陣的列數(shù)對(duì)應(yīng)于GoP長(zhǎng)度Lk。失真矩陣中的相關(guān)項(xiàng)數(shù)可以被確定為L(zhǎng)k+(Lk-1)+Σi=0LkBk+11(Bk+i(Bk+1))---(4)]]>其可以被簡(jiǎn)化為12Lk(3+LkBk+1)---(5)]]>如上所述，考慮了以下場(chǎng)景，其中K個(gè)視頻流到達(dá)主動(dòng)網(wǎng)絡(luò)節(jié)點(diǎn)并在同一輸出鏈路上離開該節(jié)點(diǎn)。該輸出鏈路具有傳輸速率Rout。該輸出鏈路具有大小為Bmax的鏈路緩沖器，并且當(dāng)前的緩沖器充滿度被表示為B(t)。丟棄策略基于當(dāng)前的緩沖器充滿度。如果緩沖器為空，則將不會(huì)丟棄幀。當(dāng)緩沖器充滿時(shí)，則應(yīng)當(dāng)丟棄對(duì)在接收機(jī)處所感知的質(zhì)量具有最小影響的那些幀。必須為所有視頻流共同作出丟棄哪些幀的判定。假設(shè)上述的速率矢量和失真矩陣，主動(dòng)網(wǎng)絡(luò)節(jié)點(diǎn)可以執(zhí)行速率-失真優(yōu)化的幀丟棄。為此，節(jié)點(diǎn)確定緩沖器當(dāng)前有多滿，并且最小化確定最佳丟棄模式的拉格朗日成本函數(shù)Jp(n)=Σk=1KΔDpk(n)-λ(n)Σk=1KΔRpk(n)---(6)]]>其中ΔDpk(n)是丟棄模式p的、在視頻k中引入的附加失真，且ΔRpk(n)是丟棄模式p的、所保存的字節(jié)數(shù)。為了簡(jiǎn)單，僅作為示例用視頻序列的幀索引n替換連續(xù)時(shí)間t，這意味著僅在幀持續(xù)時(shí)間的倍數(shù)處作出丟棄判定。
如果到達(dá)主動(dòng)節(jié)點(diǎn)的當(dāng)前幀是I-幀，則我們可以丟棄該幀或者將其發(fā)送到輸出鏈路。如果我們丟棄它，這意味著不可以解碼所有隨后的P-幀和B-幀，并且不得不將其也丟棄。該丟棄策略導(dǎo)致了該GoP的失真的顯著增加，但是同時(shí)允許我們將該GoP的發(fā)送速率降到0。如果我們?cè)跁r(shí)間n不丟棄I-幀，則我們?nèi)钥梢耘卸▉G棄所有隨后的P-幀。這將導(dǎo)致失真降低，同時(shí)速率節(jié)省將較小。如果我們判定不丟棄隨后的P-幀，則我們可以判定丟棄所有B-幀。再者，附加失真將被降低，同時(shí)速率節(jié)省將小。從而，如果當(dāng)前到來的幀是I-幀，則有總共4個(gè)丟棄選擇{I，P，B，N}，其中N代表沒有丟棄。如果當(dāng)前幀是P-幀，則該選擇被減少到{P，B，N}。如果當(dāng)前幀是B-幀，則該選擇也是{P，B，N}。請(qǐng)注意在此情況下P代表在當(dāng)前的B-幀之后發(fā)送的下一P-幀?？梢韵胂蟮紹-幀的其它丟棄模式。然而，由于在丟棄單個(gè)B-幀時(shí)的速率節(jié)省通常很小，所以我們以下假設(shè)丟棄B-幀總是意味著丟棄該B-幀和同一GoP中的所有隨后的B-幀。類似地，丟棄P-幀總是意味著丟棄直到下一I-幀的所有P-幀和B-幀。丟棄I-幀導(dǎo)致丟棄整個(gè)GoP。如果我們將視頻k在時(shí)間n時(shí)的可能丟棄模式的集合表示為Ak(n)，那么對(duì)于K個(gè)視頻，我們得到了P(n)=Πk=1KAk(n)]]>個(gè)不同的丟棄模式。丟棄模式之一將最小化(6)。該模式表示在時(shí)間n時(shí)的最佳丟棄策略。為了執(zhí)行該最小化，我們不得不確定(6)中的拉格朗日乘數(shù)λ(n)的合理值。
根據(jù)本發(fā)明，我們將λ(n)確定為緩沖器充滿度B(n)的函數(shù)。如果緩沖器是空的，則我們確定地不想丟棄任何視頻幀。這必須通過λ(n)的適當(dāng)選擇反映出來。如果緩沖器是滿的，則由于這些幀在輸出鏈路緩沖器中的排隊(duì)總是失敗，所以應(yīng)當(dāng)選擇λ(n)使得所有可能的幀都被丟棄。為了確定在任何緩沖器水平上λ(n)的適當(dāng)值，我們下面定義沒有丟棄發(fā)生的最小緩沖器充滿度Bmin。通過線性內(nèi)插在λmin(n)和λmax(n)之間而獲得λ(n)在Bmin和Bmax之間的值。圖3a將λmin(n)和λmax(n)之間的線性內(nèi)插表示為當(dāng)前緩沖器充滿度B(n)的函數(shù)，并且我們獲得λ(n)=Bmax-B(n)Bmax-Bminλmin(n)+B(n)-BminBmax-Bminλmax(n)---(7)]]>線性內(nèi)插是內(nèi)插λ(n)的最簡(jiǎn)單的方式。在緩沖器充滿度接近Bmax時(shí)導(dǎo)致更迅速的丟棄的內(nèi)插函數(shù)可以通過λ(n)的二次內(nèi)插來實(shí)現(xiàn)，如示出了對(duì)于當(dāng)前緩沖器水平B(n)在λmin(n)和λmax(n)之間λ(n)的二次內(nèi)插的圖3b所示。
通過3個(gè)控制點(diǎn)A、B、和C，我們可以用
A＝(Ax，Ay)＝(Bmin，λmin(n))B＝(Bx，By)＝(Bmax，λmin(n))C＝(Cx，Cy)＝(Bmax，λmax(n))定義λ(n)的二次貝塞爾曲線Px＝(1-t)2Ax+2t(1-t)Bx+t2Cx(7a)Py＝(1-t)2Ay+2t(1-t)By+t2Cy(7b)。
通過將參數(shù)t從0變到1，內(nèi)插的點(diǎn)P＝(Px，Py)在該曲線上從A移動(dòng)到C。對(duì)于給定的B(n)，我們確定t，然后根據(jù)(7a)和(7b)確定λ(n)＝Py。
為了確定λmin(n)，我們?yōu)槊恳粊G棄模式進(jìn)行估計(jì)(6)，并且選擇λmin(n)，從而為在所有K個(gè)視頻流中沒有丟棄的丟棄模式，獲得(6)的最小值。這意味著Jpn(n)=Σk=1KΔDpnk(n)-λmin(n)Σk=1KΔRpnk(n)]]>≤Σk=1KΔDpk(n)-λmin(n)Σk=1KΔRpk(n)]]>對(duì)于p＝1...P且≠pn(8)其中pn表示在所有視頻流中沒有發(fā)生幀丟棄的模式。由于Jpn(n)等于0，所以這導(dǎo)致了λmin(n)≤Σk=1KΔDpk(n)Σk=1KΔRpk(n)]]>對(duì)于p＝1...P且≠pn(9)并且我們挑選在滿足(9)中的所有不等式的同時(shí)盡可能大的λmin(n)。以非常類似的方式獲得λmax(n)的該值。為此，現(xiàn)在(6)的最小化導(dǎo)致丟棄盡可能多的幀的判定(丟棄模式pa)，這導(dǎo)致了Jpa(n)=Σk=1KΔDpak(n)-λmax(n)Σk=1KΔRpak(n)]]>≤Σk=1KΔDpk(n)-λmax(n)Σk=1KΔRpk(n)]]>對(duì)于p＝1...P且≠pa(10)這導(dǎo)致了
λmax(n)≥Σk=1K(ΔDpak(n)-ΔDpk(n))Σk=1K(ΔRpak(n)-ΔRpk(n))]]>對(duì)于p＝1...P且≠pa(11)并且我們挑選在滿足(11)中的所有不等式的同時(shí)盡可能小的λmax(n)。
我們研究在與基于優(yōu)先級(jí)的丟棄相比時(shí)，通過使用所提出的RD優(yōu)化的丟棄策略可以實(shí)現(xiàn)對(duì)平均重構(gòu)質(zhì)量多大的提高。在仿真中，我們假設(shè)已經(jīng)使用公開的H.264編解碼器編碼的4個(gè)視頻流到達(dá)主動(dòng)網(wǎng)絡(luò)節(jié)點(diǎn)并且必須在同一輸出鏈路上被發(fā)送出去。圖6總結(jié)了4個(gè)視頻的主要特征。
4個(gè)視頻的總平均速率是290kbps。由于不同的幀類型和在序列中的變化活動(dòng)，所以在特定時(shí)刻的實(shí)際速率變化極大。4個(gè)視頻的GoP長(zhǎng)度分別是L1＝18、L2＝22、L3＝26、和L4＝24幀。所有視頻的GoP結(jié)構(gòu)是對(duì)應(yīng)于Bk＝1的IBPBP...。輸出鏈路緩沖器的大小被設(shè)置成32KByte。對(duì)于3000幀的視頻會(huì)話長(zhǎng)度執(zhí)行仿真。為此，連續(xù)重復(fù)視頻序列。以幀周期的倍數(shù)增加仿真時(shí)間。這意味著每個(gè)幀周期4個(gè)新幀到達(dá)用于轉(zhuǎn)發(fā)的網(wǎng)絡(luò)節(jié)點(diǎn)和作出丟棄判定，其中4個(gè)新幀的每一個(gè)來自一個(gè)視頻。
在兩種情況(RD優(yōu)化的丟棄和基于優(yōu)先級(jí)的丟棄)下，輸出鏈路緩沖器以完全相同的方式工作。如果視頻幀將要被發(fā)送到輸出鏈路上，則其首先被放置在輸出緩沖器中。在緩沖器太滿而不能容納該幀，則將其丟棄。如果多于一幀將要被同時(shí)發(fā)送到輸出鏈路緩沖器，則我們假設(shè)根據(jù)分組的內(nèi)容(I-幀、B-幀、或P-幀)標(biāo)記該分組。如果緩沖器不能容納所有幀，則其將總是首先丟棄B-幀。如果緩沖器對(duì)于剩余的幀仍然不夠空，則接著丟棄P-幀，并且根據(jù)同樣的精神，最終丟棄I-幀。該丟棄機(jī)制對(duì)應(yīng)于用于比較的基于優(yōu)先級(jí)的丟棄策略。
對(duì)于RD優(yōu)化的丟棄策略，使用相同的輸出鏈路緩沖器，但是主動(dòng)網(wǎng)絡(luò)節(jié)點(diǎn)預(yù)先判定將哪些幀發(fā)送到緩沖器。通過(6)的最小化判定將被丟棄的這些幀不被傳遞給緩沖器。盡管優(yōu)化，仍有可能發(fā)生比緩沖器可以容納的數(shù)據(jù)多的數(shù)據(jù)被傳遞給緩沖器，這導(dǎo)致數(shù)據(jù)的額外丟失。因此，在已經(jīng)確定了優(yōu)化的丟棄模式之后還發(fā)生間或的隨機(jī)丟棄是可能的。
在實(shí)驗(yàn)中，在我們的丟棄判定期間，我們使用前一GOP的I-幀作為(3)中的替換幀R。然而，當(dāng)測(cè)量在接收機(jī)處的重構(gòu)失真時(shí)，僅作為示例我們使用最近成功解碼的幀作為對(duì)丟棄的幀的替換幀。
圖4a示出了通過在本文中提出的RD-優(yōu)化的視頻幀丟棄構(gòu)思而獲得的改進(jìn)。在4個(gè)視頻序列上平均PSNR值。當(dāng)輸出比特率Rout大于輸入速率(290kbps)時(shí)，RD-優(yōu)化的丟棄和基于優(yōu)先級(jí)的丟棄性能相似。這被認(rèn)為是在此情況下緩沖器將很少上溢并且在兩種情況下僅丟失非常少的幀。然而，如果輸出速率小于4個(gè)視頻的總平均速率，則可以看到就重構(gòu)的視頻質(zhì)量而言，RD-優(yōu)化的丟棄帶來了巨大的改進(jìn)。如果我們選擇Rout＝150kbps的輸出鏈路速率，則我們看到大約7.5dB的改進(jìn)。
僅當(dāng)緩沖器水平大于Bmin時(shí)，RD-優(yōu)化的丟棄策略才開始丟棄視頻幀。
已經(jīng)介紹了我們使用拉格朗日乘數(shù)的線性和二次內(nèi)插的RD-優(yōu)化的丟棄方法(RDOD)。在仿真中，我們進(jìn)一步比較了RDOD和基于優(yōu)先級(jí)的隨機(jī)丟棄(PRD)。上面已經(jīng)介紹了PRD的工作原理。與傳統(tǒng)的PRD相比，如果在緩沖器100％充滿之前開始基于優(yōu)先級(jí)的丟棄，則可以預(yù)期性能改善。在緩沖器負(fù)載超過當(dāng)前閾值B1時(shí)丟棄以前的一些B幀且在其超過閾值B2時(shí)丟棄一些P幀，使得I幀相對(duì)于B和P幀優(yōu)先級(jí)甚至更高。我們稱該方法為基于優(yōu)先級(jí)的早期隨機(jī)丟棄(PRED)。在仿真中，閾值B1和閾值B2被設(shè)置為Bmax的70％和90％。
圖4b示出了視頻重構(gòu)質(zhì)量vs.輸出鏈路速率，其中展示了由RD-優(yōu)化的視頻幀丟棄構(gòu)思獲得的本發(fā)明改進(jìn)。PSNR值在4個(gè)視頻序列上進(jìn)行平均。當(dāng)輸出比特率Rout大于平均的輸入速率(290kbps)時(shí)，RD-優(yōu)化的丟棄和基于優(yōu)先級(jí)的丟棄性能相似。這被認(rèn)為是在此情況下緩沖器將很少上溢并且在兩種情況下僅丟失非常少的幀。然而，如果輸出速率小于4個(gè)視頻的總平均速率，則可以看到就重構(gòu)的視頻質(zhì)量而言，RD-優(yōu)化的丟棄帶來了巨大的改進(jìn)。λ(n)的二次內(nèi)插(RDOD_QI)帶來了比線性內(nèi)插(RDOD_L1)更好的性能。如果我們選擇Rout＝150kbps的輸出鏈路速率，則我們看到在RDOD_QI和PRED之間大約8dB的改進(jìn)。
λ(n)的計(jì)算依賴于λmin(n)和λmax(n)，并因此依賴于Bmin的選擇。圖4a示出了作為Bmin的函數(shù)的重構(gòu)視頻質(zhì)量?？梢杂^察到只要我們選擇足夠小的Bmin，則Bmin對(duì)于重構(gòu)質(zhì)量具有小的影響。圖4a中用于仿真的輸出速率為200kbps和250kbps。
優(yōu)選地，僅在緩沖器水平大于Bmin時(shí)，RD-優(yōu)化的丟棄策略將開始丟棄視頻幀。這里我們假設(shè)Bmax始終對(duì)應(yīng)于100％充滿度。如上所述，λ(n)的計(jì)算依賴于λmin(n)和λmax(n)，并因此依賴于Bmin的選擇。圖4b示出了RDOD_QI的、作為Bmin的函數(shù)的重構(gòu)視頻質(zhì)量。可以觀察到只要我們選擇足夠小的Bmin，則Bmin對(duì)于重構(gòu)質(zhì)量具有小的影響。圖5a中用于仿真的輸出速率為200kbps和250kbps。
如上所述，每次當(dāng)新輸入的數(shù)據(jù)變得可用時(shí)可以重新計(jì)算λ(n)。當(dāng)我們使用RDOD_QI時(shí)，我們觀察到只要緩沖器充滿度B(n)小于Bmax，則λ(n)變化小。為了降低計(jì)算的復(fù)雜度，我們考慮計(jì)算λ(n)一次，并且在我們刷新λ(n)的值之前，將該λ(n)用于隨后的m幀。
例如，可以確定與每個(gè)第n幀相關(guān)聯(lián)的每個(gè)第n時(shí)刻的λ(n)，并將其用于例如隨后的n-1幀。因此，由于不確定所有幀的λ(n)而是確定每個(gè)第n幀的λ(n)，所以可以實(shí)現(xiàn)復(fù)雜度降低。此外，可以僅在例如(可發(fā)送的和可接收的)重構(gòu)失真值顯著變化時(shí)確定λ(n)，這導(dǎo)致了進(jìn)一步的復(fù)雜度降低。此外，可以適應(yīng)性地降低計(jì)算λ(n)的速率。例如，在傳輸?shù)拈_始，確定每個(gè)幀的λ(n)。隨后，例如，當(dāng)計(jì)算例如每個(gè)第n幀(例如每個(gè)第2幀或每個(gè)第3幀)的λ(n)時(shí)，可以確定所得到的誤差。如果所得到的誤差是可接受的，則計(jì)算每個(gè)第n幀的λ(n)就足夠了，其中可以適應(yīng)性地(逐步地)確定n。因此，可以實(shí)現(xiàn)在精確度和復(fù)雜度之間的折衷。此外，可以僅在多個(gè)例如視頻流的信息信號(hào)變化時(shí)確定λ(n)，這導(dǎo)致了進(jìn)一步的復(fù)雜度降低。
圖5b示出了作為λ的刷新間隔的函數(shù)的平均視頻重構(gòu)質(zhì)量。如圖5b所示，在以大約50個(gè)視頻幀重復(fù)λ(n)時(shí)，觀察到僅0.3dB的質(zhì)量下降。
可以將本發(fā)明RD-優(yōu)化的視頻幀丟棄策略應(yīng)用于主動(dòng)網(wǎng)絡(luò)節(jié)點(diǎn)。RD-優(yōu)化使用速率矢量和失真矩陣來確定在網(wǎng)絡(luò)負(fù)載重的情況下應(yīng)當(dāng)丟棄哪些幀。將速率矢量和失真矩陣作為輔助信息隨視頻的每個(gè)GoP一起發(fā)送。僅從網(wǎng)絡(luò)節(jié)點(diǎn)自身提取的信息是緩沖器充滿度水平。當(dāng)將本發(fā)明方案與基于優(yōu)先級(jí)的丟棄相比較時(shí)可以實(shí)現(xiàn)顯著的質(zhì)量改善。
本發(fā)明包括一種實(shí)現(xiàn)了速率-失真優(yōu)化的視頻幀丟棄策略的系統(tǒng)和方法，該策略在業(yè)務(wù)量負(fù)載重的情況下可以應(yīng)用于主動(dòng)網(wǎng)絡(luò)節(jié)點(diǎn)。本發(fā)明方法依賴于隨著視頻比特流一起發(fā)送的輔助信息。
輔助信息由包含每個(gè)圖像的幀大小(用字節(jié)表示)的速率矢量以及描述給定特定幀丟失模式時(shí)圖像組的所觀察到的重構(gòu)失真(用MSE表示)的失真矩陣組成。該輔助信息可以被主動(dòng)網(wǎng)絡(luò)節(jié)點(diǎn)用來以速率-失真(RD)優(yōu)化的方式，動(dòng)態(tài)判定在節(jié)點(diǎn)過載的情況下應(yīng)當(dāng)丟棄哪個(gè)視頻流的哪些幀。
我們提出了拉格朗日成本函數(shù)，該成本函數(shù)使用速率矢量和失真矩陣以及當(dāng)前緩沖器充滿水平，以發(fā)現(xiàn)最佳丟棄模式。
為了更簡(jiǎn)單的設(shè)置，可以僅發(fā)送部分失真矩陣。例如，矩陣的第一行包含有關(guān)在前圖像組的一個(gè)參考圖像(R)的失真值，該值對(duì)于優(yōu)化在某些情況下已經(jīng)是足夠的信息。
可以由編碼器選擇參考圖像R在GoP中的位置，以反映任何預(yù)期的傳輸路徑質(zhì)量。這對(duì)于對(duì)I-幀作出判定的丟棄判定是重要的，該判定依賴于與前一GoP中的最后原始圖像相比的失真。即，在壞條件下(假設(shè)高的丟棄百分比)，R應(yīng)當(dāng)參考前一GoP的I-幀，在正常條件下，R應(yīng)當(dāng)代表中間P-幀。如果預(yù)料到非常好的條件，則R應(yīng)當(dāng)是前一GoP的最后幀。
從到來的分組可以觀察到已經(jīng)在前面的網(wǎng)絡(luò)設(shè)備上執(zhí)行的幀丟棄判定。它們限制了在當(dāng)前網(wǎng)絡(luò)節(jié)點(diǎn)上幀丟棄的自由度，并且降低了作出判定的復(fù)雜度。
此外，可以在一個(gè)節(jié)點(diǎn)內(nèi)存儲(chǔ)在一個(gè)GoP內(nèi)執(zhí)行的判定。這簡(jiǎn)化了尋找在同一GoP內(nèi)的下一幀的判定，即自由度的數(shù)量被在前的丟棄判定降低了并且簡(jiǎn)化了計(jì)算。
此外，應(yīng)當(dāng)將應(yīng)用于前一GoP的丟棄策略存儲(chǔ)在一個(gè)節(jié)點(diǎn)內(nèi)。因此，依賴于R的選擇，對(duì)于丟棄I-幀所作出的判定必須使用修改的失真值以便考慮實(shí)際失真。
除此之外，應(yīng)當(dāng)包括服務(wù)歷史以獲得整個(gè)流的總的降低的質(zhì)量，以便考慮到全部用戶所感知的服務(wù)質(zhì)量而作出判定，例如，如果流經(jīng)受了過高比例的丟棄，該流應(yīng)獲得較高的優(yōu)先級(jí)。這種服務(wù)歷史可以由對(duì)于成本函數(shù)中的失真矩陣的值的附加因數(shù)來表示。
與基于QoS的方法相比，本發(fā)明方案提供了較大的靈活性，并且支持動(dòng)態(tài)的幀重要性控制。當(dāng)比較本發(fā)明的速率-失真優(yōu)化的丟棄構(gòu)思和基于優(yōu)先級(jí)的丟棄策略時(shí)，觀察到明顯更好的重構(gòu)質(zhì)量。對(duì)于仿真建立，獲得了高達(dá)7dB的改善。
上述失真矩陣的信令例如可以被實(shí)現(xiàn)為對(duì)于RTP協(xié)議的擴(kuò)展(RTP凈荷首標(biāo))。
如上所述，本發(fā)明解決了如何在優(yōu)化例如用戶的視頻流的接收質(zhì)量的時(shí)，使網(wǎng)絡(luò)節(jié)點(diǎn)的多個(gè)輸入視頻流動(dòng)態(tài)適應(yīng)于變化的傳輸條件(即，輸出數(shù)據(jù)速率)的問題。
僅作為示例，本發(fā)明提供了在主動(dòng)網(wǎng)絡(luò)節(jié)點(diǎn)和移動(dòng)基站上的速率-失真優(yōu)化的視頻幀丟棄。特別地，本發(fā)明系統(tǒng)和方法支持在網(wǎng)絡(luò)節(jié)點(diǎn)中視頻分組業(yè)務(wù)量的調(diào)整(shaping)。由于考慮了有關(guān)用戶感知的質(zhì)量的視頻特性，所以在與已知的現(xiàn)有技術(shù)方法相比時(shí)優(yōu)化了本發(fā)明方法。此外，本發(fā)明構(gòu)思依賴于可以隨著視頻比特流一起發(fā)送的輔助信息，其中輔助信息可以包括包含例如用字節(jié)表示的幀大小的速率矢量以及描述圖像組的重構(gòu)失真(用MSE表示)的失真矩陣。
與基于服務(wù)質(zhì)量的方法相比，本發(fā)明方案提供了更大的靈活性和支持動(dòng)態(tài)的幀重要性控制。更具體地，QoS(QoS＝服務(wù)質(zhì)量)供給與例如在共享的無線網(wǎng)絡(luò)資源上的視頻流的緩沖問題相關(guān)聯(lián)。因此，對(duì)于視頻數(shù)據(jù)，可以應(yīng)用計(jì)算昂貴的變碼或者桶丟棄，該桶丟棄常常是對(duì)視頻質(zhì)量具有深度影響的隨機(jī)幀丟棄。在可縮放視頻的情況下，已知的現(xiàn)有技術(shù)方法首先丟棄重要性較小的部分，這導(dǎo)致了質(zhì)量的極大降低。此外，QoS標(biāo)記支持分組的這種重要性控制的丟棄和標(biāo)記(或重要性)。這可以在傳輸前由發(fā)送方判定，然而，其中沒有考慮實(shí)際的傳輸條件。但是，分組的重要性沿著傳輸路徑而變化，分組的重要性依賴于其它分組的丟棄，此外，僅少數(shù)QoS-標(biāo)記可用。
本發(fā)明支持在網(wǎng)絡(luò)節(jié)點(diǎn)中通過例如丟棄分組來調(diào)整視頻分組業(yè)務(wù)量。由于考慮到視頻特性，例如用戶感知的質(zhì)量，本發(fā)明的丟棄模式的被優(yōu)化。主動(dòng)網(wǎng)絡(luò)節(jié)點(diǎn)可以使用可以隨著視頻比特流一起發(fā)送的輔助信息，動(dòng)態(tài)判定應(yīng)當(dāng)丟棄哪個(gè)視頻流的哪些幀。例如，主動(dòng)網(wǎng)絡(luò)節(jié)點(diǎn)包括上述的本發(fā)明設(shè)備之一。此外，判定還可以包括會(huì)話歷史，以便考慮全局的公平性。
圖7展示了本發(fā)明通信網(wǎng)絡(luò)場(chǎng)景，其中應(yīng)用向網(wǎng)絡(luò)提供附加信息(層間通告)。
如圖7所示，網(wǎng)絡(luò)節(jié)點(diǎn)/網(wǎng)關(guān)接收隨同有關(guān)速率-失真矩陣或速率矢量的輔助信息一起的多個(gè)視頻流，其中判定算法被用來根據(jù)速率失真矩陣所包含的速率失真值，確定幀丟棄策略。
要注意的是，所有上述實(shí)施例還可以相互組合，以便提高結(jié)合了本發(fā)明方法的設(shè)備的功能。此外，本發(fā)明還提供了用于產(chǎn)生發(fā)送幀的方法、用于產(chǎn)生發(fā)送信號(hào)的方法、用于重構(gòu)丟失幀的方法或者用于轉(zhuǎn)發(fā)的方法，從而可以執(zhí)行本發(fā)明構(gòu)思。
此外，依賴于本發(fā)明方法的某些實(shí)現(xiàn)需要，可以以硬件或軟件來實(shí)現(xiàn)本發(fā)明方法。可以使用數(shù)字存儲(chǔ)媒體來執(zhí)行該實(shí)現(xiàn)，具體地，所述數(shù)字存儲(chǔ)媒體是具有存儲(chǔ)在其上的電可讀控制信號(hào)的盤或CD，該盤或CD可以與可編程計(jì)算機(jī)系統(tǒng)協(xié)作，使得本發(fā)明方法被執(zhí)行。因此，通常本發(fā)明是具有存儲(chǔ)在機(jī)器可讀的載體上的程序代碼的計(jì)算機(jī)程序產(chǎn)品，程序代碼被配置成在計(jì)算機(jī)程序產(chǎn)品運(yùn)行在計(jì)算機(jī)上時(shí)執(zhí)行至少一個(gè)本發(fā)明方法。換言之，因此本發(fā)明方法是具有用于在計(jì)算機(jī)程序運(yùn)行在計(jì)算機(jī)上時(shí)，執(zhí)行本發(fā)明方法的程序代碼的計(jì)算機(jī)程序。
權(quán)利要求
1.一種用于根據(jù)信息信號(hào)產(chǎn)生發(fā)送幀的設(shè)備，所述信息信號(hào)包括第一信息幀和第二信息幀，所述設(shè)備包括提供器(105)，用于提供指示在用替換幀替換所述第一信息幀時(shí)的重構(gòu)失真的第一重構(gòu)失真值，以及用于提供指示在用替換幀替換所述第二信息幀時(shí)的重構(gòu)失真的第二重構(gòu)失真值；以及用于根據(jù)所述第一重構(gòu)失真值或根據(jù)所述第二重構(gòu)失真值，將所述第一信息幀或所述第二信息幀插入所述發(fā)送幀的裝置(107)。
2.根據(jù)權(quán)利要求1所述的設(shè)備，其中所述用于插入的裝置(107)被配置成根據(jù)優(yōu)化目的，插入所述第一信息幀或所述第二信息幀。
3.根據(jù)權(quán)利要求2所述的設(shè)備，其中所述優(yōu)化目的是速率和附加重構(gòu)失真降低。
4.根據(jù)權(quán)利要求1-3所述的設(shè)備，其中所述用于插入的裝置(107)被配置成為了速率和附加重構(gòu)失真降低，確定將不被插入到所述發(fā)送幀的信息幀的組合或者將插入到所述發(fā)送幀的幀的組合。
5.根據(jù)權(quán)利要求1-4所述的設(shè)備，其中所述用于插入的裝置(107)被配置成最小化成本函數(shù)，以便確定所述信息信號(hào)的哪個(gè)信息幀將不被插入到所述發(fā)送幀中。
6.根據(jù)權(quán)利要求5所述的設(shè)備，其中所述成本函數(shù)包括與未將所述信息信號(hào)的特定信息幀插入到所述發(fā)送幀相關(guān)聯(lián)的重構(gòu)失真值與在未插入所述特定幀時(shí)保存的比特?cái)?shù)之間的差值，并且其中所述用于插入的裝置(107)被配置成確定特定信息幀，使得所述成本函數(shù)最小。
7.根據(jù)權(quán)利要求1-6所述的設(shè)備，所述設(shè)備被進(jìn)一步配置成根據(jù)其它信息信號(hào)產(chǎn)生其它發(fā)送幀，所述其它信息信號(hào)包括其它第一信息幀和其它第二信息幀，其中所述用于提供的裝置(105)被配置成提供指示在用替換幀替換所述其它第一信息幀時(shí)的重構(gòu)失真的其它第一重構(gòu)失真值，以及提供指示在用替換幀替換所述其它第二信息幀時(shí)的重構(gòu)失真的其它第二重構(gòu)失真值，其中所述用于插入的裝置(107)被配置成根據(jù)所述其它第一重構(gòu)失真值或根據(jù)所述其它第二重構(gòu)失真值，將所述其它第一信息幀或所述其它第二信息幀插入所述其它發(fā)送幀。
8.根據(jù)權(quán)利要求7所述的設(shè)備，其中所述用于插入的裝置(107)被配置成為了共同的速率和附加重構(gòu)失真降低，共同確定不將所述信息信號(hào)的哪個(gè)信息幀插入到所述發(fā)送幀中，以及不將所述其它信息信號(hào)的哪個(gè)信息幀插入到所述其它發(fā)送幀中。
9.根據(jù)權(quán)利要求7或8所述的設(shè)備，其中將經(jīng)由公共通信鏈路傳送所述發(fā)送幀和所述其它發(fā)送幀，其中所述設(shè)備包括緩沖器，用于對(duì)所述信息信號(hào)的信息幀和所述其它信息信號(hào)的信息幀進(jìn)行排隊(duì)，并且其中所述用于確定的裝置被配置成根據(jù)緩沖器充滿度，確定不將所述信息信號(hào)的哪個(gè)信息幀插入到所述發(fā)送信號(hào)中，以及不將所述其它信息信號(hào)的哪個(gè)信息幀插入到所述其它發(fā)送幀中。
10.根據(jù)權(quán)利要求7-9所述的設(shè)備，其中所述成本函數(shù)包括與未將所述信息信號(hào)的特定幀插入到所述發(fā)送幀相關(guān)聯(lián)的重構(gòu)失真值和與未將所述其它信息信號(hào)的特定幀插入到所述其它發(fā)送幀中相關(guān)聯(lián)的重構(gòu)失真值的第一和，與在未將所述信息信號(hào)的特定幀插入到所述發(fā)送幀中時(shí)保存的比特?cái)?shù)和在未將所述其它信息信號(hào)的特定幀插入到所述其它發(fā)送幀中時(shí)保存的比特?cái)?shù)的第二和之間的差值，其中所述用于插入的裝置被配置成確定所述信息信號(hào)的特定幀和所述其它信息信號(hào)的特定幀，使得所述成本函數(shù)被最小化。
11.根據(jù)權(quán)利要求1-10所述的設(shè)備，其中所述用于插入的裝置(107)被進(jìn)一步配置成將幀信息插入到所述發(fā)送幀中，所述幀信息指示將不被插入到所述發(fā)送幀中的信息幀的類型。
12.根據(jù)權(quán)利要求1-11所述的設(shè)備，其中所述提供器(105)被配置成從遠(yuǎn)程發(fā)送機(jī)接收所述第一重構(gòu)失真值或所述第二重構(gòu)失真值。
13.根據(jù)權(quán)利要求1-12所述的設(shè)備，其中所述提供器(105)被配置成根據(jù)所述第一信息幀或所述第二信息幀所包含的信息的類型，估計(jì)所述第一重構(gòu)失真值或所述第二重構(gòu)失真值。
14.一種通信網(wǎng)絡(luò)節(jié)點(diǎn)，包括用于接收信息信號(hào)的接收機(jī)；根據(jù)權(quán)利要求1至13所述的用于根據(jù)所述信息信號(hào)產(chǎn)生發(fā)送幀的設(shè)備；和用于基于所述發(fā)送幀產(chǎn)生發(fā)送信號(hào)的裝置。
15.一種用于根據(jù)信息信號(hào)產(chǎn)生發(fā)送信號(hào)的設(shè)備，所述信息信號(hào)包括信息幀，所述設(shè)備包括提供器，用于提供指示在用替換幀替換所述信息幀時(shí)的重構(gòu)失真的重構(gòu)失真值；和組合器，用于組合所述信息信號(hào)和所述重構(gòu)失真值，以便獲得所述發(fā)送信號(hào)。
16.一種用于重構(gòu)接收幀中的丟失幀的設(shè)備，所述接收幀包括指示至少兩種幀的丟失幀的類型的幀信息，所述設(shè)備包括用于檢測(cè)所述接收幀中的幀信息的裝置；和用于響應(yīng)于所述幀信息而產(chǎn)生用于所述丟失幀的替換幀以便構(gòu)造所述丟失幀的裝置，其中所述替換幀的類型匹配于所述丟失幀的類型。
17.一種用于根據(jù)信息信號(hào)產(chǎn)生發(fā)送幀的方法，所述信息信號(hào)包括第一信息幀和第二信息幀，所述方法包括提供指示在用替換幀替換所述第一信息幀時(shí)的重構(gòu)失真的第一重構(gòu)失真值，并且提供指示在用替換幀替換所述第二信息幀時(shí)的重構(gòu)失真的第二重構(gòu)失真值；以及根據(jù)所述第一重構(gòu)失真值或根據(jù)所述第二重構(gòu)失真值，將所述第一信息幀或所述第二信息幀插入所述發(fā)送幀。
18.一種用于轉(zhuǎn)發(fā)信號(hào)的方法，所述方法包括接收信息信號(hào)；根據(jù)權(quán)利要求17，并且根據(jù)所述信息信號(hào)產(chǎn)生發(fā)送幀；以及基于所述發(fā)送幀產(chǎn)生發(fā)送信號(hào)。
19.一種用于根據(jù)信息信號(hào)產(chǎn)生發(fā)送信號(hào)的方法，所述信息信號(hào)包括信息幀，所述方法包括提供指示在用替換幀替換所述信息幀時(shí)的重構(gòu)失真的重構(gòu)失真值；和組合所述信息信號(hào)和所述重構(gòu)失真值，以便獲得所述發(fā)送信號(hào)。
20.一種用于重構(gòu)接收幀中的丟失幀的方法，所述接收幀包括指示至少兩種幀的丟失幀的類型的幀信息，所述方法包括檢測(cè)所述接收幀中的幀信息；以及響應(yīng)于所述幀信息而產(chǎn)生用于所述丟失幀的替換幀，以便重構(gòu)所述丟失幀，其中所述替換幀的類型匹配于所述丟失幀的類型。
21.一種計(jì)算機(jī)程序，當(dāng)所述計(jì)算機(jī)程序在計(jì)算機(jī)上運(yùn)行時(shí)，執(zhí)行根據(jù)權(quán)利要求17、18、19和20所述的方法中的至少一種。
全文摘要
一種用于由信息信號(hào)產(chǎn)生發(fā)送幀的設(shè)備，所述信息信號(hào)包括第一信息幀和第二信息幀，包括提供器(105)，用于提供指示在用替換幀替換第一信息幀時(shí)的重構(gòu)失真的第一重構(gòu)失真值，以及提供指示在用替換幀替換第二信息幀時(shí)的重構(gòu)失真的第二重構(gòu)失真值；單元(107)，用于依賴于第一重構(gòu)失真值或者依賴于第二重構(gòu)失真值將第一信息幀或者第二信息幀插入到發(fā)送幀中。根據(jù)本發(fā)明，可以實(shí)現(xiàn)速率－失真優(yōu)化后的速率降低。
文檔編號(hào)H04N7/24GK1998238SQ200480043353
公開日2007年7月11日 申請(qǐng)日期2004年6月15日 優(yōu)先權(quán)日2004年6月15日
發(fā)明者沃爾夫?qū)た评諣? 艾克哈爾德·斯坦貝克, 韋圖 申請(qǐng)人:株式會(huì)社Ntt都科摩