專利名稱：用于流式多媒體中優(yōu)化錯誤管理的解碼器架構的制作方法
技術領域：
本發(fā)明涉及用于解碼手持式裝置上的實時流式媒體的方法及設備。
背景技術：
由于因特網(wǎng)及無線通信的爆炸性增長及巨大成功，以及對多媒體服務的日益增加的需求，因特網(wǎng)及移動/無線信道上的流式媒體已引起人們極大的關注。于異質性因特網(wǎng)協(xié)議(IP)網(wǎng)絡中，視頻是由服務器提供且可由一個或一個以上客戶端流化。有線連接包含撥號、整合式服務數(shù)字網(wǎng)絡(ISDN)、電纜、數(shù)字訂戶線路協(xié)議(統(tǒng)稱為xDSL)、光纖、局域網(wǎng)絡(LAN)、廣域網(wǎng)絡(WAN)及其它網(wǎng)絡。傳輸模式可是單播或多播。 類似于異質性IP網(wǎng)絡的是移動/無線通信。通過移動/無線信道運輸多媒體內容極具挑戰(zhàn)性，這是因為這些信道經常因多路徑衰落、蔭蔽、符號間干擾及噪聲擾動而受到嚴重損害。諸如移動性及競爭業(yè)務等某些其它原因也可導致帶寬變化及損失。信道噪聲及所服務的用戶數(shù)量確定信道環(huán)境的時變特性。 在異質性IP網(wǎng)絡及移動通信系統(tǒng)二者中，對更高數(shù)據(jù)傳輸速率及更高服務質量的需求迅速增長。然而，例如有限的延遲時間、有限的發(fā)射功率、有限的帶寬及多路徑衰落等因素仍在繼續(xù)限制實際系統(tǒng)所處理的數(shù)據(jù)傳輸速率。在多媒體通信中，尤其是在易出錯環(huán)境中，所傳輸媒體的錯誤恢復力在提供所需服務質量方面至關重要，這是因為甚至是單個已解碼值中的錯誤也可能導致解碼假象在空間及時間上傳播。人們已使用了各種編碼措施以在維持必要的數(shù)據(jù)傳輸速率的同時使錯誤最小化，然而，所有這些技術均存在錯誤會到達解碼器側的問題。 通過使用源編碼器，對數(shù)據(jù)實施壓縮_通過耗用最少量的位來傳送最大量的信息，隨后是信道編碼器，所述信道編碼器往往會在以既定錯誤概率接收這些位的情況下使傳輸信道的容量最大化。 人們使用信道編碼(例如，Reed-SoLomon編碼)來改進經源編碼的數(shù)據(jù)的健壯性。人們已使用聯(lián)合源-信道編碼方法來為具有不同重要程度的經源編碼數(shù)據(jù)提供不同程度的錯誤保護或者通過分割及丟棄分組而使已編碼視頻數(shù)據(jù)的速率自適應于可用網(wǎng)絡帶寬。
4這是因為常用運輸協(xié)議并未將訛誤數(shù)據(jù)遞送至源編碼器。 人們已使用例如可反轉的可變長度編碼(例如，在MPEG-4中)等源編碼技術通過
在實際上接收到訛誤分組時按相反次序將分組解碼來實施錯誤恢復。源編碼技術在編碼效
率方面會有所犧牲，對于既定位速率，此會轉移至已解碼視頻的質量。 混合編碼標準，例如MPEG-1、 MPEG-2、 MPEG-4(統(tǒng)稱為MPEG-x) 、 H. 261、 H. 262、
H. 263及H. 264(統(tǒng)稱為H. 26x)使用位流中的再同步點作為在解碼器處處理錯誤的主要方法。 另一種可導致數(shù)據(jù)損失超過初始訛誤的原因是由于不正確的碼字仿效。對初始位錯誤位置的識別并非是微不足道的任務且通常如果沒有一種在MAC層或物理層組件中支持對位錯誤位置的識別的專門設計將無法實現(xiàn)。因而，在檢測出位流訛誤后，解碼器可能須停止解碼并在位流中前移以找到下一再同步點，且在所述過程中必定會跳過相當大數(shù)量的可能無訛誤的數(shù)據(jù)。盡管相對于上述的事件序列而言，仿效不同的碼字-其與原始(即可信的)碼字具有相同長度-可能看起來并非太大的問題，然而實際上卻并非如此。有許多途徑使此類錯誤可導致解碼器不能正確地解譯位流。例如，在大多數(shù)現(xiàn)有編碼解碼器中，在位流中存在其值會影響所述位流后續(xù)部分的語法的對象(與壓縮相關的參數(shù))。因而，此種對象的錯誤值可能會導致位流被錯誤地解譯。 由于常用運輸協(xié)議不將訛誤數(shù)據(jù)遞送至解碼器(例如，視頻或音頻解碼器應用)，因而解碼器處理位錯誤的能力有限，其中丟棄分組及再同步是最常見的解決方法。需要提供一種能處理會因例如喪失同步及錯誤碼字仿效等問題而造成錯誤傳播及數(shù)據(jù)丟失的位錯誤的經改進方法。

發(fā)明內容
在一個方面中，一種供在錯誤恢復中使用的多層整合方法及設備包括用于如下的方法或裝置根據(jù)第一層協(xié)議檢測多媒體數(shù)據(jù)中的錯誤；及根據(jù)第二層協(xié)議隱匿所述多媒體數(shù)據(jù)中的所檢測到的錯誤。在另一方面中，一種供在錯誤恢復中使用的多層整合的設備包括檢測器，其根據(jù)第一層協(xié)議檢測多媒體數(shù)據(jù)中的錯誤；及隱匿器，其根據(jù)第二層協(xié)議隱匿所述多媒體數(shù)據(jù)中的所檢測到的錯誤。在所述多層整合方法及設備中，所述第一層可包括通信層。所述通信層可包括物理層、MAC層及運輸層中的一者或組合。此外，所述方法及設備可進一步包括用于根據(jù)運輸層協(xié)議來控制所檢測到的錯誤的方法或裝置?？刂扑鶛z測到的錯誤可包括定位所檢測到的錯誤。所述方法及設備還可進一步包括用于根據(jù)同步層協(xié)議來確定所檢測到的錯誤的錯誤分布的方法或裝置。所述第二層可包括應用層。
在另一方面中，一種供在錯誤恢復中使用的多層整合的方法及設備包括用于如下的方法或裝置根據(jù)通信層協(xié)議來檢測多媒體數(shù)據(jù)中的錯誤；根據(jù)運輸層協(xié)議來控制所檢測到的錯誤；根據(jù)同步層協(xié)議來確定所述受控錯誤的錯誤分布；及根據(jù)應用層協(xié)議來隱匿所述多媒體數(shù)據(jù)中的所檢測到的錯誤。在又一方面中，一種供在多媒體數(shù)據(jù)處理中使用的方法及設備包括用于如下的方法或裝置實施已編碼多媒體數(shù)據(jù)的錯誤恢復；及支持所述已編碼多媒體數(shù)據(jù)的可縮放性。在再一方面中，一種供在多媒體數(shù)據(jù)處理中使用的設備包括錯誤恢復組件，其用于實施已編碼多媒體數(shù)據(jù)的錯誤恢復；及可縮放性組件，其支持所述已編碼多媒體數(shù)據(jù)的可縮放性。在所述供在多媒體處理中使用的方法及設備中，可縮放性可包括空間與時間可縮放性中的一者或二者。錯誤恢復可包括時間錯誤隱匿、空間錯誤 隱匿及幀速率上變換中的一者或組合。 在進一步方面中，一種供在多媒體流處理中使用的方法及設備包括用于如下的方 法或裝置接收多個已編碼多媒體數(shù)據(jù)流；對流的錯誤部分實施錯誤恢復；及由所述多個 流重構多媒體數(shù)據(jù)。在再進一步方面中，一種供在多媒體流處理中使用的設備包括接收 機，其接收多個已編碼多媒體數(shù)據(jù)流；錯誤恢復組件，其對流的錯誤部分實施錯誤恢復；及 重構器，其由所述多個流重構多媒體數(shù)據(jù)。在所述供在多媒體流處理中使用的方法及設備 中，錯誤恢復可包括時間錯誤隱匿、空間錯誤隱匿及幀速率上變換中的一者或組合。
應注意，以上方法及設備可由經配置以實施所述方法或所述設備的操作的計算機 可讀媒體及/或處理器來構建。


圖1A是用于遞送流式多媒體的通信系統(tǒng)的實例的框圖。 圖IB是用于遞送流式多媒體的多層式通信系統(tǒng)的實例的框圖。 圖1C是用于遞送流式多媒體的多層式通信系統(tǒng)的另一實例的框圖。 圖2A是用于解碼流式多媒體的解碼器裝置架構的實例的框圖。 圖2B是包含發(fā)射機的多層整合式管理系統(tǒng)的協(xié)議堆棧圖及圖2A的解碼器裝置架
構的另一視圖。 圖3描繪組織成用于級聯(lián)Reed Solomon擦除及Turbo編碼的多媒體符號的實例。
圖4是用于解碼流式多媒體的方法的實例的流程圖。
圖5描繪視頻數(shù)據(jù)的Turbo信息分組結構。 圖6顯示實例性組件系統(tǒng)的框圖，所述實例性組件系統(tǒng)可是圖1中所示多媒體接 收機24的一部分。 圖7顯示錯誤恢復過程的流程圖。
具體實施例方式
本文描述一種用于在多媒體解碼器中提供改進的錯誤恢復能力的方法及設備。提 供整合式錯誤恢復能力，例如，在上層(例如，通信層)處檢測多媒體數(shù)據(jù)流中的錯誤并在 應用層(例如，視頻或音頻解碼器)處對所檢測到的錯誤實施錯誤恢復。在一個實例中， 提供一種解碼器架構，其向應用組件提供訛誤位旗標信息以用于在實施各種類型的錯誤恢 復技術中做出明達的決定。所述錯誤恢復技術用于以從應用組件可利用的信息(例如，先 前已解碼的視頻、音頻、文本及圖形信息)所獲得的估計符號來替換訛誤符號。再下文說明 中，為實現(xiàn)對所述實施例的透徹理解而提供具體細節(jié)。然而，所屬領域的技術人員應了解， 所述實施例可載不具備這些特定細節(jié)的情況下實施。例如，電組件可按框圖形式加以顯示， 以免以不必要的細節(jié)使得所述實施例難以理解。在其它例示中，可詳細顯示此類組件、其它 結構及技術來進步解釋所述實施例。所屬領域的技術人員也應了解，可將顯示為獨立區(qū)塊 形式的電組件重新布置及/或組合成一個組件。 還應注意，可將某些實施例描述為過程，所述過程被描繪為流程、流程圖、結構圖 或框圖。盡管流程可將操作描述為順序性過程，然而也可平行或同時實施所述操作中的許多操作并可重復所述過程。此外，可重新布置所述操作的次序。當其操作完成時，過程即終 止。過程可對應于方法、功能、程序、子例程、子程序等。當過程對應于功能時，所述過程的 終止對應于所述功能返回至調用功能或主功能。 圖1A是用于遞送流式多媒體的通信系統(tǒng)的實例的框圖。系統(tǒng)20包含發(fā)射機22 及接收機多媒體解碼器24。發(fā)射機22含有各種形式的壓縮多媒體數(shù)據(jù)，包括但不限于視 頻、音頻、圖形、文本及圖片。所述數(shù)據(jù)可是1 ￡61及11.261標準中的壓縮視頻及音頻， MPEG-4AAC、 MP3、 AMR及G. 723音頻或語音壓縮標準中的壓縮音頻、或任何其它類型的數(shù)字 數(shù)據(jù)。 發(fā)射機22從包含外部存儲器、因特網(wǎng)及直播視頻及/或音頻饋入端在內的各種源 獲取數(shù)據(jù)。發(fā)射機22還通過網(wǎng)絡傳輸(Tx)所獲取的數(shù)據(jù)。所述網(wǎng)絡可是有線網(wǎng)絡28，例如 電話、電纜或光纖，或者是無線網(wǎng)絡26。倘若為無線通信系統(tǒng)，網(wǎng)絡26可包括例如碼分多址 (CDMA或CDMA2000)通信系統(tǒng)的一部分，或者另一選擇為，所述系統(tǒng)可是頻分多址(FDMA)系 統(tǒng)、正交頻分多址(OFDMA)系統(tǒng)、時分多址(TDMA)系統(tǒng)-例如用于服務行業(yè)的GSM/GPRS(通 用分組無線電服務)/EDGE(增強型數(shù)據(jù)GSM環(huán)境)或TETRA(地面中繼無線電)移動電話 技術、寬頻碼分多址(WCDMA)、高數(shù)據(jù)傳輸速率(lxEV-DO或lxEV-DO金牌多播)系統(tǒng)、或者 一般而言使用所述技術組合的任一無線通信系統(tǒng)。 解碼器24含有用于通過無線網(wǎng)絡26及/或有線網(wǎng)絡28接收數(shù)據(jù)的裝置，例如， 射頻天線或網(wǎng)絡連接。解碼器24可包含多個處理器，包括如下的任一組合預處理器(例 如，任一類型的中央處理單元CPU，例如ARM)，數(shù)字信號處理器(DSP)，軟件，固件，及諸如視 頻核心等的硬件，以使與所接收數(shù)據(jù)相關聯(lián)的解調及解碼任務分散。解碼器24也含有用于 在解調/解碼過程的各個階段中存儲所接收數(shù)據(jù)及中間數(shù)據(jù)的存儲器組件。在某些實施例 中，ARM預處理器執(zhí)行較不復雜的任務，包括將多個包含音頻、視頻及其它信息的位流開包 (去除諸如標頭及信令消息等附帶信息)及解多工。所述ARM預處理器還實施位流剖析、錯 誤檢測和隱匿以及可變長度熵解碼。在某些此類實施例中，DSP對VLC(可變長度代碼)碼 字實施擴展、對視頻數(shù)據(jù)實施逆折線掃描以空間定位像素系數(shù)實施、對MPEG-4視頻的像素 系數(shù)實施逆AC/DC預測(由于上下文自適應性熵編碼，這并不是H. 264的特點)、及實施音 頻解碼(例如，MPEG-4AAC、MP3、AMR或G. 723)。視頻核心可實施在計算上更為復雜的視頻 解碼任務，包括解量化、逆轉換、經運動補償?shù)念A測、及解塊( 一種用于減少像素區(qū)塊邊緣 之間的邊緣假象的濾波形式)?？蓪⒁粋€或一個以上元件添加、重新布置或組合至通信系統(tǒng) 20。倘若為有線通信系統(tǒng)，則網(wǎng)絡26可包括例如具有諸如實時運輸協(xié)議(RTP)或通用數(shù)據(jù) 報協(xié)議(UDP)等運輸協(xié)議的基于因特網(wǎng)協(xié)議(IP)的通信系統(tǒng)的一部分。
圖IB是用于在發(fā)射機22與解碼器24中劃分任務的多層式協(xié)議堆棧的框圖。分 別位于發(fā)射機22及解碼器24中的上層組件205及210可包含多個應用，例如，視頻或音頻 編碼器及/或解碼器。某些實施例可包含多個打算同時解碼的信息流。在這些情況下，還 可在上層組件205及210中實施使所述多個流同步的任務。上層組件205可在通過無線網(wǎng) 絡26及/或有線網(wǎng)絡28傳輸?shù)奈涣髦刑峁┮丫幋a的定時信息。上層組件210可剖析所述 多個信息流以使相關聯(lián)的應用大約同時地將其解碼。 發(fā)射機22中的下層組件215可包含各種用于實現(xiàn)錯誤恢復力的方案。例如無線網(wǎng) 絡26及/或有線網(wǎng)絡28等易出錯信道可能會在解碼器24所接收的位流中引入錯誤。在
7下層組件215中所提供的此類錯誤恢復力方案可包含一個或一個以上錯誤控制編碼方案、 交錯方案及其它為所屬領域的技術人員已知的方案。解碼器22中的下層組件220可包含 能夠檢測及修正錯誤的對應錯誤解碼組件。通過無線網(wǎng)絡26及/或有線網(wǎng)絡28引入的某 些錯誤可能無法由下層組件220加以修正。對于那些無法修正的錯誤，例如下層組件220 請求由發(fā)射機22中的下層組件215重新傳輸訛誤組件等解決方案對某些情況(例如，在例 如流式應用等實時多媒體通信中)而言可能并不可行。在某些實施例中，下層組件215及 220包括通信層組件。可將一個或一個以上元件添加、重新布置或組合至圖1B所示的發(fā)射 機22或解碼器24。 圖1C是用于在發(fā)射機22與解碼器24中劃分任務的多層協(xié)議堆棧的更詳細實例 的框圖。發(fā)射機22的上層組件205分布于應用層206與同步層207中的一個或一個以上 中。發(fā)射機22的下層組件215則分布于運輸層216、流或媒體存取控制(MAC)層217及物 理層218中的一個或一個以上中。同樣地，解碼器24的上層組件210分布于應用層211與 同步層207中的一個或一個以上中。解碼器24的下層組件220則分布于運輸層221、流或 媒體存取控制(MAC)層222及物理層223中的一個或一個以上中。所屬領域的技術人員將 認識這些所述層并熟悉各種任務在其中間的分配?，F(xiàn)在將論述如上文所述整合解碼器裝置 24中各種層的架構的實例，以利用發(fā)射機22中所提供的錯誤恢復力?？蓪⒁粋€或一個以上 元件添加、重新布置或組合至圖1C中所示的發(fā)射機22或解碼器24。 圖2A是用于解碼流式多媒體的解碼器裝置架構的實例的框圖。圖2B是包含發(fā)射 機22的多層整合式管理系統(tǒng)的實例的協(xié)議堆棧圖及圖2A的解碼器裝置架構的協(xié)議堆棧視 圖。參照圖2A及2B，多媒體解碼器30包含物理層組件32、MAC層組件34、運輸及同步剖析 器(TSP)39、及應用層組件50。多媒體解碼器30接收輸入位流(IN)，所述輸入位流包含諸 如Turbo/Reed-Solomon級聯(lián)方案的級聯(lián)錯誤修正方案。物理層組件32可實施解調任務，包 括但不限于接收、錯誤控制解碼(例如，turbo代碼解碼)及介接MAC(媒體存取控制)層。 MAC層組件34可實施錯誤控制解碼，例如，Reed-Solomon錯誤檢測、錯誤修正及對無法修正 的訛誤數(shù)據(jù)(例如，一個或一個以上位的群組)加上旗標。MAC層組件34與運輸及同步剖 析器組件(TSP)39介接。 TSP組件39可進一步包含運輸層解多工組件36及Sync.(同步)層剖析器組件 38。運輸層解多工組件36可接收從MAC層組件34所傳送的位流，包括正確的和訛誤的位 以及對訛誤位群組加旗標的信息。訛誤位群組及對應的加旗標信息包括對應于Turbo解碼 器CRC失敗33及Reed-Solomon失敗35的信息。(在某些協(xié)議堆棧中，運輸層解多工組件 36還稱作流子層，其中MAC子層及流子層是運輸層的兩個子層。)運輸層解多工組件36可 將其所接收到的位流解多工(De-Mux)或剖析成多個位流。經剖析的位流可包含指向不同 應用(例如，視頻解碼器、音頻解碼器、及各種文本、圖形及圖像應用的組合)的位流。運輸 層解多工組件還可將指向單個應用的一個位流(例如，視頻位流)剖析成兩個或更多個單 獨的層(例如，使用可縮放編碼)，例如基礎層及增強層。然后，可使用這些層來提供可縮放 性，例如，時間及/或SNR可縮放性。可縮放編碼的一個實例是，將幀內編碼圖片(例如，I 幀)及不同的幀間編碼圖片(例如，使用例如運動補償預測導出的P幀或B幀)劃分成位 流中的不同層。I幀可編碼于基礎層中而P及/或B幀可編碼于加強層中?？煽s放編碼適 用于動態(tài)信道，其中可縮放位流可適合于匹配網(wǎng)絡帶寬的波動。在易出錯信道中，可縮放編碼可通過對基礎層及加強層實施非均衡錯誤保護來增加健壯性?？蓪Ω匾膶討酶?的錯誤保護。 Sync.(同步)層剖析器組件38在時間同步基礎上根據(jù)彼此相關的子位流對所述 位流實施進一步的剖析?？蓪⒍嗝襟w視頻位流剖析成視頻位流、音頻位流及與隱藏式字幕 的文本相關聯(lián)的位流。同步層剖析器組件38將經剖析的位流與時間同步信息一起轉發(fā)至 關聯(lián)的解碼器應用。這使得能夠適時地顯示及播放相關的音頻、視頻及文本。
除以上論述的剖析外，運輸層多路分用器組件36可剖析訛誤加旗標信息(例如， CRC失敗信息33及Reed-Solomon失敗信息35)并將其轉發(fā)至同步層剖析器組件38及/或 適宜的應用層過程(例如，視頻解碼器或音頻解碼器)，所述訛誤加旗標信息是從MAC層組 件34及物理層32接收的。同步層剖析器組件38可將訛誤加旗標信息以錯誤分布信息37 的形式轉發(fā)。同步層剖析器組件38也可轉發(fā)推薦的錯誤控制策略信息41。然后，所述應用 層過程可使用訛誤加旗標信息37及控制策略信息41來實施錯誤處理。
應用層組件50可含有一個或一個以上組件，例如，錯誤恢復組件40、可縮放性組 件42、幀速率上變換(FRUC)組件44、核心應用解碼組件46及后處理組件48。應用層組件50 利用所轉發(fā)的訛誤加旗標信息37及控制策略信息41作出如何利用錯誤恢復組件、可縮放 性組件及FRUC組件來調處訛誤數(shù)據(jù)的決定，借此用核心應用解碼組件46提供更高質量的 解碼。例如，在其中在一個含有重要信息的層中接收到某些媒體并在另一個層中接收到其 余媒體的時間可縮放性情況下，如果第二層未被接收到或丟失或出現(xiàn)訛誤，則可使用FRUC 來重構遺失的媒體。在解碼之后，后處理組件48實施任何必要的硬件具體修改以便能夠分 別在視頻顯示器或揚聲器上顯示或播放或再現(xiàn)視頻及音頻輸出(OUT)。后處理組件48也可 在再現(xiàn)或呈現(xiàn)媒體之前實施增強或復原操作。 核心應用解碼組件46可包含視頻解碼器、音頻解碼器以及文本和圖形應用。通過 在以核心應用組件46解碼之前或期間對各種應用位流實施錯誤恢復、可縮放性及FRUC處 理，可進行增強以改進低質量位流(以低質量實施編碼的位流或者因出現(xiàn)錯誤而以低質量 接收到的位流)的質量。例如，組件40、42及44可提供對遵從11.264的標準基線視頻位 流(基線配置文件是針對低功率裝置設計的非常簡單的配置文件)并提供來自H. 264中其 它配置文件的某些特點，例如為滿足流式視頻的可縮放性、獲取及錯誤恢復力要求所需的 B-幀及切片數(shù)據(jù)分割。下文將提供利用多媒體解碼器30組件的過程的詳細情況。可將一 個或一個以上元件添加、重新布置或組合至圖2A及2B中所示的發(fā)射機22或解碼器30。
現(xiàn)在將對錯誤檢測及錯誤修正予以簡要論述。錯誤檢測及修正方案的一個實例使 用既包含內(信道)代碼也包含外(信道)代碼的級聯(lián)代碼。級聯(lián)信道代碼由物理層中 的Turbo (內)代碼及定位于運輸/MAC層中的Reed-Solomon (外)擦除修正代碼組成。圖 3描繪組織成用于級聯(lián)Reed Solomon擦除及Turbo解碼的多媒體符號的實例。就編碼側 而言，將來自信息源的符號輸出、來自編碼器的二進制碼字輸出塊化成字節(jié)102。每一字節(jié) 102均被視為稱作"Galois字段(256)"的有限字段中的符號，以便得到位于"GF(256)"上 的外(N、K) Reed-Solomon (RS)代碼。N及K分別以符號數(shù)量形式來表示整個RS碼字104及 其容納有系統(tǒng)部分的源數(shù)據(jù)106的尺寸。因此，N減K會求出包含于每一碼字104中的奇 偶符號108的數(shù)量。(N、 K) RS代碼能夠修正N減K個擦除。 頂部的K個行106實質上容納從信息源輸出的符號且這些符號可按以行為先或以列為先的方式掃描成K個行。當既定Turbo信息分組行112出現(xiàn)訛誤時，通過以列為先的 掃描所獲得的交錯會使訛誤位群組明顯變短。由于存在Turbo信息分組擦除，所述訛誤位 群組在以列為先掃描時的長度分別為l個字節(jié)，這不同于在以行為先掃描時分別為(L-l) 個字節(jié)的長度。在解碼器處，如下文所論述，在對這些訛誤位群組加旗標時可能需要識別這 些位群組的尺寸及位置(在位流中的)。在源數(shù)據(jù)放置的此初始步驟之后，通過添加N-K個 奇偶字節(jié)而將所述L個(為K個字節(jié)的)列104中的每一列RS編碼成N個字節(jié)，并由此產
生圖3中的各行K+1.....N 108。由源數(shù)據(jù)106組成的頂部的K個行稱作RS信息區(qū)塊，且
由N個行組成的整個集合稱作經RS編碼的區(qū)塊或簡稱為代碼塊110。 每一行112均附加有CRC(循環(huán)冗余校驗)校驗和及某些為使turbo編碼器正確 運作所需的尾部位。通過對每一行112附加校驗和，可宣布那些在turbo解碼后未能滿足 其各自校驗和的行被擦除。每一代碼塊110均每次一個行112地輸入至turbo編碼器中， 且因此每一行均稱作Turbo信息分組。 Turbo解碼過程為Reed-Solomon解碼過程提供硬決策數(shù)據(jù)，這會進一步減小剩余 錯誤率。成功修正擦除的能力取決于代碼塊內的總擦除數(shù)量及每一 RS碼字所用奇偶符號 的數(shù)量(N減K)。 在針對圖2的多媒體解碼器30的信道編碼設計中，如果Reed-Solomon (RS)代碼 塊所具有的擦除超過修正容量，則可將對應的RS信息塊(圖3)及聯(lián)合通知傳遞至運輸層、 同步層及最后是應用層中的組件，所述聯(lián)合通知會對所述K個Turbo信息分組112(圖3) 中哪些出現(xiàn)訛誤加上旗標。所述外(N、K)RS代碼位于GF(256)上的系統(tǒng)結構使得能夠直接 利用所正確接收到(無訛誤)的turbo信息分組。 圖4是用于解碼流式多媒體的方法的實例的流程圖。接收帶噪聲的經調制數(shù)據(jù) (IN)并將其輸入至解碼過程60并加以調制62。可在有線或無線網(wǎng)絡(例如，圖l中的無線 網(wǎng)絡26及有線網(wǎng)絡28)上接收所述數(shù)據(jù)。圖2的物理層組件32在步驟62處實施所接收帶 噪聲數(shù)據(jù)的解調動作。然后傳遞經解調的數(shù)據(jù)，其中可檢測及修正錯誤64。圖2的物理層組 件32可實施64中的Turbo解碼動作，而圖2的MAC層組件34可實施64中的Reed-Solomon 錯誤修正動作。 在Turbo及Reed-Solomon解碼已檢測出并修正64所有可修正的錯誤后，通過例 如加上旗標來識別66Turbo信息分組及/或訛誤字節(jié)。在將位流向前傳遞以供剖析68之 前，拋棄每一 Turbo信息分組中的CRC校驗和及尾部位、以及奇偶行108 (圖3)。正確接收 到的、不正確地接收到但經過修正的、及帶旗標的訛誤數(shù)據(jù)，連同用于識別訛誤數(shù)據(jù)的加旗 標信息一起全部向前傳遞以供進行位流剖析68。圖2的物理層組件32及/或MAC層組件 34可實施識別(例如，通過加上旗標)66訛誤數(shù)據(jù)的動作。 如上所述，運輸多路分用器組件36同步層剖析器組件38將位流剖析68成多個位 流以供多個應用層過程使用。在圖4中所示的實例中，將位流剖析68成視頻位流70、音頻 位流72及文本及/或圖形位流74。每一位流70、72及74可含有用于識別個別位流內的訛 誤位群組的數(shù)據(jù)。另外，當個別位流要時間同步時，所述位流可含有定時信息。
在剖析個別位流之后，在應用層處進行錯誤處理，其中利用數(shù)種錯誤恢復或隱匿 技術中的一種技術來對訛誤位實施替換78、82及86。圖2中的應用層組件50的錯誤恢復 組件40、可縮放性組件42及FRUC組件44可實施替換操作78 、 82及86。在替換訛誤符號
10之后，可分別將個別視頻、音頻及文本/圖形位流解碼80、84及88。圖2中的應用層組件 50的核心應用組件46可實施解碼80、84及88。圖2中的應用層組件50的核心應用組件 46還可對可能已由下層組件加以旗標的訛誤位進行替換78、82及/或86?？蓪⒁粋€或一 個以上元件添加、重新布置或組合至圖4中所示的過程60。 現(xiàn)在將更詳細地論述如圖4中所示的通過給訛誤數(shù)據(jù)加旗標來識別66訛誤位的 實例。圖5描繪視頻數(shù)據(jù)的Turbo信息分組結構。區(qū)塊140表示Turbo信息分組集合，例如 構成圖3中所描繪的RS信息塊的K個行Turbo信息分組106。視頻幀可能需要編碼多于一 個Turbo信息分組的數(shù)據(jù)。例如，第一幀F(xiàn)l開始于信息塊148A內的行142A中。幀F(xiàn)l中 的其余數(shù)據(jù)則位于行142B、142C、142D中以及行142E的第一部分中。行142A也含有同步 標頭(SH) 146A，同步標頭(SH)146A含有例如以下等的信息流識別，同步時間，幀識別(幀 編號及可能的層編號-倘若有基礎層及增強層)及其它信息。同步標頭146A用于為同步 層剖析器(參見圖2中的38)識別將包含于表示幀F(xiàn)l的后續(xù)信息塊中的數(shù)據(jù)發(fā)送至何處 (哪一應用)。在每一行的結束處是如上文所論述的CRC校驗和，其與Reed-Solomon解碼 相結合地用于識別已擦除(訛誤)分組。 在每一 Turbo信息分組行的起始處是運輸層標頭(TH) 144。每一 TH 144均含有 Last_Flag(最末旗標)及Offset_Pointer (偏移量指針)。在圖4的狀態(tài)66處實施的對 訛誤Turbo信息分組加以旗標可通過0ffset_Pointer值自身來完成。將Offset_Pointer 設定至非法值可指示所述分組出現(xiàn)訛誤。另一選擇為，可在TH中使用Error_Flag(錯誤旗 標)字段?？赏ㄟ^對應TH中的設定值(Error_Flag = 1)來加旗標。例如，如果行142C出 現(xiàn)訛誤，則可將行142C的TH設定成等于1。 LaSt_Flag用于指示當前行是幀的最末行(例 如，通過將其設定成等于l)，且如果其是最末行，則使用Offset—Pointer來指示下一幀起 始于Turbo信息分組行中的何處(以字節(jié)數(shù)量計)。例如，在行142E中，TH 144B可具有 (Last_Flag = 1)且Offset_Pointer可等于在TH 144C起始(幀F(xiàn)3起始)之前包含于所 述行中的字節(jié)數(shù)量。同步標頭146B可含有如上文所論述的指示Frame_ID(幀ID)的數(shù)據(jù) 及位流。信息塊148C含有表示幀F(xiàn)3的視頻數(shù)據(jù)。如果確定行142E出現(xiàn)訛誤，則解碼器不 可能確定幀F(xiàn)l在何處結束及幀F(xiàn)3在何處開始。 除(或替代)如上文所論述在運輸標頭中包含Error_Flag外，可構建數(shù)據(jù)表并將
其轉發(fā)至應用層，其中在表1中列出每一視頻幀的信息。
*幀編號_處于有限幀集合(例如30個幀)內的整數(shù)編號，其中在達到最大編號 的后在l處重新開始進列編號。
11 B/E-指示在多層可縮放性情況下的幀的基礎層或增強層編號。
Frame_Length-字節(jié)中視頻幀的長度。
RAP_Flag-指示幀是否是隨機存取點(例如，經完全幀內編碼的I幀)的旗標。 當遇到錯誤時，此旗標還可用作再同步點。
呈現(xiàn)時間戳(PTS)-當要顯示幀時在幀序列中的時間。
幀/秒(FPS)
幀所占據(jù)(整個及部分地二者)的Turbo信息分組數(shù)量
Error_Bit_Pattern-指示哪些Turbo信息分組出現(xiàn)訛誤的變量(五個位'00100'將指 示五個分組中的第三個Turbo信息分組出現(xiàn)訛誤)。
Error_Ratio-指示訛誤Turbo信息分組對正確分組的比率的變量(1/5將指示五個分 組中有一個分組出現(xiàn)訛誤)。 表l.包含于視頻位流錯誤表中的樣本信息。 可構造與表1類似的其它位流錯誤表。包含于運輸標頭及/或錯誤表(例如，表 1)中的錯誤加旗標信息可由應用層組件(例如，圖2的組件40、42及44)用于在圖4中分 別識別經剖析位流70、72及74中的訛誤符號并在步驟78、82及86處對這些經剖析位流進 行替換。如上文所論述，來自RS編碼的擦除分組并未被拋棄、而是被遞交給應用層，例如， 視頻解碼器。這會防止丟失整個分組-對于視頻分組而言可能為122個字節(jié)長度或者更長。
在圖4中的步驟78、82及86處對訛誤符號進行替換的操作可呈現(xiàn)兩種主要形式 錯誤修正及錯誤隱匿。對擦除及突發(fā)錯誤實施位流級錯誤修正及隱匿操作。盡可能地使用 MAP(最大經驗概率)準則來修正解碼錯誤(因字節(jié)錯誤而引起)。無法修正的錯誤則使用 來自鄰近宏塊的空間及/或時間信息來隱匿(宏塊是通常以視頻壓縮標準處理的16x16像 素區(qū)域，但也可使用例如8x8、8xl6及其它更小的子宏塊)。例如，當圖像在多于一個幀內 為靜態(tài)時，可使用時間隱匿。如果所隱匿的訛誤宏塊處于在先前幀中已保持相對恒定的區(qū) 域中，則其可能存在于所述訛誤幀中且可使用所經過的幀區(qū)域作為對所述訛誤區(qū)域的估計 值。空間隱匿可利用在同一幀內的鄰近宏塊上持續(xù)存在的邊緣或對象。
如上文所論述，可接收到多個層的表示同一位流的已編碼數(shù)據(jù)。所述層可包含基 礎層及一個或一個以上增強層，其中所述增強層可提供在基礎層中無法得到的額外幀(例 如，經雙向預測的B幀)，或者其可提供對基礎層像素系數(shù)的更高質量差別改進。在提供對 基礎層系數(shù)的差別改進的情況下，如果基礎層出現(xiàn)訛誤，則增強層可能會毫無用處，這是因 為其是根據(jù)基礎層像素值導出的。因此，如果基礎層數(shù)據(jù)出現(xiàn)訛誤，則可將增強層從解碼 中省略。這個過程稱作選擇性解碼且還可在低功率情況下使用。例如，當容納解碼器的裝 置正以低功率模式運行或在蓄電池電量偏低情況下運行時，可僅將基礎層解碼而省略增強 層，因此節(jié)省計算循環(huán)并從而又節(jié)省功率消耗?？墒褂每臻g及/或時間隱匿技術來替換組 合的基礎層加增強層數(shù)據(jù)。 可以低于基礎層(或更高優(yōu)先權層)的功率來傳輸增強層(有時被視為低優(yōu)先權 層)。這會使增強層中的錯誤概率相對于基礎層增加。因而，當所接收的基礎層含有高的錯 誤百分比時，可潛在地將增強層丟棄。者、使用運動補償預測來加以預 測。B幀會提供極高的補償比率且非常有利于節(jié)約帶寬。B幀還因其時間可縮放性特征而 令人滿意。符合標準的B幀不用于任何其它幀的預測，且出于這種原因，其可被丟棄而不會 不利地影響其它幀。由于其所依賴的幀中的錯誤，B幀也對錯誤傳播更敏感。出于這些原 因，B幀很可能在增強(或低優(yōu)先權)層中載送。如果以低功率傳輸增強層，則B幀對錯誤 更加敏感。 如果B幀(或任何其它類型的幀)是完全訛誤的，或者具有高于閾值的錯誤百分 比從而使得時間或空間錯誤隱匿不可行，則可利用幀速率上變換(參見圖2的FRUC組件 44)。 FRUC用于重新產生所丟失的幀。FRUC還可用于重新產生出于例如節(jié)約功率等原因而 在解碼中被跳過的幀。FRUC技術利用來自先前幀及后續(xù)幀的運動向量及像素信息來內插運 動向量及像素的值。FRUC本身不屬于本說明的范疇。FRUC技術包含僅有解碼器的形式及 由編碼器協(xié)助的形式。僅有解碼器的FRUC在無任何其它信息的情況下實施幀數(shù)據(jù)的偽內 插。由編碼器協(xié)助的FRUC則利用在H. 264的補充增強信息(SEI)消息或MPEG-2的user_ data(用戶數(shù)據(jù))消息中所傳輸?shù)母綆畔ⅰ?圖6顯示組件系統(tǒng)的實例的框圖，所述組件系統(tǒng)可是多媒體接收機(例如，圖1中 所示接收機24)的一部分。系統(tǒng)600是供在錯誤恢復中使用的多層整合的系統(tǒng)。圖7顯示 可由系統(tǒng)600使用的錯誤恢復過程的流程圖。參照圖6及7，過程700接收705 —個或一個 以上多媒體數(shù)據(jù)流。數(shù)據(jù)流可包含視頻、音頻、及/或隱藏式字幕文本及其它信息。所接收 的一個或一個以上流可是已編碼數(shù)據(jù)流。已編碼數(shù)據(jù)可是經轉換的數(shù)據(jù)、經量化的數(shù)據(jù)、經 壓縮的數(shù)據(jù)或其組合。接收裝置(例如，圖1A中的接收機24)可接收705所述一個或一個 以上流。除接收多個多媒體流之外，每一所接收的流均可包括多個層，例如，基礎層及增強 層。接收機24可是無線接收機或有線接收機或者其組合。 檢測710剩余在位流中的錯誤。檢測到的錯誤可包括那些在下層錯誤修正及檢測 協(xié)議已修正某些通過信道(例如，圖1A的無線信道26或有線信道28)傳輸而引入的錯誤 后剩余的錯誤。如上所述，并非所有的錯誤都可修正且下層協(xié)議可標出訛誤數(shù)據(jù)及/或含 有錯誤的數(shù)據(jù)群組。用于檢測710錯誤的下層協(xié)議可構建于如上文所論述的通信層中。通 信層可是物理層、MAC層(或流層)、或運輸層、或其組合中的一者或組合。檢測器裝置(例 如，圖6中的錯誤檢測器605)可實施錯誤檢測710。錯誤檢測器605可使用所屬領域的技術 人員熟知的各種檢測方案中的任一種，例如，上文所論述的Reed-Solomon及/或Turbo代 碼方案。錯誤檢測可歸因于Turbo解碼器中的CRC失敗。錯誤檢測可歸因于Reed-Solomon 解碼器中的失敗。 可通過數(shù)種方法來控制715所檢測到的錯誤?？刂?15可包括如上文所論述的對 訛誤數(shù)據(jù)加以標記(或加上旗標)?？刂?15可包括通過識別出含有所檢測到的錯誤的數(shù) 據(jù)群組(例如分組、區(qū)塊、切片、幀、宏塊、子宏塊)來定位錯誤。控制715可基于運輸層協(xié) 議。此種協(xié)議可通過在運輸層標頭中編碼一個或一個以上位以供上層使用來標記剩余錯誤 (參見，圖1B及1C)。上層可使用所述運輸層標頭錯誤指示符來進一步識別及/或定位由 一個或一個以上訛誤運輸層分組構成的上層分組，藉以進一步定位上層位流中的錯誤?？?制裝置(例如，圖6中的錯誤控制器610)可實施錯誤控制任務。 確定720錯誤分布。在一個方面中，根據(jù)同步層協(xié)議來確定錯誤分布?？稍谕綄犹幤饰鏊邮?05的一個或一個以上位流。如果同步層從一個下層(例如，通信層)接收到標記訛誤數(shù)據(jù)的信息，則其能識別出哪些位流的哪些部分出現(xiàn)訛誤。具有此種信息可使同步層協(xié)議能夠規(guī)劃上層(例如，應用層)錯誤隱匿及/或錯誤恢復策略?？梢曈炚`數(shù)據(jù)的尺寸而定應用不同的策略?？蓪⒖赡鼙粯擞洖殄e誤的運輸層分組組合入同步層分組內以供視其屬于哪一數(shù)據(jù)流的一部分而定來轉發(fā)至不同的應用層組件。運輸層分組可是固定長度，而同步層分組可是可變長度。同步層可通過插入數(shù)據(jù)以識別可變長度同步分組中哪部分含有訛誤運輸層分組來識別錯誤分布。除使用錯誤控制715信息之外，同步層協(xié)議還可包含其它錯誤檢測方法。這些錯誤檢測方法可包含檢查同步層分組的CRC?？赏ㄟ^在經剖析的數(shù)據(jù)分組內插入錯誤標記而將已確定的錯誤分布傳遞至應用層組件。確定裝置(例如，錯誤分布確定器615)可對錯誤分布加以確定720。 可對所述一個或一個以上已編碼多媒體數(shù)據(jù)流的各部分實施725錯誤恢復。錯誤恢復可基于應用層協(xié)議。應用層組件可實施所述錯誤恢復。所述應用層組件可如上文所論述根據(jù)從同步層接收的信息來確定將使用哪種類型的錯誤恢復。錯誤恢復可包括上文所論述的時間錯誤隱匿、空間錯誤隱匿及幀速率上變換(FRUC)中的一種或組合、以及其它方法。隱匿所述一個或一個以上多媒體數(shù)據(jù)流中的所檢測到的錯誤可基于應用層協(xié)議。錯誤恢復還可支持所述一個或一個以上數(shù)據(jù)流的可縮放性。如上文所論述，可縮放性可包含空間或時間可縮放性的一者或二者。錯誤恢復裝置(例如，圖2A的錯誤恢復組件40)可實施錯誤恢復725。錯誤隱匿裝置(例如，錯誤隱匿器620)可實施錯誤隱匿?？煽s放性裝置(例如，圖2A的可縮放性組件42及圖6的620)可在實施錯誤恢復725中支持可縮放性。
過程700可包含重構730所述一個或一個以上位流。重構730可包括將正確接收到的數(shù)據(jù)與被隱匿數(shù)據(jù)相組合。重構可包含如果幀中的錯誤量超過閾值則減小幀速率(一種時間可縮放性形式)。重構可包括選擇不對增強層實施解碼或隱匿或修正(一種SNR可縮放性形式)。應用層協(xié)議可作為進行重構730的基礎。重構裝置(例如，數(shù)據(jù)流重構器630)可實施重構600?？蓪⒁粋€或一個以上元件添加、重新布置或組合至系統(tǒng)600?？蓪⒁粋€或一個以上元件添加、重新布置或組合至過程700。
上述方法及設備的實例包含以下實例。 —種用于解碼多媒體數(shù)據(jù)的方法，其包含接收位流，對所接收的位流實施錯誤控
制解碼，其中錯誤控制解碼包括識別未經修正的訛誤位，將包含所識別訛誤位的經錯誤控
制解碼的位流傳遞至解碼器，替換至少一個所識別的位，及將經錯誤控制解碼的包含經替
換位的位流解碼。在一個方面中，所述方法進一步包含將經錯誤控制解碼的位流剖析成一
個或一個以上符號、及將識別訛誤位的信息剖析成將任何含有訛誤位的符號識別為訛誤。
在另一方面中，所述方法進一步包含構造含有用于識別訛誤位的經剖析信息的錯誤表，其
中所述錯誤表含有用于將所標識位映射至視頻幀序列中的位置的信息。在又一方面中，所
述方法進一步包含將經錯誤控制編碼的位流剖析成第一經剖析位流及第二經剖析位流，其
中所述第一經剖析位流是基礎層位流且所述第二經剖析位流是增強層位流。
—種用于解碼多媒體數(shù)據(jù)的方法，其包含接收位流，對所接收的位流實施錯誤控
制解碼，其中錯誤控制解碼包括識別未經修正的訛誤位，將包含所識別訛誤位的經錯誤控
制解碼的位流傳遞至解碼器，通過在第一幀與第二幀之間實施幀速率上變換來替換至少一
個所識別位，及將經錯誤控制解碼的位流解碼。
所屬領域的技術人員應了解，可使用眾多種不同技術及技法中的任一種技術來表示信息及信號。例如，整個上述說明中可能提及的數(shù)據(jù)、指令、命令、信息、信號、位、符號和碼片可由電壓、電流、電磁波、磁場或粒子、光場或粒子、或其任組合來表示。
所屬領域的技術人員應進一步了解，結合本文所揭示實例描述的各種例示性邏輯塊、模塊、及算法步驟可構建為電子硬件、固件、計算機軟件、中間體、微代碼、或其組合。為清晰地圖解說明硬件與軟件的互換性，上文是基于功能性來描述各種例示性組件、區(qū)塊、模塊、電路、及步驟。此種功能性實構建為硬件還是軟件取決于特定應用及施加于整個系統(tǒng)的設計制約條件。所屬領域的技術人員可針對每一特定應用以不同的方式構建所述功能性，但此類實施方案決定不應解釋為背離所揭示方法的范疇。 結合本文所揭示實例來描述的各種例示性邏輯塊、組件、模塊及電路可使用通用處理器、數(shù)字信號處理器(DSP)、專用集成電路(ASIC)、現(xiàn)場可編程門陣行(FPGA)或其它可編程邏輯裝置、離散門或晶體管邏輯、離散硬件元件、或設計用于實施本文所述功能的其任一組合來構建或實施。通用處理器可為微處理器，但另一選擇為，處理器也可為任何傳統(tǒng)的處理器、控制器、微控制器或狀態(tài)機。處理器還可構建為計算裝置的組合，例如，DSP與微處理器的組合、多個微處理器的組合、或一個或一個以上微處理器與DSP核心的聯(lián)合，或任一其它此類配置。 結合本文所揭示實例來描述的方法或算法的步驟可直接包含于硬件中、由處理器執(zhí)行的軟件模塊中或兩者的組合中。軟件模塊可駐存于RAM存儲器、快閃存儲器、ROM存儲器、EPROM存儲器、EEPROM存儲器、寄存器、硬磁盤、可抽換磁盤、CD-ROM、或現(xiàn)有技術中已知的任一其它形式的存儲媒體中。實例性存儲媒體耦合至處理器，以使處理器可從存儲媒體讀取信息及向存儲媒體寫入信息。另一選擇為，存儲媒體可是處理機的組成部分。處理器及存儲媒體可駐存于專用集成電路(ASIC)中。ASIC可駐存于無線調制解調器中。另一選擇為，處理器及存儲媒體可作為離散組件駐存于無線調制解調器中。 上文對所揭示實例的說明旨在使所屬領域的技術人員可制作或使用所揭示方法與設備。所屬領域的技術人員將易知這些實例的各種修改形式，且本文所界定的原理也可應用于其它實例并也可添加額外的元件。 因此，已描述了在解碼器應用中利用位訛誤加旗標信息及訛誤數(shù)據(jù)來解碼實時流式多媒體以對訛誤數(shù)據(jù)實施智能錯誤隱匿及錯誤修正的方法及設備。
權利要求
一種供在多媒體數(shù)據(jù)處理中使用的方法，其包括實施經編碼多媒體數(shù)據(jù)的錯誤恢復；及支持所述經編碼多媒體數(shù)據(jù)的可縮放性。
2. 如權利要求1所述的方法，其中所述可縮放性包括空間與時間可縮放性中的一者或二者。
3. 如權利要求1所述的方法，其中所述錯誤恢復包括時間錯誤隱匿、空間錯誤隱匿及幀速率上變換中的一者或組合。
4. 一種供在多媒體數(shù)據(jù)處理中使用的設備，其包括實施裝置，其實施經編碼多媒體數(shù)據(jù)的錯誤恢復；及支持裝置，其支持所述經編碼多媒體數(shù)據(jù)的可縮放性。
5. 如權利要求4所述的設備，其中所述可縮放性包括空間與時間可縮放性中的一者或二者。
6. 如權利要求4所述的設備，其中所述錯誤恢復包括時間錯誤隱匿、空間錯誤隱匿及幀速率上變換中的一者或組合。
7. —種供在多媒體數(shù)據(jù)處理中使用的設備，其包括錯誤恢復組件，其實施經編碼多媒體數(shù)據(jù)的錯誤恢復；及可縮放性組件，其支持所述經編碼多媒體數(shù)據(jù)的可縮放性。
8. 如權利要求7所述的設備，其中所述可縮放性包括空間與時間可縮放性中的一者或二者。
9. 如權利要求7所述的設備，其中所述錯誤恢復包括時間錯誤隱匿、空間錯誤隱匿及幀速率上變換中的一者或組合。
10. —種供在多媒體數(shù)據(jù)處理中使用的處理器，所述處理器經配置以實施經編碼多媒體數(shù)據(jù)的錯誤恢復；及支持所述經編碼多媒體數(shù)據(jù)的可縮放性。
11. 如權利要求10所述的處理器，其中所述可縮放性包括空間與時間可縮放性中的一者或二者。
12. 如權利要求10所述的處理器，其中所述錯誤恢復包括時間錯誤隱匿、空間錯誤隱匿及幀速率上變換中的一者或組合。
13. —種計算機可讀媒體，其體現(xiàn)供在多媒體數(shù)據(jù)處理中使用的方法，所述方法包括實施經編碼多媒體數(shù)據(jù)的錯誤恢復；及支持所述經編碼多媒體數(shù)據(jù)的可縮放性。
14. 如權利要求13所述的計算機可讀媒體，其中所述可縮放性包括空間與時間可縮放性中的一者或二者。
15. 如權利要求13所述的計算機可讀媒體，其中所述錯誤恢復包括時間錯誤隱匿、空間錯誤隱匿及幀速率上變換中的一者或組合。
16. —種供在多媒體流處理中使用的方法，其包括接收多個經編碼多媒體數(shù)據(jù)流；對流的錯誤部分實施錯誤恢復；及由所述多個流重構所述多媒體數(shù)據(jù)。
17. 如權利要求16所述的方法，其中所述錯誤恢復包括時間錯誤隱匿、空間錯誤隱匿及幀速率上變換中的一者或組合。
18. —種供在多媒體流處理中使用的設備，其包括接收裝置，其接收多個經編碼多媒體數(shù)據(jù)流；實施裝置，其對流的錯誤部分實施錯誤恢復；及重構裝置，其由所述多個流重構所述多媒體數(shù)據(jù)。
19. 如權利要求18所述的設備，其中所述錯誤恢復包括時間錯誤隱匿、空間錯誤隱匿及幀速率上變換中的一者或組合。
20. —種供在多媒體流處理中使用的設備，其包括接收機，其接收多個經編碼多媒體數(shù)據(jù)流；錯誤恢復組件，其對流的錯誤部分實施錯誤恢復；及重構器，其由所述多個流重構所述多媒體數(shù)據(jù)。
21. 如權利要求20所述的設備，其中所述錯誤恢復包括時間錯誤隱匿、空間錯誤隱匿及幀速率上變換中的一者或組合。
22. —種供在多媒體流處理中使用的處理器，所述處理器經配置以接收多個經編碼多媒體數(shù)據(jù)流；對流的錯誤部分實施錯誤恢復；及由所述多個流重構所述多媒體數(shù)據(jù)。
23. 如權利要求22所述的處理器，其中所述錯誤恢復包括時間錯誤隱匿、空間錯誤隱匿及幀速率上變換中的一者或組合。
24. —種計算機可讀媒體，其體現(xiàn)供在多媒體流處理中使用的方法，所述方法包括接收多個經編碼多媒體數(shù)據(jù)流；對流的錯誤部分實施錯誤恢復；及由所述多個流重構所述多媒體數(shù)據(jù)。
25. 如權利要求24所述的計算機可讀媒體，其中所述錯誤恢復包括時間錯誤隱匿、空間錯誤隱匿及幀速率上變換中的一者或組合。
全文摘要
本發(fā)明揭示一種供在錯誤恢復中使用的多層整合方法及設備。根據(jù)第一層協(xié)議在多媒體數(shù)據(jù)中檢測錯誤并根據(jù)第二層協(xié)議隱匿所述多媒體數(shù)據(jù)中所檢測到的錯誤。在一個方面中，根據(jù)通信層協(xié)議來檢測多媒體數(shù)據(jù)中的錯誤并根據(jù)運輸層協(xié)議來加以控制。然后，根據(jù)同步層協(xié)議來確定所述受控錯誤的錯誤分布并根據(jù)應用層協(xié)議來隱匿所述多媒體數(shù)據(jù)中所檢測到的錯誤。在另一方面中，一種用于多媒體數(shù)據(jù)處理的方法及設備包括錯誤恢復以及可縮放性。最后，所揭示的方法及設備允許通過如下方式來處理多媒體流接收多個經編碼多媒體數(shù)據(jù)流；對流的錯誤部分實施錯誤恢復；及由所述多個流重構多媒體數(shù)據(jù)。
文檔編號H04N7/64GK101790098SQ20101014612
公開日2010年7月28日 申請日期2006年3月10日 優(yōu)先權日2005年3月10日
發(fā)明者塞伊富拉·哈立德·奧古茲, 石方, 維賈雅拉克希米·R·拉韋恩德拉恩, 蘇密特·辛格·塞蒂 申請人:高通股份有限公司