專利名稱：用于在多媒體流式傳輸中組裝前向糾錯(cuò)幀的方法和設(shè)備的制作方法
技術(shù)領(lǐng)域：
本申請總體上涉及用于已編碼媒體分組群組的前向糾錯(cuò)幀的組 裝，更具體地，涉及多媒體流式傳輸中的前向糾錯(cuò)幀。
背景技術(shù)：
多數(shù)基于分組的通信網(wǎng)絡(luò)，特別是沒有服務(wù)質(zhì)量保證的互聯(lián)網(wǎng)協(xié) 議(IP)網(wǎng)絡(luò)，受到數(shù)量不定的分組丟失或者錯(cuò)誤的影響。這些丟失 可能源自很多來源，例如路由器或者傳輸部分過載，或者導(dǎo)致分組刪 除的分組中的位錯(cuò)誤。應(yīng)當(dāng)理解，分組丟失是多數(shù)分組網(wǎng)絡(luò)架構(gòu)中的 常見操作要點(diǎn)，而不是網(wǎng)絡(luò)失敗。媒體傳輸，特別是壓縮視頻的傳輸， 極大地受到分組丟失的影響。
可以在媒體編碼過程期間通過多種不同的手段來進(jìn) 一 步避免由 媒體傳輸中的錯(cuò)誤所導(dǎo)致的在媒體呈現(xiàn)中的惱人贗像。然而，在媒體 編碼過程期間添加冗余位對于預(yù)編碼的內(nèi)容是不可行的，并且這通常
比使用前向糾錯(cuò)(FEC)的信道編碼中的最優(yōu)保護(hù)機(jī)制的效率要低。
前向糾錯(cuò)如下進(jìn)行工作計(jì)算各個(gè)待保護(hù)的媒體分組中待保護(hù)位 上的冗余位數(shù)目，將這些位添加到FEC分組，并且傳輸媒體分組和 FEC分組二者。在接收機(jī)處，可以使用FEC分組來檢查媒體分組的 完整性，并且重建可能丟失的媒體分組。由此，將媒體分組和保護(hù)這 些i某體分組的FEC分組稱為FEC幀。圖1中示出了 FEC幀的例子。 如圖1所示，媒體GOP流300包括由邊界315隔開的媒體GOP 310 和媒體GOP 320。 FEC結(jié)構(gòu)500包括由邊界515隔開的FEC幀510 和FEC幀520。除了々某體分組514之外，F(xiàn)EC幀510還包含F(xiàn)EC分 組512和兩個(gè)填充分組516。同樣，F(xiàn)EC幀520除了包含J 某體分組524 還包含F(xiàn)EC分組。這樣，F(xiàn)EC幀510、 520 —般比媒體GOP長。因此，F(xiàn)EC幀沒有與媒體GOP對準(zhǔn)。
多數(shù)意在誤差防護(hù)的FEC方案允許選擇待保護(hù)的媒體分組的數(shù) 目，并且允許自適應(yīng)地湘匕選FEC分組的數(shù)目，以選擇FEC子系統(tǒng)的 延遲約束和保護(hù)長度。
上文意義中的基于分組的FEC需要接收機(jī)與FEC幀結(jié)構(gòu)的同步， 以便利用FEC。換言之，在可以開始糾錯(cuò)之前，接收機(jī)必須緩存FEC 幀的所有媒體和FEC分組。
視頻編碼方案以及日益出現(xiàn)的一些音頻編碼方案，其例如使用所 謂的預(yù)測編碼技術(shù)。這種技術(shù)分別根據(jù)先前的圖像或者音頻幀來預(yù)測 后面的視頻圖像或者音頻幀的內(nèi)容。下文中，將把視頻圖像和音頻幀 統(tǒng)稱為"圖像"，以便將其與FEC幀區(qū)分開。通過使用預(yù)測編碼技 術(shù)，壓縮方案可能會(huì)非常有效，但是隨著預(yù)測鏈變得更長，也變得更 加容易受到錯(cuò)誤的影響。因此，不時(shí)地插入所謂的關(guān)鍵圖像或者非預(yù) 測編碼視頻幀的等價(jià)項(xiàng)(此后將二者都稱為關(guān)鍵圖像)。該技術(shù)通過 使用非預(yù)測編碼技術(shù)來重新建立預(yù)測鏈的完整性。但是這種情況也不 是很罕見關(guān)鍵圖像比預(yù)測編碼圖像大5到20倍。每個(gè)已編碼圖像 例如可以對應(yīng)于 一個(gè)待保護(hù)的J 某體分組。
遵循MPEG-2可視化的慣例，此后將以關(guān)鍵圖像開始、隨后是零 個(gè)或多個(gè)非關(guān)鍵圖像的圖像序列稱為圖像組(GOP)。在數(shù)字電視中， GOP通常包括不超過6個(gè)圖像。然而，在流式傳輸應(yīng)用中，常常將 GOP尺寸選擇得更大。有些GOP在一個(gè)GOP中可以具有數(shù)百個(gè)圖像， 以便利用預(yù)測編碼圖像的較好的編碼效率。為此，"調(diào)諧"到此類序 列可能需要若干秒。
當(dāng)FEC幀是大尺寸時(shí)(例如，包括數(shù)百個(gè)分組時(shí))，可以將FEC 方案設(shè)計(jì)得更為高效。類似地，多數(shù)媒體編碼方案在挑選較大的GOP 尺寸時(shí)效率提高，因?yàn)橐粋€(gè)GOP僅包含一個(gè)單個(gè)關(guān)鍵圖像，其在統(tǒng) 計(jì)上遠(yuǎn)大于GOP的其他圖像。然而，大FEC幀和大GOP尺寸二者都 需要與其各自的結(jié)構(gòu)同步。對于FEC幀而言，這意味著在接收時(shí)緩 存整個(gè)FEC幀，以及糾正任何可糾正的4晉誤。對于J 某體GOP而言，這意味著解析和丟棄那些沒有構(gòu)成GOP開始(關(guān)鍵幀)的媒體分組。
在美國專利申請公開No. 2006/0107189 Al中記載為了減小解 碼端的緩存延遲，F(xiàn)EC幀應(yīng)當(dāng)與媒體分組的群組對準(zhǔn)。為此，編碼器 應(yīng)當(dāng)能夠針對FEC幀中所包含的已編碼媒體分組的群組來確定完全 符合該FEC幀的已編碼媒體分組的下一后續(xù)群組的數(shù)目，并且選擇 與針對該FEC幀而如此確定的已編碼々某體分組的一個(gè)或多個(gè)群組相 關(guān)聯(lián)的所有已編碼媒體分組。為了對準(zhǔn)目的，可以通過向某些選定分 組添加預(yù)定的數(shù)據(jù)來使選定分組的尺寸相等。圖2中示出了已對準(zhǔn)的 FEC幀和媒體分組群組的例子。如圖2所示，媒體GOP流400包括 由邊界415隔開的媒體GOP 410和媒體GOP 420。 FEC結(jié)構(gòu)600包 含由邊界615隔開的FEC幀610和FEC幀620。盡管FEC幀610和 620還包含F(xiàn)EC分組和媒體分組，但是可以使其與GOP對準(zhǔn)。
FEC可以應(yīng)用于富媒體(rich media)內(nèi)容。富媒體內(nèi)容通常是指 圖形上豐富并且包含包括圖形、文本、視頻和音頻的組分(或者多個(gè) 媒體)并且優(yōu)選地通過單個(gè)接口遞送的內(nèi)容。富媒體隨著時(shí)間動(dòng)態(tài)地 改變，并且可以對用戶交互4故出響應(yīng)。
對于可視地遞送富內(nèi)容以用于實(shí)時(shí)傳輸而言，特別是在3GPP中 的多媒體廣播/多播服務(wù)(MBMS)和分組交換流媒體服務(wù)(PSSS) 架構(gòu)中，富媒體內(nèi)容的流式傳輸正在變得越發(fā)重要。PSS提供了用于 3G網(wǎng)絡(luò)中基于互聯(lián)網(wǎng)協(xié)議(IP)的(特別是通過點(diǎn)對點(diǎn)承載的)流 式應(yīng)用的框架。MBMS流式傳輸服務(wù)促進(jìn)了 3G移動(dòng)環(huán)境中大眾實(shí)時(shí) 內(nèi)容向多個(gè)接收機(jī)的資源有效遞送。并非使用不同的點(diǎn)對點(diǎn)(PtP) 承載將相同的內(nèi)容遞送至不同的移動(dòng)臺，而是使用單個(gè)點(diǎn)對多點(diǎn)
(PtM)承載將相同的內(nèi)容遞送至給定小區(qū)中的不同移動(dòng)臺。流式傳 輸?shù)膬?nèi)容可以包括視頻、音頻、諸如可伸縮矢量圖形(SVG)的XML
(可擴(kuò)展標(biāo)記語言)內(nèi)容、時(shí)控文本以及其他支持的媒體。內(nèi)容可以 預(yù)先記錄或者根據(jù)實(shí)時(shí)饋送而生成。SVG允許三種類型的圖形對象 矢量圖形形狀、圖像以及文本?？梢愿鶕?jù)先前渲染(render)的對象 來聚合、變換以及組成圖形對象?？梢詫VG內(nèi)容布置在群組中，使得可以對每個(gè)SVG內(nèi)容獨(dú)立于后續(xù)遞送的群組而被處理和顯示。 群組也稱為場景。
直到最近，移動(dòng)設(shè)備的應(yīng)用是基于文本的，其交互性有限。然而， 隨著更多的無線設(shè)備配備了彩色顯示器和更為高級的圖形渲染庫，消 費(fèi)者將要求來自其所有無線應(yīng)用的富媒體體驗(yàn)。對于移動(dòng)終端而言， 特別是在MBMS、 PSS以及多媒體流式傳輸(MMS )服務(wù)的領(lǐng)域中， 實(shí)時(shí)富媒體內(nèi)容流式傳輸服務(wù)勢在必行。富媒體應(yīng)用(特別是在Web 服務(wù)領(lǐng)域中)包括基于XML的內(nèi)容，諸如
SVGT1.2:用于以XML來描述二維圖形的語言。SVG允許三種 類型的圖形對象矢量圖形形狀(例如，包括直線和曲線的路徑)、 多媒體(例如，光柵圖像、視頻、音頻)以及文本。SVG繪圖可以是 可交互的(使用DOM事件模型)和動(dòng)態(tài)的。動(dòng)畫可以通過聲明(例 如，通過在SVG內(nèi)容中嵌入SVG動(dòng)畫元素)或者經(jīng)由腳本來定義和 觸發(fā)。通過使用訪問SVG微文檔對象才莫型(iiDOM)的補(bǔ)充腳本語 言，使得SVG的復(fù)雜應(yīng)用成為可能，其中^DOM提供對所有元素、 屬性和性質(zhì)的完全訪問?？梢詫⑹录浔呢S富集指派給任何SVG 圖形對象。由于其兼容性以及對其它Web標(biāo)準(zhǔn)(諸如，CDF)的影響， 可以通過XHTML (可擴(kuò)展超文本標(biāo)記語言)實(shí)現(xiàn)類似于腳本的特征， 并在相同Web頁面內(nèi)同時(shí)實(shí)現(xiàn)SVG元素。
SMIL 2.0:同步多媒體整合語言(SMIL)支持交互式視聽呈現(xiàn)的 簡單創(chuàng)作。SMIL通常用于對流式傳輸?shù)囊纛l和視頻與圖像、文本或 者任何其他媒體類型進(jìn)行整合的"富媒體"/多媒體呈現(xiàn)。
CDF:復(fù)合文檔格式(CDF)工作組正在建議將XHTML、 SVG、 MathML和SMIL之類的獨(dú)立組件語言(例如，來自于獨(dú)立詞匯表的 基于XML的語言、元素和屬性)合并起來，重點(diǎn)在用戶接口標(biāo)記上。 在合并用戶接口標(biāo)記時(shí)，必須解決單個(gè)標(biāo)記規(guī)范沒有涉及的特定問 題，諸如跨標(biāo)記的事件傳播、渲染或者用戶交互模型與合并文檔的合 并。復(fù)合文檔格式工作組將解決這類問題。該工作被劃分為階段和兩 種技術(shù)方案通過引用結(jié)合以及通過包含進(jìn)行合并。在當(dāng)前的3GPPDIMS (動(dòng)態(tài)交互式多々某體場景)活動(dòng)中，DIMS 內(nèi)容的流式傳輸已被認(rèn)為是動(dòng)態(tài)富媒體服務(wù)用于支持客戶端處內(nèi)容 的實(shí)時(shí)、連續(xù)實(shí)現(xiàn)的重要組件。DIMS內(nèi)容流通常包括有效負(fù)載是SVG 場景的一系列RTP (實(shí)時(shí)傳輸協(xié)議)分組、SVG場景更新以及已編 碼的視頻和音頻分組。這些RTP分組由UDP (用戶數(shù)據(jù)才艮協(xié)議)/IP 報(bào)頭封裝，并通過3G網(wǎng)絡(luò)傳輸。由于無線鏈路的傳輸錯(cuò)誤或者3G 網(wǎng)絡(luò)的中間路由器處的緩沖區(qū)溢出，分組可能丟失。
在MBMS和PSS框架中，3GPP SA4在傳輸層及以上定義了 一些 與媒體無關(guān)的分組丟失恢復(fù)機(jī)制。在MBMS中，應(yīng)用層FEC用于針 對流式傳輸服務(wù)和下載服務(wù)二者的分組丟失恢復(fù)。在PSS中，RTP 層重傳用于分組丟失恢復(fù)。針對單播下載遞送，TCP(傳輸控制協(xié)議) 負(fù)責(zé)內(nèi)容的可靠遞送。
對于基于富媒體的MBMS流式傳輸服務(wù)而言，用戶很可能在流 式傳輸會(huì)話期間的任意時(shí)刻調(diào)諧至服務(wù)。客戶端在其調(diào)諧至服務(wù)時(shí)立 即開始接收分組，并且可能必須等待一段特定時(shí)間以開始對所接收富 媒體內(nèi)容的解碼/渲染。這段時(shí)間稱為"調(diào)諧延遲"。為了良好的用戶 體驗(yàn)，期望客戶端盡可能從其接收到內(nèi)容時(shí)就開始渲染內(nèi)容。由此， DIMS的一個(gè)需求是允許DIMS客戶端高效、快速地調(diào)諧到廣播/ 多播流式傳輸服務(wù)?？梢酝ㄟ^媒體層解決方案、傳輸層解決方案或者 二者的結(jié)合來實(shí)現(xiàn)快速調(diào)諧。
當(dāng)通過3G無線網(wǎng)絡(luò)的廣播/多播信道來流式傳輸富媒體(DIMS ) 內(nèi)容時(shí)，通過使用應(yīng)用層前向糾錯(cuò)(AL-FEC)機(jī)制來保護(hù)內(nèi)容不發(fā) 生分組丟失是重要的。AL-FEC算法通常應(yīng)用于媒體RTP分組的源塊， 以生成冗余FEC RTP分組。如上文所述以及在圖1和圖2中所示， 媒體和相關(guān)聯(lián)的FEC分組統(tǒng)稱為"FEC幀"。FEC幀通過有損網(wǎng)絡(luò) 傳輸。如果接收機(jī)從該FEC幀接收到總量足夠的媒體和FEC RTP分 組，則該接收機(jī)能夠恢復(fù)任何丟失的媒體RTP分組。目前，上述源 塊的長度是可配置的。如果使用大源塊，則AL-FEC更為有效。另一 方面，調(diào)諧延遲直接與源塊的長度成比例。在涉及SVG、音頻和視頻媒體的典型富媒體流式傳輸會(huì)話中，在
發(fā)送機(jī)側(cè)，將每個(gè)^某體的源RTP分組捆綁在一起以形成源塊，以用 于FEC保護(hù)。使用FEC編碼算法從該源塊生成一個(gè)或多個(gè)FECRTP 分組。如圖3所示，將不同媒體的源RTP分組與FEC RTP分組一起 作為分離的RTP流來傳輸。如圖3所示，DIMS RTP流例如包含多個(gè) FEC幀61(h、 6102和6103。這些FEC幀可以包含用于不同DIMS媒 體或者相同媒體的源塊。FEC幀61(h包含源RTP分組的源塊61+和 FEC RTP分組612"在接收機(jī)側(cè)，客戶端緩存接收到的RTP分組(源 和FEC 二者)以足夠的持續(xù)時(shí)間，并且嘗試重建上述源塊。如果任 何源RTP分組丟失，則其嘗試通過應(yīng)用FEC解碼算法來恢復(fù)它們。
FEC源塊的長度是確定調(diào)諧延遲的關(guān)鍵因素?？蛻舳吮仨毦彺嬲?個(gè)FEC源塊以一段持續(xù)時(shí)間。如果客戶端在當(dāng)前FEC源塊的中間開 始接收數(shù)據(jù)，則其可能必須丟棄來自當(dāng)前源塊的數(shù)據(jù)，并且等待從始 至終接收下一源塊。因此，平均地，其必須等待FEC源塊持續(xù)時(shí)間 的1.5倍。
在FEC解碼之后，將分組發(fā)送給接收機(jī)處的各種媒體解碼器。媒 體解碼器可能無法從壓縮媒體比特流中的任意點(diǎn)進(jìn)行解碼。如果FEC 幀和媒體GOP沒有對準(zhǔn)，則平均地，解碼器可能必須丟棄當(dāng)前媒體 GOP數(shù)據(jù)的一半。
調(diào)諧延遲4.5氣FEC源塊持續(xù)時(shí)間)+0.5*(媒體GOP持續(xù)時(shí)間)(1) 其中FEC源塊持續(xù)時(shí)間是FEC幀的緩沖延遲(在等時(shí)網(wǎng)絡(luò)中，其與 FEC幀的尺寸成比例)，而媒體GOP持續(xù)時(shí)間是媒體GOP的緩沖延 遲。在最差情況中，必須挑選緩沖區(qū)尺寸使得完整的FEC幀和完整 的GOP分別符合FEC解碼器的緩沖區(qū)和媒體解碼器的緩沖區(qū)。

發(fā)明內(nèi)容
本發(fā)明提供了 一種方法和設(shè)備，其中在用于基于多媒體廣播/多播 的流式傳輸服務(wù)內(nèi)容的每個(gè)前向糾錯(cuò)(FEC)源塊的開始處插入隨機(jī) 訪問點(diǎn)。這樣，媒體解碼器可以在FEC解碼完成時(shí)立即開始解碼，并且等式(1)中的第二項(xiàng)可以被消除，由此降低調(diào)諧延遲。多媒體 廣播/多播流服務(wù)包括動(dòng)態(tài)交互式多媒體場景內(nèi)容，其中不同媒體的源
RTP分組與FEC RTP分組一起作為分離的RTP流來傳輸。包括有隨 機(jī)訪問點(diǎn)則有助于在FEC解碼之后立即渲染動(dòng)態(tài)交互式多媒體場景 內(nèi)容，由此降低調(diào)諧延遲。
由此，本發(fā)明的第 一方面是一種用于在多媒體流式傳輸中使用的 方法，其中，分組流被提供給能夠解碼多個(gè)媒體的媒體分組的多媒體 客戶端，并且每個(gè)媒體的已編碼媒體分組被布置在幀中，每個(gè)幀至少 具有跟隨在至少一個(gè)前向糾錯(cuò)分組之后的源塊。該方法包括在至少 一些幀中插入隨;f幾訪問點(diǎn)，使得隨4凡訪問點(diǎn)位于源塊和前向糾4普分組 之間。
本發(fā)明的第二方面是用于在多媒體流式傳輸中的服務(wù)器中使用 的模塊，其中，從服務(wù)器提供分組流給能夠解碼多個(gè)媒體的媒體分組 的多媒體客戶端，并且每個(gè)媒體的已編碼媒體分組布置在幀中，每個(gè) 幀至少具有跟隨在至少 一個(gè)前向糾錯(cuò)分組之后的源塊。該模塊適于在 至少 一 些幀中插入隨機(jī)訪問點(diǎn)，使得隨機(jī)訪問點(diǎn)位于源塊和前向糾錯(cuò)
分組之間。
本發(fā)明的第三方面是通信系統(tǒng)中的服務(wù)器，該通信系統(tǒng)包括能夠 解碼多個(gè)媒體的媒體分組的一個(gè)或多個(gè)多媒體客戶端，并且每個(gè)媒體 的已編碼媒體分組被布置在幀中，每個(gè)幀至少具有跟隨在至少 一個(gè)前 向糾錯(cuò)分組之后的源塊。服務(wù)器包括生成模塊，用于在至少一些幀中 插入隨機(jī)訪問點(diǎn)，使得隨機(jī)訪問點(diǎn)位于源塊和前向糾錯(cuò)分組之間。
本發(fā)明的第四方面是適于接收多媒體比特流的多媒體客戶端，該 比特流包括布置在幀中的多個(gè)已編碼媒體分組，每個(gè)幀至少具有跟隨 在至少一個(gè)前向糾錯(cuò)分組之后的源塊，并且其中，在源塊和前向糾錯(cuò) 分組之間插入至少一個(gè)隨機(jī)訪問點(diǎn)。該客戶端包括用于前向糾錯(cuò)解 碼的第 一解碼器，以及用于在前向糾錯(cuò)解碼之后根據(jù)隨機(jī)訪問點(diǎn)對已 編碼媒體分組的源塊進(jìn)行解碼的至少 一 個(gè)媒體解碼器。
本發(fā)明的第五方面是一種軟件應(yīng)用產(chǎn)品，包括存儲(chǔ)介質(zhì)，其具有用于在多媒體流式傳輸中使用的軟件應(yīng)用，其中，分組流被提供給能 夠解碼多個(gè)媒體的媒體分組的多媒體客戶端，并且每個(gè)媒體的已編碼 媒體分組被布置在幀中，每個(gè)幀至少具有跟隨在至少 一個(gè)前向糾錯(cuò)分 組之后的源塊。該軟件應(yīng)用包括編程代碼，用于在至少一些幀中插入 隨機(jī)訪問點(diǎn)，使得隨機(jī)訪問點(diǎn)位于源塊和前向糾錯(cuò)分組之間。
本發(fā)明的第六方面是一種軟件應(yīng)用產(chǎn)品，包括存儲(chǔ)介質(zhì)，其具有 用于在多媒體客戶端中使用的軟件應(yīng)用，該客戶端適于接收多媒體比 特流，該比特流包括布置在幀中的多個(gè)已編碼媒體分組，每個(gè)幀至少 具有跟隨在至少一個(gè)前向糾錯(cuò)分組之后的源塊，并且其中，在源塊和
前向糾錯(cuò)分組之間插入至少一個(gè)隨機(jī)訪問點(diǎn)。該軟件應(yīng)用包括用于
前向糾錯(cuò)解碼的編程代碼，以及用于在前向糾錯(cuò)解碼之后根據(jù)隨機(jī)訪 問點(diǎn)對已編碼媒體分組的源塊進(jìn)行解碼的編程代碼。
在結(jié)合圖1-圖7閱讀說明書之后，本發(fā)明將變得易見。


圖1是示出了多個(gè)GOP以及未與GOP對準(zhǔn)的相關(guān)聯(lián)FEC幀的時(shí)
序圖2是示出了多個(gè)GOP以及與GOP對準(zhǔn)的相關(guān)聯(lián)FEC幀的時(shí)序
圖3示出了多媒體流式傳輸中的FEC幀；
圖4示出了根據(jù)本發(fā)明一個(gè)實(shí)施方式的在多媒體流式傳輸?shù)拿總€(gè) FEC源塊的開始插入隨機(jī)訪問點(diǎn)；
圖5a示出了根據(jù)本發(fā)明一個(gè)實(shí)施方式的用于DIMS的FEC幀結(jié)
構(gòu)；
圖5b示出了根據(jù)本發(fā)明另一實(shí)施方式的用于DIMS的FEC幀結(jié)
構(gòu)；
圖6是具有服務(wù)器和客戶端的通信系統(tǒng)的示意圖，其中在FEC幀 中插入了隨機(jī)訪問點(diǎn)；
圖7是根據(jù)本發(fā)明的具有至少 一 個(gè)多媒體流式傳輸編碼器和解碼器的電子設(shè)備的框圖。
具體實(shí)施例方式
在富媒體內(nèi)容的流式傳輸中，流式傳輸?shù)膬?nèi)容可以包括視頻、音
頻、諸如SVG的XML內(nèi)容、時(shí)控文本和其它支持媒體。SVG流通 常包括場景和一系列場景更新?？梢詫VG場景視為FEC解碼之后 接收機(jī)處的SVG解碼器中解碼的開始點(diǎn)。
根據(jù)本發(fā)明，插入隨機(jī)訪問點(diǎn)是有益的，其中在FEC編碼之后， 在接收機(jī)處的媒體解碼器處，有可能在該隨機(jī)訪問點(diǎn)實(shí)現(xiàn)解碼的開始 點(diǎn)。除了在用于XML流(例如，SVG)的每個(gè)FEC源塊的開始處插 入隨機(jī)訪問點(diǎn)之外，在用于視頻流的每個(gè)FEC源塊的開始處以及用 于音頻的每個(gè)FEC源塊的開始處插入隨機(jī)訪問點(diǎn)是有益的。當(dāng)前 MBMSFEC框架將媒體綁定用于FEC保護(hù)目的，也即，同一FEC幀 包含所有類型的媒體RTP分組(例如，SVG、音頻、視頻)。在這 種布置下，在FEC幀的開始處具有三種媒體的隨機(jī)訪問點(diǎn)(以任何 順序)是有益的。隨機(jī)訪問點(diǎn)的這種包含有助于在FEC解碼之后立 即渲染DIMS內(nèi)容。圖4示出了在FEC幀的每個(gè)源塊的開始處插入 隨才幾訪問點(diǎn)。如圖4所示，DIMS RTP流例如包括FEC幀710!、 7102 和7103。這些FEC幀可以包含用于不同DIMS媒體(諸如，視頻、 音頻和時(shí)控文本)或者用于相同媒體的源塊。FEC幀71(^包含包括 源RTP分組的源塊714!、隨機(jī)訪問點(diǎn)718!以及FEC RTP分組712" FEC幀7102包括源RTP分組的源塊7142、隨機(jī)訪問點(diǎn)718s以及FEC RTP分組7122。 FEC幀7103包括源RTP分組的源塊7143、隨機(jī)訪問 點(diǎn)7183以及FEC RTP分組7123。
應(yīng)當(dāng)注意，F(xiàn)EC幀可以具有不止一個(gè)FEC分組，使得媒體比特 流對于分組丟失更為魯棒。此外，盡管通常在一個(gè)或多個(gè)FEC分組 之后具有一個(gè)隨機(jī)訪問點(diǎn)(如圖5a所示)，但是可以在一個(gè)FEC幀 中具有不止 一 個(gè)隨機(jī)訪問點(diǎn)，以便信號通知場景改變(如圖5b所示)。 FEC分組通常在FEC幀的末端，而RAP分組在FEC幀的開始處。FEC幀中間的隨機(jī)訪問點(diǎn)有助于快速調(diào)諧。在FEC解碼失敗的情況下，
這也是有用的。在這種情況下，第一隨機(jī)訪問點(diǎn)錯(cuò)失，但是同一FEC 幀中的后續(xù)隨^/L訪問點(diǎn)可以用于々某體解碼。
存在多個(gè)基于流式傳輸?shù)挠美錇榱苏{(diào)諧目的而組裝FEC塊中 的RAP。其中的一些是富媒體服務(wù)的類型，包括
1) 交互式移動(dòng)電視服務(wù)該服務(wù)被理解為全部在終端用戶界面 中，與電視和廣播頻道一起，提供富媒體內(nèi)容的確定性渲染和行為的 能力，其中富媒體內(nèi)容包括音頻-視頻內(nèi)容、文本、圖像、基于XML 的內(nèi)容(例如，SVG)。該服務(wù)在單個(gè)應(yīng)用或者服務(wù)中提供方便的通 過內(nèi)容的導(dǎo)航，并且允許本地或者遠(yuǎn)程的同步交互，例如投票和個(gè)性 化(例如，相關(guān)的菜單或子菜單，根據(jù)終端用戶簡檔或者服務(wù)訂購的 內(nèi)容和廣告)。
該用例在與iTV移動(dòng)服務(wù)中可用的4個(gè)服務(wù)和子服務(wù)相對應(yīng)的4 個(gè)步驟中描述
*馬賽克菜單電視頻道全景。
*電子節(jié)目表和相關(guān)iTV服務(wù)的觸發(fā)。
iTV服務(wù)。
*個(gè)性化菜單"體育新聞"。
2) 在線企業(yè)數(shù)據(jù)饋送該服務(wù)包括證券報(bào)價(jià)機(jī)，其提供在線報(bào) 價(jià)、實(shí)時(shí)每日圖表與技術(shù)指示符、新聞監(jiān)控、天氣提示、圖表、商業(yè) 更新等的流式傳輸。
3) 在線聊天在線聊天服務(wù)可以包含在web相才幾或者一見頻信道 或者富媒體博客服務(wù)中。終端用戶可以進(jìn)行注冊，保存其稱呼以及交 換消息。消息與終端用戶提供的富媒體數(shù)據(jù)動(dòng)態(tài)地出現(xiàn)在在線聊天服 務(wù)中。聊天服務(wù)可以是私有的，或者同時(shí)在一個(gè)或多個(gè)信道中是公共 的。來自其他用戶的新消息動(dòng)態(tài)地提示給終端用戶。可以在不重新載 入整個(gè)頁面的情況下進(jìn)行服務(wù)內(nèi)消息的動(dòng)態(tài)更新。
4) 卡拉OK:該服務(wù)顯示伴隨有歌曲的語音的音樂電視頻道或者 視頻片段目錄，其中在歌詞的文本字符上具有類似于流動(dòng)的動(dòng)畫(例如，字體顏色的平滑過渡，文字滾動(dòng)，等等)。終端用戶可以通過選 擇交互式按鈕來下載他選擇的歌曲以及完整的動(dòng)畫。
系統(tǒng)的示意圖。如圖6所示，該通信系統(tǒng)能夠提供多媒體/多播服務(wù)。 由此，通信系統(tǒng)具有至少一個(gè)服務(wù)器和一個(gè)客戶端，以用于多媒體流 式傳輸。特別地，服務(wù)器適于通過無線網(wǎng)絡(luò)(例如，因特網(wǎng))的廣播
/多播信道來提供富媒體(DIMS)內(nèi)容。特別地，服務(wù)器適于獲取、 接收和/或存儲(chǔ)DIMS內(nèi)容。例如，DIMS內(nèi)容包括場景和場景更新。 DIMS內(nèi)容可以傳遞給FSC幀生成器，其適于插入在FEC幀中插入 的隨才幾訪問點(diǎn)。更具體地，在用于DIMS內(nèi)容的基于MBMS的流式 傳輸服務(wù)的源塊的開始處插入隨機(jī)訪問點(diǎn)。有益地，F(xiàn)EC生成器適于 提供與i某體DIMS分組對準(zhǔn)的FEC幀，其包括隨機(jī)訪問點(diǎn)。通過廣 播/多播信道在比特流中傳輸具有已校準(zhǔn)的FEC幀的DIMS分組，從 而允許一個(gè)或多個(gè)DIMS客戶端接收和解碼比特流。FEC生成器可以 具有運(yùn)行FEC編碼軟件的處理組件，其中FEC編碼軟件具有用于對 準(zhǔn)FEC幀以及隨機(jī)訪問點(diǎn)插入的編程代碼。
一般地，每個(gè)DIMS客戶端具有FEC解碼器以用于糾錯(cuò)目的。FEC 解碼器可以具有運(yùn)行FEC解碼軟件的處理組件。在FEC解碼之后， 將DIMS內(nèi)容傳遞給多個(gè)媒體解碼器。將來自每個(gè)媒體解碼器的已解 碼內(nèi)容提供給輸出模塊。例如，如果媒體解碼器是視頻解碼器，則將 已解碼內(nèi)容提供給屏幕以便顯示。如圖6所示，其中示出了三個(gè)不同 的媒體解碼以及三個(gè)相應(yīng)的輸出模塊。例如，輸出模塊之一可以是渲 染器，其適于SVG繪圖。例如，SVG繪圖可以是交互式的和動(dòng)態(tài)的， 并且可以在動(dòng)畫中使用。
現(xiàn)在參考圖7,圖7示出了具有圖6所示的服務(wù)器模塊和DIMS 客戶端模塊中的至少 一個(gè)的電子設(shè)備。根據(jù)本發(fā)明的一種實(shí)施方式， 該電子設(shè)備是移動(dòng)終端。圖7中所示的移動(dòng)設(shè)備10支持蜂窩數(shù)據(jù)和 語音通信。應(yīng)當(dāng)注意，本發(fā)明不局限于這種具體實(shí)施方式
，這種具體 實(shí)施方式只代表多種不同實(shí)施方式中的一種。移動(dòng)i殳備10包括控制移動(dòng)設(shè)備操作的(主)微處理器或微控制器100以及與微處理器相關(guān)
聯(lián)的組件。這些組件包括與顯示模塊135連接的顯示控制器130,非 易失性存儲(chǔ)器140,例如隨機(jī)訪問存儲(chǔ)器(RAM)的易失性存儲(chǔ)器150, 與麥克風(fēng)161、揚(yáng)聲器162和/或耳機(jī)163連接的音頻輸入/輸出(I/O) 接口 160,與鍵區(qū)175或鍵盤連接的鍵區(qū)控制器170,任意輔助輸入/ 輸出(I/O)接口 200，以及短程通信接口 180。這樣的設(shè)備通常還包 括其它設(shè)備子系統(tǒng)，這些子系統(tǒng)總體上示為190。
移動(dòng)設(shè)備10可以在語音網(wǎng)絡(luò)上進(jìn)行通信，和/或同樣可以在數(shù)據(jù) 網(wǎng)絡(luò)上進(jìn)行通信，數(shù)據(jù)網(wǎng)絡(luò)例如是任何公共陸地移動(dòng)網(wǎng)絡(luò)(PLMN)， 其形式例如可以是數(shù)字蜂窩網(wǎng)絡(luò)，特別是GSM (全球移動(dòng)通信系統(tǒng)) 或UMTS(通用移動(dòng)通信系統(tǒng))。語音和/或數(shù)據(jù)通信通常通過空中接 口操作，空中接口也即與其它組件(參見上文)協(xié)作的連接到基站(BS ) 或節(jié)點(diǎn)B (未示出)的蜂窩通信接口子系統(tǒng)，其中基站(BS)或節(jié)點(diǎn) B是蜂窩網(wǎng)絡(luò)基礎(chǔ)設(shè)施的無線接入網(wǎng)絡(luò)(RAN)的一部分。
在圖7中示范性描述的蜂窩通信接口子系統(tǒng)包括蜂窩接口 110、 數(shù)字信號處理器(DSP) 120、接收機(jī)(RX) 121、發(fā)射機(jī)(TX) 122、 以及一個(gè)或多個(gè)本地振蕩器(LO) 123，并且蜂窩通信接口子系統(tǒng)支 持與一個(gè)或更多公共陸地移動(dòng)網(wǎng)絡(luò)(PLMN)的通信。數(shù)字信號處理 器(DSP) 120將通信信號124發(fā)送給發(fā)射機(jī)(TX) 122,并從接收 機(jī)(RX) 121接收通信信號125。除了處理通信信號之外，數(shù)字信號 處理器120還向接收機(jī)提供控制信號126和向發(fā)射機(jī)提供控制信號 127。例如，除了分別對待發(fā)射的信號進(jìn)行調(diào)制和對所接收的信號進(jìn) 行解調(diào)之外，應(yīng)用于接收機(jī)(RX) 121和發(fā)射機(jī)(TX) 122中的通信 信號上的增益水平也可以通過數(shù)字信號處理器(DSP) 120中所實(shí)施 的自動(dòng)增益控制算法進(jìn)行自適應(yīng)控制。為了提供對收發(fā)機(jī)121/122的 更復(fù)雜的控制，也可以在數(shù)字信號處理器(DSP) 120中實(shí)施其它收 發(fā)機(jī)控制算法。
在移動(dòng)設(shè)備10通過PLMN的通信在單一頻率或者一組相隔密集 的頻率上發(fā)生的情況下，單個(gè)本地振蕩器(LO) 123則可以與發(fā)射機(jī)(TX) 122和接收機(jī)(RX) 123結(jié)合使用。可選地，如果語音/數(shù)據(jù) 通信所使用的頻率不同或者發(fā)射和接收所使用的頻率不同，則可以使 用多個(gè)本地振蕩器以產(chǎn)生多個(gè)相應(yīng)的頻率。
盡管圖7中描述的移動(dòng)設(shè)備IO與天線129或分集天線系統(tǒng)(未 示出)結(jié)合使用，但是移動(dòng)設(shè)備10也可以與具有用于信號接收和發(fā) 射的單個(gè)天線結(jié)構(gòu)結(jié)合使用。包括語音和數(shù)據(jù)信息在內(nèi)的信息通過蜂 窩接口 110與數(shù)字信號處理器(DSP) 120之間的數(shù)據(jù)鏈路在兩者之 間進(jìn)行雙向通信。蜂窩接口 110的詳細(xì)設(shè)計(jì)，例如頻帶、組件選擇、 功率水平等，將取決于移動(dòng)設(shè)備IO意圖在其中操作的無線網(wǎng)絡(luò)。
在任何所需的網(wǎng)絡(luò)注冊或激活過程之后，移動(dòng)設(shè)備繼而可以在無 線網(wǎng)絡(luò)上發(fā)送和接收包括語音和數(shù)據(jù)信號在內(nèi)的通信信號，其中注冊 或激活過程可能涉及在蜂窩網(wǎng)絡(luò)中注冊所需的用戶標(biāo)識模塊(SIM) 210。天線129從無線網(wǎng)絡(luò)接收的信號被路由至接收機(jī)121，接收機(jī) 121提供諸如信號放大、頻率下轉(zhuǎn)換、濾波、信道選擇以及模數(shù)轉(zhuǎn)換 之類的操作。接收信號的模數(shù)轉(zhuǎn)換使得諸如數(shù)字解調(diào)和解碼之類較為 復(fù)雜的通信功能可以使用數(shù)字信號處理器(DSP) 120來執(zhí)行。通過 類似的方式，將要被發(fā)射給網(wǎng)絡(luò)的信號被數(shù)字信號處理器(DSP) 120 處理，例如包括調(diào)制和編碼，并繼而纟皮提供給發(fā)射4幾122以用于數(shù)才莫 轉(zhuǎn)換、頻率上轉(zhuǎn)換、濾波、放大以及通過天線129發(fā)射給無線網(wǎng)絡(luò)。
微處理器/微控制器(//C) 110 (還可以指定為設(shè)備平臺微處理 器)管理移動(dòng)設(shè)備IO的功能。處理器110所使用的操作系統(tǒng)軟件149 優(yōu)選地存儲(chǔ)在例如非易失性存儲(chǔ)器140之類的永久存儲(chǔ)器中，其中非 易失性存儲(chǔ)器140例如可以被實(shí)現(xiàn)為閃速存儲(chǔ)器、電池供電的RAM、 任何其它非易失性存儲(chǔ)技術(shù)或者其任意組合。除了控制移動(dòng)設(shè)備10 的低層功能和(圖形)基本用戶接口功能的操作系統(tǒng)149之外，非易 失性存儲(chǔ)器140還包括多個(gè)高層軟件應(yīng)用程序或者模塊，例如語音通 信軟件應(yīng)用142、數(shù)據(jù)通信軟件應(yīng)用141、組織器模塊(未示出)或 者任何其它類型的軟件模塊(未示出)。這些模塊由處理器100執(zhí)行 并提供了移動(dòng)設(shè)備10的用戶與移動(dòng)設(shè)備IO之間的高級接口 。該接口通常包括由顯示控制器130控制的顯示器135所提供的圖形組件和通 過鍵區(qū)控制器170連接到處理器100上的鍵區(qū)175、輔助輸入/輸出
(I/O )接口 200和/或短程(SR)通信接口 180所提供的輸入/輸出組 件。輔助1/0接口 200特別地包括USB (通用串行總線)接口、串行 接口、 MMC (多媒體卡)接口以及相關(guān)的接口技術(shù)/標(biāo)準(zhǔn)，并包括任 何其它標(biāo)準(zhǔn)化的或?qū)Ｓ械臄?shù)據(jù)通信總線技術(shù)，而短距離通信接口射頻
(RF)低功率接口特別地包括WLAN (無線局域網(wǎng))和藍(lán)牙通信技 術(shù)或者IRDA (紅外數(shù)據(jù)訪問)接口。這里所稱的RF低功率接口技 術(shù)應(yīng)一皮特別地理解為包括IEEE 801.xx標(biāo)準(zhǔn)，忮術(shù)，其說明可以/人國際 電子電氣工程師協(xié)會(huì)處獲得。而且，輔助1/0接口 200和短程通信接 口 180的每一個(gè)都可以表示一個(gè)或多個(gè)的分別支持一個(gè)或多個(gè)輸入/ 輸出接口技術(shù)和通信接口技術(shù)的接口。操作系統(tǒng)、特定的設(shè)備軟件應(yīng)
用或模塊、或者其一部分可以被臨時(shí)載入例如隨機(jī)訪問存儲(chǔ)器(通常 基于DRAM (直接隨機(jī)訪問存儲(chǔ)器)技術(shù)實(shí)現(xiàn)以進(jìn)行更快的操作)的 易失性存儲(chǔ)器150中。而且，在將所接收的通信信號永久地寫入任何 海量存儲(chǔ)器或非易失性存儲(chǔ)器140中的文件系統(tǒng)中之前，也可以將所 接收的通信信號臨時(shí)存儲(chǔ)到易失性存儲(chǔ)器150中，其中海量存儲(chǔ)器優(yōu) 選地通過輔助1/0接口可拆卸地連接以存儲(chǔ)數(shù)據(jù)。應(yīng)當(dāng)理解，上述組 件代表在此以蜂窩電話的形式被具體化的傳統(tǒng)移動(dòng)設(shè)備10的典型組 件。本發(fā)明不局限于這些特定的組件，所描述的這些組件的實(shí)現(xiàn)僅僅 是出于說明和完整的目的。
移動(dòng)設(shè)備10的 一個(gè)示例性軟件應(yīng)用模塊是提供PDA功能的個(gè)人 信息管理器應(yīng)用，其通常包括聯(lián)系人管理器、日歷、任務(wù)管理器等。 這樣的個(gè)人信息管理器由處理器100執(zhí)行，可以訪問移動(dòng)設(shè)備10的 組件，并可以與其它軟件應(yīng)用模塊進(jìn)行交互。例如，與語音通信軟件 應(yīng)用的交互允許管理電話呼叫、語音郵件等，與數(shù)據(jù)通信軟件應(yīng)用的 交互支持管理SMS (短消息服務(wù))、MMS (多媒體服務(wù))、電子郵 件通信以及其它數(shù)據(jù)傳輸。非易失性存儲(chǔ)器140優(yōu)選地提供文件系統(tǒng)， 用以促進(jìn)設(shè)備上數(shù)據(jù)項(xiàng)的永久存儲(chǔ)，其中數(shù)據(jù)項(xiàng)包括多個(gè)日歷條目、聯(lián)系人等。例如通過蜂窩接口、短距離通信接口或者輔助1/0接口與 網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)通信的能力支持通過這樣網(wǎng)絡(luò)所進(jìn)行的上傳、下載和同步。
應(yīng)用模塊141到149表示設(shè)備功能或者軟件應(yīng)用，其被配置為由 處理器100執(zhí)行。在多數(shù)已知的移動(dòng)設(shè)備中，單個(gè)處理器管理和控制 移動(dòng)設(shè)備的全部操作以及所有的設(shè)備功能和軟件應(yīng)用。這種概念可應(yīng) 用于現(xiàn)在的移動(dòng)設(shè)備。增強(qiáng)型多媒體功能性的實(shí)現(xiàn)例如包括通過集成 的或可拆卸連接的數(shù)字相機(jī)功能性實(shí)現(xiàn)的視頻流應(yīng)用的再現(xiàn)、數(shù)字圖 像的操作以及視頻序列的捕獲。所述實(shí)現(xiàn)還可以包括具有復(fù)雜圖形和 必要計(jì)算能力的游戲應(yīng)用。處理計(jì)算能力需求的一種方式通過實(shí)現(xiàn)強(qiáng)
大且通用的處理器核來解決提高計(jì)算能力的問題，這種方式過去被沿 用。另一種提供計(jì)算能力的方法是實(shí)現(xiàn)兩個(gè)或者更多獨(dú)立的處理器 核，這是本領(lǐng)域公知的方法學(xué)。本領(lǐng)域技術(shù)人員可以立刻理解多個(gè)獨(dú) 立處理器核的優(yōu)點(diǎn)。通用處理器被設(shè)計(jì)用于執(zhí)行多種不同任務(wù)，而沒 有將不同任務(wù)的預(yù)選進(jìn)行專門化，而多處理器配置可以包括一個(gè)或更 多通用處理器，以及一個(gè)或更多適于處理預(yù)定義任務(wù)集合的專門處理 器。無論如何，在一個(gè)設(shè)備中，特別是在例如移動(dòng)設(shè)備10的移動(dòng)設(shè) 備中，實(shí)現(xiàn)多個(gè)處理器傳統(tǒng)上需要對組件進(jìn)行完全且復(fù)雜的重新設(shè) 計(jì)。
下面，本發(fā)明將提供這樣的概念，其允許將附加的處理器核簡單 地集成到已有處理設(shè)備的實(shí)現(xiàn)中，從而省略代價(jià)高昂的完全且復(fù)雜的 重新設(shè)計(jì)。該創(chuàng)造性概念將參考系統(tǒng)芯片(SoC)設(shè)計(jì)來描述。系統(tǒng) 芯片(SoC)的概念是將處理設(shè)備的至少眾多(或所有)組件集成到 單個(gè)高集成芯片中。這樣的系統(tǒng)芯片可以包含數(shù)字、模擬、混合信號， 并經(jīng)常包含射頻功能，所有這些功能都在一個(gè)芯片上。典型的處理設(shè) 備包括多個(gè)執(zhí)行不同任務(wù)的集成電路。這些集成電路特別地可以包括 微處理器、存儲(chǔ)器、通用異步接收機(jī)/發(fā)射機(jī)(UART)、串行/并行端 口、直接存儲(chǔ)器訪問(DMA)控制器等。通用異步接收機(jī)/發(fā)射機(jī) (UART)在數(shù)據(jù)的并行比特和串行比特之間進(jìn)行轉(zhuǎn)換。半導(dǎo)體技術(shù)近來的發(fā)展使超大規(guī)模集成電路(VLSI)所能支持的復(fù)雜性顯著增長，
這使其能夠?qū)⒈姸嘞到y(tǒng)組件集成到單個(gè)芯片中。參考圖7，其中的一 個(gè)或更多組件，例如控制器130和170、存々者器組件150和140、以 及一個(gè)或更多接口 200、 180和110可以與處理器100 —起集成到單 個(gè)芯片中，最終形成系統(tǒng)芯片(SoC)。
而且，設(shè)備10配備有根據(jù)本發(fā)明的創(chuàng)造性操作的用于視頻數(shù)據(jù) 可伸縮編碼的模塊105和可伸縮解碼的模塊106。借助于CPU 100, 可以獨(dú)立地使用所述模塊105、 106。然而，設(shè)備10適于分別執(zhí)行視 頻數(shù)據(jù)編碼或解碼。所述視頻數(shù)據(jù)可以借助于設(shè)備的通信模塊來接 收，或者它也可以存儲(chǔ)在設(shè)備10內(nèi)任何可想象的存儲(chǔ)裝置中。視頻 數(shù)據(jù)可以在設(shè)備IO和通信網(wǎng)絡(luò)的其它電子設(shè)備之間以比特流來傳送。
根據(jù)本發(fā)明，如上所述，移動(dòng)終端可以配備有服務(wù)器中的編碼器 或者配備有DIMS客戶端中的解碼器。移動(dòng)終端可以具有編碼器和解 碼器二者。
本發(fā)明涵蓋在每個(gè)FEC源塊的開始處包括DIMS RAP的不同變 形。變形包括
*整個(gè)SVG場景。
* DIMS場景更新，其可以替換客戶端上的整個(gè)DOM樹。 *冗余RAP,其包括冗余SVG場景，具有對未來場景更新的可 能引用。客戶端可以忽略這種冗余RAP,而無需重新同步。 盡管本發(fā)明是針對其一個(gè)或多個(gè)實(shí)施方式描述的，但本領(lǐng)域技術(shù)
人員可以理解，在不背離本發(fā)明范圍的前提下，本發(fā)明的形式及其細(xì)
節(jié)可以進(jìn)行上述的和各種其它的改變、省略或偏差。
權(quán)利要求
1. 一種用于在多媒體流式傳輸中使用的方法，其中分組流被提供給能夠解碼多個(gè)媒體的媒體分組的多媒體客戶端，并且每個(gè)媒體的已編碼媒體分組布置在幀中，每個(gè)幀至少具有跟隨在至少一個(gè)前向糾錯(cuò)分組之后的媒體分組的源塊，所述方法的特征在于在至少一些所述幀中插入隨機(jī)訪問點(diǎn)，使得所述隨機(jī)訪問點(diǎn)位于所述源塊和所述前向糾錯(cuò)分組之間。
2. —種用于在多媒體流式傳輸中的服務(wù)器中使用的模塊，其中， 分組流從所述服務(wù)器提供給能夠解碼多個(gè)媒體的媒體分組的多媒體 客戶端，并且每個(gè)媒體的已編碼媒體分組布置在幀中，每個(gè)幀至少具 有跟隨在至少 一個(gè)前向糾錯(cuò)分組之后的媒體分組的源塊，所述模塊的 特征在于處理器，用于在至少一些所述幀中插入隨機(jī)訪問點(diǎn)，使得所述隨 才幾訪問點(diǎn)位于所述源塊和所述前向糾錯(cuò)分組之間。
3. —種通信系統(tǒng)中的服務(wù)器，所述通信系統(tǒng)包括能夠解碼多個(gè)媒 體的媒體分組的 一個(gè)或多個(gè)多媒體客戶端，并且每個(gè)媒體的已編碼媒 體分組被布置在幀中，每個(gè)幀至少具有跟隨在至少一個(gè)前向糾錯(cuò)分組 之后的媒體分組的源塊，所述服務(wù)器的特征在于生成模塊，用于在至少一些所述幀中插入隨機(jī)訪問點(diǎn)，使得所述 隨機(jī)訪問點(diǎn)位于所述源塊和所述前向糾錯(cuò)分組之間。
4. 一種適于接收多媒體比特流的多媒體客戶端，所述比特流包括 布置在幀中的多個(gè)已編碼媒體分組，每個(gè)幀至少具有跟隨在至少 一 個(gè) 前向糾錯(cuò)分組之后的媒體分組的源塊，并且其中，在源塊和前向糾錯(cuò) 分組之間插入了至少 一個(gè)隨機(jī)訪問點(diǎn)，所述客戶端的特征在于第一解碼器，用于前向糾錯(cuò)解碼；以及至少一個(gè)媒體解碼器，用于在所述前向糾錯(cuò)解碼之后，根據(jù)所述 隨機(jī)訪問點(diǎn)對所述已編碼媒體分組的源塊進(jìn)行解碼。
5. —種在計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中實(shí)現(xiàn)的軟件應(yīng)用產(chǎn)品，具有用于在多媒體流式傳輸中使用的軟件應(yīng)用，其中，分組流被提供給能夠解 碼多個(gè)媒體的媒體分組的多媒體客戶端，并且每個(gè)媒體的已編碼媒體 分組被布置在幀中，每個(gè)幀至少具有跟隨在至少一個(gè)前向糾錯(cuò)分組之后的媒體分組的源塊，所述軟件應(yīng)用的特征在于編程代碼，用于在至少一些幀中插入隨機(jī)訪問點(diǎn)，使得隨機(jī)訪問 點(diǎn)位于所述源塊和所述前向糾錯(cuò)分組之間。
6. —種在計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中實(shí)現(xiàn)的軟件應(yīng)用產(chǎn)品，具有用于 在多媒體客戶端中使用的軟件應(yīng)用，所述客戶端適于接收多媒體比特 流，所述比特流包括布置在幀中的多個(gè)已編碼媒體分組，每個(gè)幀至少 具有跟隨在至少 一個(gè)前向糾錯(cuò)分組之后的媒體分組的源塊，并且其 中，在所述源塊和所述前向糾4晉分組之間插入了至少 一個(gè)隨才幾訪問 點(diǎn)，所述軟件應(yīng)用的特征在于用于前向糾錯(cuò)解碼的編程代碼，以及用于在所述前向糾錯(cuò)解碼之 后根據(jù)所述隨機(jī)訪問點(diǎn)對已編碼媒體分組的所述源塊進(jìn)行解碼的編 程代碼。
7. —種通信系統(tǒng)，包括 根據(jù)權(quán)利要求3所述的服務(wù)器；以及 一個(gè)或多個(gè)多媒體客戶端，每個(gè)客戶端包括 第一解碼器，用于前向糾錯(cuò)解碼；以及至少一個(gè)媒體解碼器，用于在所述前向糾錯(cuò)解碼之后，根據(jù)隨機(jī) 訪問點(diǎn)對已編碼々某體分組的源塊進(jìn)行解碼。
全文摘要
在具有包含媒體分組的源塊的多個(gè)FEC幀的RTP流中，在源塊之前插入隨機(jī)訪問點(diǎn)，從而允許媒體解碼器在完成FEC解碼之后立即對媒體分組進(jìn)行解碼。具體地，媒體分組包含用于基于多媒體廣播/多播的流式服務(wù)內(nèi)容的前向糾錯(cuò)(FEC)源塊。由于多媒體廣播/多播流式服務(wù)包括動(dòng)態(tài)交互式多媒體場景內(nèi)容，其中不同媒體的源RTP分組與FEC RTP分組一起作為分離的RTP流而傳輸，因此包含隨機(jī)訪問點(diǎn)將促進(jìn)在FEC解碼之后立即渲染動(dòng)態(tài)交互式多媒體場景內(nèi)容，由此降低調(diào)諧延遲。
文檔編號H04N7/66GK101536532SQ200780034939
公開日2009年9月16日 申請日期2007年8月20日 優(yōu)先權(quán)日2006年8月22日
發(fā)明者R·維丹泰姆, S·奇特圖里, V·塞特勒 申請人:諾基亞公司