為富媒體服務中的數(shù)據(jù)傳輸提供質量反饋度量的系統(tǒng)和方法

文檔序號：7641960閱讀：386來源：國知局

專利名稱：為富媒體服務中的數(shù)據(jù)傳輸提供質量反饋度量的系統(tǒng)和方法
技術領域：
本發(fā)明一般地涉及富媒體內容的傳輸。更具體地，本發(fā)明涉及在富媒體應用中的數(shù)據(jù)傳輸期間提供質量度量。
背景技術：
本部分旨在為權利要求書中陳述的本發(fā)明提供背景或上下文。在此的描述可以包括可以探究的概念，但不一定是那些之前已經想到或者探究的概念。因此，除非在此指出，本部分中描述的內容對于本申請的描述和權利要求書而言不是現(xiàn)有技術，并且并不因為包
括在本部分中就承認其為現(xiàn)有技術。
富媒體內容涉及通過單個接口遞送的動態(tài)交互式內容，這些內容在圖形方面是豐富的，并且包含組合物或多種媒體，包括圖形、
文字、視頻和音頻?？缮炜s視頻圖形(SVG)是用于富媒體呈現(xiàn)的主要容器。直到最近，移動設備的應用是基于文本的并且交互性有限。然而，隨著更多具有彩屏和更高級圖形渲染庫的無線設備的出現(xiàn)，消費者正在要求從他們的無線應用獲得更豐富的體驗。實時富媒體內容流式服務對于移動終端是非常重要的，特別是在多媒體廣播組播服務(MBMS)、包交換流式服務(PSS)以及多媒體消息傳遞系統(tǒng)(MMS)服務領域中尤其重要。
SVG被設計用于描述獨立于分辨率的二維矢量圖形，并通常嵌入有諸如光柵圖形、音頻和視頻的其他媒體。SVG使用從同步多媒體集成語言(SMIL )借用的事件模型和動畫概念來允許交互性。SVG 還允許移動設備上的無限縮放性，并增強了用戶接口的能力。其結果是，SVG越發(fā)重要，并且成為多媒體表示的核心元素之一，尤其是對于諸如移動TV、交通信息的在線更新、天氣、新聞等的富媒體
服務。SVG是基于XML的，從而允許與其他現(xiàn)有web技術的更加透明的集成。移動可縮放矢量圖形(移動SVG)已經被第三代合作伙伴計劃(3GPP)用作新的圖像標準，在為移動設備提供改進的圖形和圖像中起到了關鍵作用。最近，3GPP和開放移動聯(lián)盟(OMA) 已經開始了針對基于富媒體活動的工作。
在富媒體應用中使用場景和場景更新的概念。"場景"描述了場景元素的空間組織、場景元素的時間組織、同步信息，以及SVG元素之間的交互。場景通常首先被發(fā)送到客戶端以初始化呈現(xiàn)布局。場景是〈svgx/svg〉標簽中的自包含的SVG文檔，其中動畫和元素可以使用〈g〉元素分組到一起。場景還可以包含包括在〈defsx/defs〉塊中的元素定義，該定義可以在當前場景中使用，或者可以由元素在后續(xù)場景更新中使用。場景更新是對SVG文檔對象模型(DOM)的增量更新，這些更新一次一個地發(fā)送至客戶端設備。這些更新包括 SVG元素添加、元素刪除、元素替換以及元素屬性更新操作。
盡管針對媒體(諸如音頻和視頻)已經存在關于丟包、傳輸質量以及媒體修復信息的某些質量度量，但是當前并沒有用于富媒體應用中基于SVG的場景和場景更新的質量度量。在富媒體應用期間，客戶端可以經常向服務器報告?zhèn)鬏敽捅硎举|量。這種信息對于服務器為調整傳輸系統(tǒng)做出最佳決策而言相當有用。當前，諸如PSS和 MBMS的高層框架已經廣泛地用于多媒體應用以解決此問題。方案包括定義表示用于此目的所必需的反饋數(shù)據(jù)的語法，以及后續(xù)將這些語法映射到低層協(xié)議，諸如實時傳輸協(xié)議(RTCP)。但是，這些方案主要專注于連續(xù)數(shù)據(jù)，諸如音頻、視頻和時控文本，并且沒有專門適應于包含SVG、離散和連續(xù)媒體的富媒體應用。隨著部署富媒體應用的需求持續(xù)增加，最要的在于定義對當前框架的擴展，以允許客戶端向服務器發(fā)送質量相關的反饋數(shù)據(jù)。
如上所述，當前在類SVG富媒體表示中存在的、針對本地交互性(即，嚴格在客戶端側)以及諸如HTTP GET/POST的基礎遠程交互的大量方案僅僅是初級的和不完善的。使用實時傳輸協(xié)議(RTP)
的實時媒體流在某種程度上針對丟包是可以復原的。RTP控制協(xié)議
(RTCP)可以用來監(jiān)控服務的質量以及傳達關于正在進行的RTP 會話中的參與者信息。RTCP基于使用與數(shù)據(jù)包的發(fā)布機制相同的機制來將控制包周期性地傳輸給會話的所有參與者。RTP控制協(xié)議執(zhí) 行四項功能。第一，首要功能在于提供關于數(shù)據(jù)發(fā)布的質量的反饋。第二功能在于攜帶用于RTP源的持久性傳輸層標識符，稱為規(guī)范名稱或者CNAME。第三功能在于控制發(fā)送包的速率，以將RTP按比例增加到大量的參與者。最后，可選的第四功能在于傳達最少的會話控制信息。
RTP/AVPF是基于RTCP的擴展以使接收者能夠在統(tǒng)計上向發(fā)送者提供更及時的反饋，并且因此允許實現(xiàn)短期調整以及有效的基于反饋的修復機制。這種早期的反饋簡檔(AVPF)維護對于RTCP的 AVP帶寬限制，并保留了到大組的縮放能力。大量的新SDP參數(shù)在此簡檔中定義以便描述會話。相應地，RTCP反饋消息的格式也被定義，并且可以劃分為三種類別(l)傳輸層反饋消息；(2)凈荷專用反饋消息；以及(3 )應用層反饋消息。不幸地，大多數(shù)為 RTP/AVPF所建議的消息格式專用于音頻4見頻應用，而不適于富力某體應用。
PSS基詞匯表包含四個成分,稱為"PssCommon"、 "Streaming"、 "ThreeGPFileFormat"和"PssSmil"。將詞匯劃分為這些成分是受到這樣事實的啟發(fā)，即，PSS包含三個不同的基本應用(1)純基于 RTSP/RTP的流々某體，由Streaming成分描述；(2 ) 3GP文件下載或漸進式下載，由ThreeGPFileFormat成分描述；以及(3)SMIL表示，由PssSmil成分描述。SMIL表示可以包括可下載的圖像、文本等，以及RTSP/RTP流式和可下載的3GP文件。對于所有PSS應用而言通用的能力由PssCommon成分描述。三個基本應用彼此由同步的源區(qū)分。對于純流媒體，源是RTP。對于3GP文件，源是在3GP文件格式中繼承的。對于SMIL表示，定時由SMIL文件提供。PSS專用成分包含多個表示能力的屬性。然而，沒有描述客戶端能力從而提供反饋的一個屬性。
對于用戶、運營商和互聯(lián)網服務提供商，服務的端到端質量是
高度重要的。體驗質量(QoE)涵蓋了大范圍的服務，其包括用于語音和話音的較寬帶寬、諸如互聯(lián)網協(xié)議電視(IPTV)的新多媒體服務，以及內容的丟失的及受損的包的統(tǒng)計數(shù)據(jù)?，F(xiàn)任的和新興的服務提供商都存在這樣的壓力，以通過獲取市場份額、擴展業(yè)務同時降低成本，以及創(chuàng)建客戶的忠誠度來增大他們的運營成果。一種將客戶流動率最小化的方法是QoE遞送。QoE度量可以幫助加強這種連續(xù)媒體(例如，包括動態(tài)和交互式媒體場景(DIMS)內容)的此聯(lián)系性和同步性。
3GPP QoE度量已經在PSS系統(tǒng)中被指定為PSS流式服務器和客戶端的可選特征，并且并未干擾PSS服務。支持該特征的PSS客戶端根據(jù)測量定義來進行質量測量、將這些質量測量聚集到客戶端 QoE度量中，并使用內容接收報告過程將該度量報告給PSS服務器。然而，在PSS中定義的所有度量都僅僅適用于音頻、視頻、語音和時控文本媒體類型中的至少一個，而不適用于其他媒體類型，諸如合成音頻、靜態(tài)圖像、位形、矢量圖形和文本。任何未知的度量都被客戶端忽略了，并且不包含在任何QoE報告中。
在不干擾MBMS服務的情況下，MBMS QoE度量對于MBMS 流式服務器和MBMS 二者是可選的。支持MBMS QoE度量的MBMS 客戶端通常根據(jù)測量定義執(zhí)行質量測量、將這些質量測量聚集到客戶端QoE度量中，并使用內容接收報告過程將該度量報告給MBMS 服務器。
美國專利申請公開No. 2005/0249117描述了一種用于通過構建于兩個或更多信道中的網絡鏈路對具有不同服務質量(QoS )屬性的數(shù)據(jù)流進行傳輸?shù)姆椒āＴ摲椒▽Φ竭_包進行分類以確定它們需要的/被分配的QoS屬性，并將已經分類的包置于若干邏輯信道隊列中，其中選擇的邏輯信道隊列具有所定義QoS屬性的適當相應集合。無線鏈路控制器檢查可用的信道，并且針對每個信道，選擇內容將在
其上傳輸?shù)倪壿嬓诺狸犃?。對邏輯信道隊列的選擇按照QoS屬性的集合進行。因此，每個流可以具有不同的QoS特性，包括優(yōu)先級、可靠性(ARQ、無ARQ等)。然而，此系統(tǒng)主要關注于將QoS屬性分配給不同的邏輯隊列，卻沒有解決QoS參數(shù)自身的問題，尤其對于富纟某體應用而 3 。
美國專利申請公開No. 2005/0169171描述了用于支持端到端服務質量(QoS)控制的系統(tǒng)。產生QoS簡檔標識符，其被映射到QoS 參數(shù)。該標識符通過無線通信系統(tǒng)傳輸至終端站，并且該終端站基于所接收的標識符確定QoS參數(shù)。然而，該系統(tǒng)涉及控制QoS參數(shù)，而不是作為QoS度量發(fā)送的實際數(shù)據(jù)。而且，利用該系統(tǒng)，必須在端到端富媒體應用中定義QoS度量的特殊信息。

發(fā)明內容
本發(fā)明描述了用于在富媒體應用中的數(shù)據(jù)傳輸期間提供質量度量的系統(tǒng)和方法。存在交互式富媒體服務的多個用例，其中這種質量度量會起到很重要的作用。例如，交互式移動TV服務涉及在終端用戶接口中連同TV和無線信道一起提供富媒體內容(包括音頻-視頻內容、文本、圖形、圖像)的確定性渲染以及行為。該服務必須在單個應用或服務中為內容提供方便的導航，并且必須允許本地或遠程行為的同步交互，諸如投票和個性化(例如相關的菜單或子菜單、廣告以及最終用戶簡檔或服務訂閱的功能中的內容)。在此
服務中，從包丟失和受損方面描述數(shù)據(jù)傳輸性質的質量度量作為反饋對服務是有用的。
即時聊天服務可以合并在網絡攝像機或視頻信道內，或者合并在富媒體博客服務中。終端用戶可以注冊并保存他們的姓氏，以及交換消息。消息與終端用戶提供的富媒體數(shù)據(jù)一起動態(tài)出現(xiàn)在即時聊天服務中。該聊天服務可以同時在一條或更多條信道中是私密的或者公開的。動態(tài)地提醒終端用戶來自于其他用戶的新消息。該服務中的動態(tài)消息更新會在不重新加載完整頁面的情況下出現(xiàn)。描述
這些更新中的哪些被不正確地接收的質量度量會有助于錯誤修復以及隱藏，以便改進服務的整體用戶體驗。
另外，視頻/歌曲選擇服務允許用戶實時從服務器選擇/請求他們中意的歌曲或電影。內容更新可以取決于哪個客戶端在之前發(fā)送了該請求，或者其可以基于分配給每個客戶端的優(yōu)先權。再一次在這種情況中，QoS度量可以用于評估所請求的歌曲內容是否正確地抵達客戶端。
遠程用戶界面(UI)是支持在除了運行應用邏輯的那些設備以外的其他設備上繪制用戶界面的機制。制造商正在創(chuàng)建針對某些環(huán)
境高度而優(yōu)化的設備。隨著該設備用于各種目的范圍，它們的UI能力可以進行相當?shù)刈兓?；屏幕大小和比例、色深、具有各種組件集合的視窗系統(tǒng)，以及輸入方法正在使環(huán)境高度不同。同時，應用開發(fā)者以及UI設計者正試圖創(chuàng)建對渲染平臺高度優(yōu)化的用戶接口，從而通過具有各種容易學習和使用的應用而改進用戶體驗。當這種遠程UI在除運行應用邏輯的那個設備以外的另一設備上渲染時，需要做出一些規(guī)定使得用戶可以將該UI視為本地應用而使其直觀可用。在此情況中，QoS度量對于評估是否所有的UI內容都從遠程正確地流傳輸至另一客戶端是有用的。
在所有上述情況中，應用可以是面向廣播的或者是面向PtP的。根據(jù)本發(fā)明，各種質量度量可以為傳送信息而進行定義，諸如對PSS 基詞匯表進行擴展、對PSS體驗質量(QoE)進行擴展、對RTP/AVPF 進行擴展以及對傳輸層反饋消息進行擴展，其中PSS體驗質量為RTP 包丟失、未正確接收的活躍SVG元素列表、正確接收和解碼的SVG 元素列表、受損持續(xù)時間、受損SVG組。在富媒體客戶端利用這種測量的情況下，服務器可以評估傳輸質量并且考慮諸如包重傳的差錯恢復機制來向客戶端提供缺失的信息。
本發(fā)明的各種實施例還提供了 QoE度量，其可以用于DIMS專用內容和服務的統(tǒng)計數(shù)據(jù)分析以及差錯恢復和差錯隱藏。這種度量可以用于例如報告在特定周期期間針對每個優(yōu)先級的RTP包的丟失
數(shù)量、受損場景、受損場景更新以及DIMS受損持續(xù)期間值(由受損場景和受損場景更新的時間持續(xù)測量)。
本發(fā)明的這些和其他優(yōu)勢和特征與本發(fā)明操作的組織和方式一起將會從結合附圖的下述詳細描述中變得明顯，其中貫穿下述附圖，相同元素具有相同附圖標記。

圖1是本發(fā)明可以在其中實現(xiàn)的系統(tǒng)圖示；
圖2是可以在本發(fā)明的實現(xiàn)中使用的移動電話的透視圖3是圖2的移動電話的電話電路的示意圖4是用于報告在一個特定周期期間針對信息的每個優(yōu)先級的包丟失的RTCP消息的圖示；
圖5是用于報告最近"活躍元素列表"中有多少未被正確接收和解碼的元素的RTCP消息的圖示；
圖6是用于報告哪些元素被正確接收、解碼以及在當前組中活躍的RTCP消息的圖示；
圖7是用于在一組包期間指示受損持續(xù)時間的RTCP消息的圖示；以及
圖8是用于指示歸因于用于各個組的場景數(shù)據(jù)的丟包而受損的組的RTCP消息的圖示。
具體實施例方式
圖1示出了本發(fā)明可以在其中使用的系統(tǒng)10，包括可以通過網絡進行通信的多個通信設備。系統(tǒng)IO可以包括有線或無線網絡的任意組合，其中這些網絡包括但不限于移動電話網絡、無線局域網 (LAN)、藍牙個人局域網、以太網LAN、令牌LAN、廣域網、互聯(lián)網、通信i殳備之間的一個或多個adhoc網絡等。系統(tǒng)10可以包括有線通信設備和無線通信設備兩者。
例如，圖1中所示系統(tǒng)10包括移動電話網絡11和互聯(lián)網28。
通往互聯(lián)網28的連接可以包括但不限于遠程無線連接、短程無線連接，以及各種有線連接，有線連接包括但不限于電話線、電纜線路、電力線等。
系統(tǒng)10的示例性通信設備可以包括但不限于移動電話12、組合式PDA和移動電話14、 PDA 16、集成消息傳遞設備(IMD) 18、臺式計算機20，以及筆記本計算機22。通信設備可以是固定的或者在由行進中的人攜帶時是移動的。通信設備還可以處于交通模式中，包括但不限于汽車、卡車、出租車、公共汽車、船、飛機、自行車、摩托車等。通信設備的一些或全部可以通過通往基站24的無線連接 25發(fā)送和接收呼叫和消息，并且通過通往基站24的無線連接25與服務提供商進行通信?；?4可以連接至網絡服務器26,該服務器 26支持移動電話網絡11和互聯(lián)網28之間的通信。系統(tǒng)IO可以包括附加的通信設備和不同類型的通信設備。通信設備可以彼此直接通信。
通信設備可以使用各種傳輸技術進行通信，包括但不限于，碼分多址(CDMA)、全球移動通信系統(tǒng)(GSM)、通用移動通信系統(tǒng)(UMTS)、時分多址(TDMA)、頻分多址(FDMA)、傳輸控制協(xié)議/互聯(lián)網協(xié)議(TCP/IP)、短消息傳遞服務(SMS)、多々某體消息傳遞服務(MMS)、電子郵件、即時消息傳遞服務(IMS)、藍牙、IEEE 802.il等。通信設備可以使用各種介質進行通信，包括但不限于，無線、紅外、激光、線纜連接等。
圖2和圖3示出了本發(fā)明可以在其中實現(xiàn)的一個代表性移動電話12。然而應當理解，無意將本發(fā)明限制為一種特定類型的移動電話12或者其他電子設備。圖2和圖3的移動電話12包括外殼30、液晶顯示器形式的顯示器32、小鍵盤34、麥克風36、耳機38、電池40、紅外端口42、天線44、才艮據(jù)本發(fā)明一個實施例的通用UICC 形式的智能卡46、讀卡器48、無線接口電路52、編解碼電路54、控制器56以及存儲器58。單獨的電路和元件可以是本領域公知的所有類型，例如Nokia范圍內的移動電話系列。本發(fā)明描述了這樣的系統(tǒng)和方法，用于在富媒體應用中的數(shù)據(jù) 傳輸期間提供質量度量。以下描述提供了關于質量測量的細節(jié)。在
此描述的新擴展在PSS基詞匯表、PSS體驗質量和RTP/AVPF中進行定義。為了提供專用于富媒體應用的QoE信息，在PSS中定義某些擴展是必須的。相應地，某些擴展還在低層協(xié)議RTP/AVPF中定義，這些擴展為擴展后的QoE數(shù)據(jù)提供了實際反饋服務。PSS和 RTP/AVPF彼此密切相關。在RTP/AVPF中傳送的擴展數(shù)據(jù)是從PSS 中的擴展內容衍生出的。
對PSS基詞匯表的擴展。PSS基詞匯表包含四個成分，稱為 "PssCommon"、 "Streaming" 、 "ThreeGPFileFormat"和"PssSmil"。如之前所述，將詞匯劃分為這些成分是受到這樣事實的啟發(fā)，即，PSS 包含三個不同的基本應用(1)純基于RTSP/RTP的流媒體，由 Streaming成分描述；(2 ) 3GP文件下載或漸進式下載，由 ThreeGPFileFormat成分描述；以及(3)SMIL表示，由PssSmil成分描述。為了描述客戶端提供反饋的能力和模式，根據(jù)本發(fā)明一個實施例，新屬性"FeedbackMethod，4皮添加至PssCommon成分。該屬性的性質如下屬性名稱FeedbackMethod
屬性定義此屬性描述客戶端提供反饋的能力和模式。成分 PssCommon 類型文字
合法值 "None"、 "SMS"、 "MMS"、 "HTTP"、 "RTSP"
解析規(guī)則附加
示例 <FeedbackMethod>MMS</FeedbackMethod>
對PSS體驗質量的擴展。PSS體驗質量度量特征對于PSS服務器和客戶端都是可選的，并且未干擾PSS服務。當希望的時候，支持QoE度量特征的PSS服務器用信號通知客戶端QoE度量的激活和采集。支持該特征的3GPP PSS客戶端根據(jù)測量定義來進行質量測量、將這些質量測量聚集到客戶端QoE度量中，并當被要求時，使
用QoE傳輸協(xié)議將該度量報告給PSS服務器。PSS客戶端在傳輸層測量該度量，但是還可以在應用層測量該度量，以改進準確性。為了描述客戶端中的采樣和元素的當前狀況(正確4妻收、不正確*接收或者丟失)，定義了多個新度量。
為了在特定周期期間針對每個優(yōu)先級報告RTP包丟失的數(shù)量，根據(jù)本發(fā)明一個實施例，語法是Lost—Priority={lF，3E，0，21}; Range: Seq一Num-60000-60500。對于序列號在60000到60500范圍內的RTP 包，包丟失如下(包丟失的數(shù)量以十六進制格式表達) IF優(yōu)先級=0包丟失 3E優(yōu)先級=1包丟失 0 優(yōu)先級=2包丟失 21優(yōu)先級=3包丟失
應當注意，"Lost— ^01^乂=..."和"1^1^6:369_>^111=..."字段的位置以及相應的值可以在本發(fā)明其他實施例中改變。另外，Lost—Priority 字中的四個元素順序可以改變。
為了報告最近"活躍元素列表"中未正確接收和解碼的元素的列表，每個組發(fā)送一次"活躍元素列表"。響應于"活躍元素列表"，以下定義的Lost—Element可以在該組傳輸過程期間或者之后的任意時間發(fā)送多次。根據(jù)本發(fā)明一個實施例，用于此才艮告的語法為 Lost_Element= {element 10,element22,element45} ;Range:GRP= 12。在具有GRP42的組中，已經丟失了三個活躍的元素。它們是element10、 element22和element45。還應當注意，在本發(fā)明其他實施例中， "Lost—Elements..，，和"1^1^6:010)=..."字段的位置以及相應的值可以改變。
為了報告哪些元素被正確接收、解碼并在當前組中是活躍的，而無論客戶端是否已經接收到了"活躍元素列表，，，客戶端可以發(fā)送以下定義的列表以描述客戶端中活躍元素的當前狀況。根據(jù)本發(fā)明一個實施例，用于此才艮告的語法為Active—Element = {elementl, elernent2， element 4， element5， element8, elementl 1 }; Range:GRP =
13。在此具體示例中，當前組的GRP等于13。在這個組中，已經正確接收了六個活躍元素。它們是element10、 element22和element 45。應當注意，'乂"^^_￡1611^111=..."和"1^1^6:010>=..."字段的位置和相應的值在本發(fā)明的各種實施例中可以改變。
為了報告通過受損場景更新的計數(shù)測量的Corruption—Duration, 一個實施例中的語法為Corruption—Duration—Sceneupdate= {30 12345; 75 12555};Range:GRP=16。在用于具有GRP=16的組的RTP包中，總共有由用于場景更新的包的丟失所引起的兩處受損。如果用于具體的場景更新的包中的一個丟失了并且還未有效地修復，則認為此場景更新丟失。第一丟失場景更新的第一個包的序列號為12345。此場景更新持續(xù)30個包。第二丟失場景更新的第一個包的序列號是 12555。此場景更新持續(xù)75個包。服務器確定是否基于上述信息發(fā) 送剩余的場景更新。在另一示例中，在 Corruption—Duration—Sceneupdate= {3012345; 12555};Range: GRP46的情況下，第一丟失場景更新的第一包的序列號為12345。此場景更新持續(xù)30個包。第二丟失場景更新的第一個包的序列號為 12555。如果精確的持續(xù)時間是未知的，則插入"？"。
為了報告受損的組，一個實施例中的語法為 Corrupted_Group={14}。在此示例中，由于此組的場景數(shù)據(jù)的包丟失了，所以具有GRP=14的組受損。服務器可以選擇不再發(fā)送與這些組相關的 <壬 4可其 4也包。還應當注意， "Corruption—Duration—Sceneupdate =...，，和"Range: GRP=...，，字,殳的位置及相應值可以在本發(fā)明的可替換實施例中改變。
為了知道缺少的包實際上屬于哪個組，推導場景中連續(xù)組之間的邊界是重要的。為此目的，可以使用用于SVG數(shù)據(jù)的RTP凈荷報頭中定義的S標志和M標志。S標志(1比特)指示當前包是否包含當前采樣的起始點，而M標志指示當前采樣的終止點。M和S標志的組合提供了以下信息當M4， S=l時，當前包包含完整的采樣。
當M=0, S二l時，當前包包含采樣的第一片段。當M^， S-0時，當前包包含采樣的最后片段。當M=0, S^0時，當前包包含采樣的中間片段。
在此情況中，"采樣"表示SVG場景、場景更新、SVG相似性信息或者SVG元素的活躍列表。
對RTP/AVPF的擴展。在用于基于RTCP反饋的擴展RTP簡檔的互聯(lián) 網草案 (RTP/AVPF) 中 (可以在 www.ietf.org/internet畫drafts/draft畫ietf-avt扁rtcp-feedback-ll.txt沖戈f'J ), 新凈荷格式專用SDP屬性被定義為指示使用RTCP反饋的能力的 SDP媒體屬性，在該文檔中規(guī)定為"a^tcp-fb"。相應地，還定義RTCP 包的兩個擴展以便傳輸反饋消息(傳輸層/凈荷層/應用層)。在PSS QoE中定義的上述語法映射到此SDP+RTCP簡檔中。此SDP+RTCP 簡檔可以用作RTP/AVPF的擴展以提供用于富媒體交互的反饋消
自、
rtcp-fb-pt
rtcp-fb-val
"rtcp-fb"屬性的語法如下(反饋類型和可選的參數(shù)都是區(qū)分大小寫的)。下面劃線的參數(shù)是根據(jù)本發(fā)明新定義的 rtcp畫fb-syntax = "a=rtcp-fb:，， rtcp畫fb-pt SP rtcp-fb-val CRLF
通配符適用于所有格式/fmt; 如在SDP規(guī)范中所定義 ="ack，， rtcp畫fb-ack-param / "nack，， rtcp-fb-nack-param /"trr畫int，， SP 1*DIGIT / rtcp-fb畫id rtcp-fv-param =l*(alpha-numeric/ "-，，/"_") =SP "app，， [SP byte-string] /SP token [SP byte-string]
<formula>formula see original document page 18</formula>
rtcp-fb畫ack-param
<formula>formula see original document page 18</formula>/SP "aei，，
/SP token [SP byte-string]
/;空
rtcp-fb-nack-param = SP "pli，,
/SP "sli" /SP "rpsi"
/SP'"lei"
/SP'"cdsu"
/SP 1"eg"
/SP "app" [SP byte-string] /SP token [SP byte-string]
/;空
在上述"rtcp-fb"屬性語法中，向ACK (肯定響應)添加了一個擴展，向NACK(否定響應)添加了四個擴展。以下參數(shù)被定義以和"ack" 與"nack，，一起使用。"aei，，表示活躍元素指示。"l卯i，，表示丟失優(yōu)先級包指示。"lei"表示丟失元素指示。"cdsu"表示場景更新計數(shù)的受損持續(xù)時間。"cg"表示受損的組。對應于這些SDP參數(shù)，基于RTP/AVPF 將新的反饋消息定義如下。
對傳輸層反饋消息的擴展傳輸層反饋消息由值RTCP報頭中的凈荷類型(PT)字段的值PT二RTPFB標識，其中PT字段指示包是否屬于傳輸層、凈荷層或應用層。迄今為止在RTP/AVPF中定義的單個通用傳輸層反饋消息是通用NACK。通過如下的FMT參數(shù)對其進行如下標識 0: 未分配 1: 通用NACK
2-30: 未分配
31: 為標識符號碼空間的未來擴展而預留
"lppi" NACK消息在傳輸層中定義并且在下面進行定義以針對每個優(yōu)先級提供丟包的指示。這種NACK消息由PT=RTPFB和 FMT=30進行標識。
對于丟失優(yōu)先級包指示(rtcp-fb-param = lppi) , SVGRTP包劃分為四個優(yōu)先級。優(yōu)先級由RTP報頭中的GRP字段指示。RTCP消息報告一個特定周期期間針對每個優(yōu)先級的包的丟失。圖4中示出了用于丟優(yōu)先級包指示的格式。16位的SSN代表用于當前測量的起始點的序列號。也是16位的ESN代表用于當前測量的終止點的序列號。CP0、 CP1、 CP2和CP3每個的長度都是4位。CPO表示優(yōu)先級為0的丟包數(shù)量。CPl表示優(yōu)先級為1的丟包數(shù)量。CP2表示優(yōu)先級為2的丟包數(shù)量。CP3表示優(yōu)先級為3的丟包數(shù)量。
凈荷層反饋消息的擴展凈荷層反饋消息由用于RTCP頭中的凈荷類型(PT)字段的值PT-PSFB標識。除了應用層反饋消息，三個凈荷專用反饋消息當前在RTP/AVPF中定義。通過如下的FMT參數(shù) 對這些消息進4于如下標識 0: 未分配 1: 圖片丟失指示(PLI)
2: 片丟失指示(SLI)
3: 參考圖片選擇指示(RPSI)
4-14: 未分配 15: 應用層反饋消息 16-30: 未分配
31:為序列號空間的未來擴展而預留
以下討論了用于凈荷專用反饋消息的四個新FCI格式的定義。在每個格式中，存在SVG組(GRP)字段，使得屬于相同組的若干 RTCP/AVPF包以它們的潛在格式包含相同GRP id。這種包一起表示用于該特別組(GRP)的全部信息。
丟失元素指示(rtcp-fb-param = lei) ， FMT=27: SVG表示包含僅在當前組中有效的許多元素。每組一次地將"活躍元素列表"發(fā)送至客戶端。圖5中示出的RTCP消息報告最近"活躍元素列表"中有多
少未正確接收和解碼的元素。GRP字段為4位，并且指示當前包所報告的組號。PAD字段為4位，并且指示此包末端處的填充位的長度，該長度是基于字節(jié)計算的。LLE字段是可變的，表示丟失元素的基于文本列表，由逗號或分號相分開，例如"elementl， element3, element5, element6，，或"elementl;element3;element5;element6，，。 PB字段也是可變的，指示基于字節(jié)計算的填充位。PB字段的長度由PAD 指示。PB使整個包為32位對齊的。
活躍元素指示 (rtcp-fb-param = aei) , FMT=28:圖6中定義的 RTCP報告哪些元素被正確接收、解碼以及在當前組中是活躍的。 GRP字段為4位，并且指示當前包所報告的組號。PAD字段為4位，指示此包末端處的填充位的長度，該長度是基于字節(jié)計算的。LAE 字段是可變的，表示丟元素的基于文本的列表，由逗號分開，例如 "elementl, element3， element5， element6"。 PB字l殳也是可變的，并且表示基于字節(jié)計算的填充位。PB字段長度由PAD指示。PB字段使整個包是32位對齊的。
由場景更新計數(shù)的受損持續(xù)期間(rtcp-fb-param = cdsu), FMT=29:
圖7中定義的RTCP消息指示一個組期間的受損持續(xù)時間。每個受損從一個專用的RTP包開始，并持續(xù)多個包。GRP字段為4位，指示當前包所報告的組號。PAD字段為4位，并且指示此包末端處的填充位的長度。CDn字段也是4位，并且表示當前組中一個特定列表包的受損持續(xù)時間。SSNn字段為16位，并且指示包含至少一個丟包的相應場景更新的序列號。這種丟包不能修復。(CD, SSN)配對以序列號索引的遞增順序列出。PB字段是可變的，并且指示基于 4比特計數(shù)的填充位。該填充位的長度由PAD指示。PB使整個包是 32位對齊的。
受損組(rtcp-fb-param = cg)， FMT=30:圖8中示出的RTCP消息指示歸因于這些組的場景數(shù)據(jù)的丟包而受損的組。NCG字段為4 位，并且指示當前包所報告的組號。GRPn也是4位，并且表示已經
受損組的GRP。它們一個接一個地放置?？倲?shù)目由NCG字段指示。 PB字段是可變的，并且代表填充位。填充位的長度可以從NCG推導出。PB字段使整個包是32位對齊的。
本發(fā)明的各種實施例還涉及使用基于PSS和MBMS的QoS度量作為引入QoE度量的基礎，該QoE度量可以用作DIMS專用內容和服務的統(tǒng)計數(shù)據(jù)分析。這種度量可以用于例如報告特定周期期間針對每個優(yōu)先級的RTP丟包數(shù)量、受損場景、受損場景更新以及DIMS 受損持續(xù)期間值(由受損的場景和場景更新的時間持續(xù)所測量)。以下討論這些中的每一個。DIMS QoE度量對于DIMS流式服務器和客戶端都是可選的特征，而無需干擾DIMS服務本身。支持該特征的DIMS客戶端可以根據(jù)測量定義來進行質量測量、將這些質量測量聚集到客戶端QoE測量中，并使用內容接收報告過程將該度量報告給DIMS服務器?；贒IMS的QoE度量依賴于用于將QoE信息從客戶端傳輸?shù)椒掌鞯漠斍?GPP框架。這種3GPP框架包括為 PSS中的單播服務使用RTSP，以及為MBMS中的多播服務4吏用 HTTP與XML對象。
在特定周期期間針對每個優(yōu)先級的RTP包丟失數(shù)量可以根據(jù)下文進行報告。盡管RTP序列號的中斷指示缺失包，但是布爾優(yōu)先級指示丟包的重要性是低(P=0)還是高(P=l)。用于此報告的語法是Lost—Priority={X， Y}; Range: =Sy-Sz
上述語法的語義是，對于序列號的范圍在Sy到Sz內的RTP包，總體上丟失X個低優(yōu)先級包和Y個高優(yōu)先級包。在可替換實施例中，可以使用優(yōu)先級值的變形。
為了報告受損的場景，如果客戶端不能從場景內容構建出有效的DOM結構，則DIMS場景被標識為受損。用于報告收到受損場景的語法為Corrupted—Scenes={ S2 Na， S7 Nb}
按照上述語法的語義，序列號為S2、持續(xù)了 Na個包的場景以及序列號為S7，持續(xù)了 Nb個包的場景受損。
為了報告受損的場景更新，如果客戶端不能在將更新應用到客
戶端上的當前DOM結構之后構建出有效的DOM結構，DIMS場景更新被標識為受損的。用于報告受損場景更新的語法為 Corrupted_SceneUpdates={S5 Nc, S22 Nd}
按照上述語法的語義，序列號為S5、持續(xù)了 Nc個包的場景更新以及序列號為S22，持續(xù)了 Nd個包的場景更新受損。
在本發(fā)明的另一實施例中，用于受損場景和受損場景更新二者的度量可以合并為用于DIMS媒體類型的單個公共度量。
除了上述，還可以報告DIMS受損持續(xù)時間值。此值由受損場景和受損場景更新的時間持續(xù)進行測量。用于報告此值的語法為 DIMS—Corruption—Duration={S3 Ta; S22 Tb}
在此示例中，存在兩個受損集合。第一受損集合中的第一包的序列號為S3，時間持續(xù)期間為Ta。第二受損集合中的第一包的序列號為S22,時間持續(xù)期間為Tb。應當注意，每個受損集合可以包含受損場景和受損場景更新的組合。
在另一示例中，DIMS—Corruption—Duration= {S3 Ta; S22 }; Range:=Sy-Sz。在此示例中，第一受損集合中的第一包的序列號為 S3,時間持續(xù)期間為Ta。第二受損集合的第一包的序列號為S22。如果精確時間是未知的，則插入"？ "。 "？"指定也可以結合其他度量一起使用。另外，應當注意，在本發(fā)明一個特定實施例中，序列號可以用于指示受損持續(xù)期間，而不使用時間持續(xù)。
在方法步驟的普通場景下對本發(fā)明進行了描述，在一個實施例中，本發(fā)明可以通過程序產品來實現(xiàn)，該計算才幾程序產品包括在網絡環(huán)境中由計算機執(zhí)行的計算機可執(zhí)行指令，諸如程序代碼。
通常，程序模塊包括例程、程序、對象、組件、數(shù)據(jù)結構等，用于執(zhí)行具體任務或者實現(xiàn)特定的抽象數(shù)據(jù)類型。計算機可執(zhí)行指令、相關數(shù)據(jù)結構和程序模塊代表了用于實現(xiàn)此處公開的方法和執(zhí) 行步驟的程序代碼的示例。這種可執(zhí)行指令或者相關數(shù)據(jù)結構的特定序列代表了用于實現(xiàn)在這種步驟中描述的功能的對應動作的示例。
本發(fā)明的軟件和網絡實現(xiàn)能夠利用標準編程技術來完成，利用基于規(guī)則的邏輯或者其他邏輯來實現(xiàn)數(shù)據(jù)庫搜索步驟、相關步驟、比較步驟和決策步驟。還應當注意的是，此處以及權利要求書中使用的詞語"組件"和"模塊"意在包括使用一行或者更多行軟件代碼的實現(xiàn)和/或硬件實現(xiàn)和/或用于接收手工輸入的設備。
出于示例和描述的目的，已經給出了本發(fā)明實施的前述說明。前述說明并非是窮舉性的也并非要將本發(fā)明限制到所公開的確切形式，根據(jù)上述教導還可能存在各種變形和修改，或者是可能從本發(fā) 明的實踐中得到各種變形和修改。選擇和描述這些實施例是為了說明本發(fā)明的原理及其實際應用，以使得本領域的技術人員能夠以適
權利要求
1.一種為富媒體服務中的數(shù)據(jù)傳輸提供質量反饋度量的方法，包括從遠程設備接收富媒體內容；以及響應于接收到所述富媒體內容，將服務質量信息傳輸給所述遠程設備，所述服務質量信息包括至少一個服務質量度量擴展，所述擴展描述了所接收富媒體內容的質量特征。
2. 如權利要求1所述的方法，其中所述至少一個服務質量度量擴展包括包交換流式服務詞匯表中的至少一個擴展。
3. 如權利要求2所述的方法，其中所述包交換流式服務詞匯表中的所述至少一個擴展包括描述提供的反饋的能力和模式的 "FeedbackMethod"成分。
4. 如權利要求1所述的方法，其中所述至少一個服務質量度量擴展包括包交換流式服務體驗質量度量的至少一個擴展。
5. 如權利要求4所述的方法，其中包交換流式服務體驗質量度量的所述至少一個擴展包括用于報告在所接收富媒體內容的特定周期期間針對每個優(yōu)先級報告RTP包丟失的數(shù)量的語法。
6. 如權利要求4所述的方法，其中包交換流式服務體驗質量度量的所述至少一個擴展包括用于報告在最近的活躍元素列表中未正確接收和解碼的元素列表的語法。
7. 如權利要求4所述的方法，其中包交換流式服務體驗質量度量的所述至少一個擴展包括用于報告正確接收的、解碼的并且在所接收富媒體內容的當前組中活躍的那些元素的語法。
8. 如權利要求4所述的方法，其中包交換流式服務體驗質量度量的所述至少一個擴展包括用于報告由受損場景更新的計數(shù)測量的 Coruption—Duration的語法。
9. 如權利要求4所述的方法，其中包交換流式服務體驗質量度量的所述至少一個擴展包括用于推導所接收富媒體內容的場景中的組之間邊界的語法。
10. 如權利要求l所述的方法，其中所述至少一個服務質量度量擴展包括用于基于RTCP反饋的經過擴展的實時傳輸協(xié)議簡檔中的至少一個擴展。
11. 如權利要求IO所述的方法，其中用于基于RTCP反饋的所述經過擴展的實時傳輸協(xié)議簡檔中的所述至少一個擴展包括在所接收富媒體內容的一個特定周期期間針對每個優(yōu)先級的包丟失的指示。
12. 如權利要求IO所述的方法，其中用于基于RTCP反饋的所述經過擴展的實時傳輸協(xié)議簡檔中的所述至少一個擴展包括在最近的活躍元素列表中有多少元素未被正確接收和解碼的指示。
13. 如權利要求IO所述的方法，其中用于基于RTCP反饋的所述經過擴展的實時傳輸協(xié)議簡檔中的所述至少一個擴展包括未正確接收、解碼并在所接收數(shù)據(jù)的當前組中活躍的指示元素。
14. 如權利要求IO所述的方法，其中用于基于RTCP反饋的所述經過擴展的實時傳輸協(xié)議簡檔中的所述至少一個擴展包括在所接收數(shù)據(jù)的一個組期間的受損持續(xù)時間的指示。
15. 如權利要求10所述的方法，其中用于基于RTCP反饋的所述經過擴展的實時傳輸協(xié)議簡檔中的所述至少一個擴展包括歸因于所接收場景數(shù)據(jù)的包的丟失而受損的組的指示。
16. 如權利要求l所述的方法，其中所述富媒體內容包括動態(tài)的和交互式的々某體場景(DIMS)專用內容。
17. 如權利要求16所述的方法，其中所述至少一個服務質量度量擴展描述在特定周期期間針對所述所接收富媒體內容的每個優(yōu)先級的多個實時傳輸協(xié)議(RTP)包的丟失。
18. 如權利要求16所述的方法，其中所述至少一個服務質量度量擴展描述從所述遠程設備接收的、已經受損的DIMS場景。
19. 如權利要求16所述的方法，其中所述至少一個服務質量度量擴展描述從所述遠程設備接收的、已經受損的DIMS場景更新。
20. 如權利要求16所述的方法，其中所述至少一個服務質量度量擴展描述從所述遠程設備接收的、已經受損的DIMS場景及受損的DIMS場景更新兩者。
21. 如權利要求16所述的方法，其中所述至少一個服務質量度量擴展描述從所述遠程設備接收的、已經受損的DIMS場景及受損的DIMS場景更新的持續(xù)時間。
22. —種計算機程序產品，包含在計算機可讀介質中，用于為富媒體服務中的數(shù)據(jù)傳輸提供質量反饋度量，所述計算機產品包括用于從遠程設備接收富媒體內容的計算機代碼；以及用于響應于接收到所述富媒體內容，將服務質量信息傳輸給所述遠程設備的計算機代碼，所述服務質量信息包括至少一個服務質量度量擴展，所述擴展描述了所述所接收富媒體內容的質量特征。
23. —種電子設備，包括處理器；以及存儲器，其可通信地連接到所述處理器，并且包括用于從遠程設備接收富媒體內容的計算機代碼；以及用于響應于接收到所述富媒體內容，將服務質量信息傳輸給所述遠程設備的計算機代碼，所述服務質量信息包括至少一個服務質量度量擴展，所述擴展描述了所述所接收富媒體內容的質量特征。
24. 如權利要求23所述的電子設備，其中所述至少一個服務質量度量擴展包括所述包交換流式服務詞匯表中的至少一個擴展
25. 如權利要求24所述的電子設備，其中包交換流式服務詞匯表中的所述至少一個擴展包括描述提供的反饋的所述能力和模式的 "FeedbackMethod"成分。
26. 如權利要求23所述的電子設備，其中所述至少一個服務質量度量擴展包括包交換流式服務體驗質量度量的至少一個擴展。
27. 如權利要求26所述的電子設備，其中包交換流式服務體驗質量度量的所述至少一個擴展包括用于報告在所接收富媒體內容的具體周期中針對每個優(yōu)先級報告RTP包丟失的數(shù)量的語法。
28. 如權利要求26所述的電子設備，其中包交換流式服務體驗質量度量的所述至少一個擴展包括用于報告在最近的活躍元素列表中未正確接收和解碼的元素列表的語法。
29. 如權利要求26所述的電子設備，其中包交換流式服務體驗質量度量的所述至少一個擴展包括用于報告正確接收的、解碼的并且在所接收富媒體內容的當前組中活躍的那些元素的語法。
30. 如權利要求26所述的電子設備，其中包交換流式服務體驗質量度量的所述至少一個擴展包括用于報告由受損場景更新的計數(shù) 測量的Coruption—Duration的i吾法。
31. 如權利要求26所述的電子設備，其中包交換流式服務體驗質量度量的所述至少一個擴展包括用于推導所接收富媒體內容的場景中的組之間邊界的語法。
32. 如權利要求23所述的電子設備，其中所述至少一個服務質量度量擴展包括用于基于RTCP反饋的所述經過擴展的實時傳輸協(xié) 議簡檔中的至少一個擴展。
33. 如權利要求32所述的電子設備，其中用于基于RTCP反饋的所述經過擴展的實時傳輸協(xié)議簡檔中的所述至少一個擴展包括在所接收富媒體內容的一個特定周期期間針對每個優(yōu)先級的包丟失的指示。
34. 如權利要求32所述的電子設備，其中用于基于RTCP反饋的所述經過擴展的實時傳輸協(xié)議簡檔中的所述至少一個擴展包括在最近的活躍元素列表中有多少元素未被正確接收和解碼的指示。
35. 如權利要求32所述的電子設備，其中用于基于RTCP反饋的所述經過擴展的實時傳輸協(xié)議簡檔中的所述至少一個擴展包括未正確接收、解碼并在所接收數(shù)據(jù)的當前組中活躍的指示元素。
36. 如權利要求32所述的電子設備，其中用于基于RTCP反饋的所述經過擴展的實時傳輸協(xié)議簡檔中的所述至少一個擴展包括在所接收數(shù)據(jù)的一個組中的受損持續(xù)時間的指示。
37. 如權利要求32所述的電子設備，其中用于基于RTCP反饋的所述經過擴展的實時傳輸協(xié)議簡檔中的所述至少一個擴展包括歸因于所接收場景數(shù)據(jù)的包的丟失而受損的組的指示。
38. 如權利要求23所述的電子設備，其中所述富媒體內容包括動態(tài)的和交互式的媒體場景(DIMS)專用內容。
39. 如權利要求38所述的電子設備，其中所述至少一個服務質量度量擴展描述在特定周期期間針對所述所接收富媒體內容每個優(yōu) 先級的大量實時傳輸協(xié)議(RTP)包的丟失。
40. 如權利要求38所述的電子設備，其中所述至少一個服務質量度量擴展描述從所述遠程設備接收的、
41. 如權利要求38所述的電子設備量度量擴展描述從所述遠程設備接收的、新。
42. 如權利要求38所述的電子設備量度量擴展描述從所述遠程設備接收的、受損的DIMS場景更新兩者。
43. 如權利要求38所述的電子設備，量度量擴展描述從所述遠程設備接收的、受損的DIMS場景更新的持續(xù)時間。已經受損的DIMS場景。其中所述至少一個服務質已經受損的DIMS場景更其中所述至少一個服務質已經受損的DIMS場景及其中所述至少一個服務質已經受損的DIMS場景及
全文摘要
一種用于為富媒體服務中的數(shù)據(jù)傳輸提供質量反饋度量的改進的系統(tǒng)和方法。向關于對客戶端的富媒體內容傳輸?shù)馁|量測量提供擴展。這種測量被定義為PSS基詞匯表、PSS體驗質量和RTP/AVPF中的新擴展。在富媒體客戶端利用了這種測量的情況下，服務器可以評估傳輸?shù)馁|量并考慮差錯恢復機制，諸如包重傳，以向客戶端提供缺失的信息。
文檔編號H04L12/56GK101356791SQ200680050476
公開日2009年1月28日申請日期2006年11月23日優(yōu)先權日2005年11月23日
發(fā)明者M·漢尼克塞拉, V·塞特盧爾, 鐘代笛申請人:諾基亞公司

完整全部詳細技術資料下載