專利名稱：一種通信方法和通信系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及通信系統(tǒng)，更具體地說，涉及一種應(yīng)用于服務(wù)器和客戶端可選視頻幀 路徑的方法和系統(tǒng)。
背景技術(shù)：
對于眾多用戶而言，多媒體通信技術(shù)已經(jīng)成為其每日生活的一個部分。多媒體技 術(shù)可應(yīng)用于許多流行的便攜或者固定設(shè)備中，例如，移動電話、數(shù)字手持音頻和/或視頻播 放設(shè)備、筆記本計算機或者個人計算機、電視機、投影設(shè)備、視頻和靜止攝像顯示器、電子游 戲機、機頂盒、醫(yī)用和科學(xué)設(shè)備，家庭或者商業(yè)娛樂中心。憑借通信技術(shù)的低成本，以及用 戶日益增長的對更高端媒體傳送系統(tǒng)的渴求，多媒體通信和播放設(shè)備在市場上變得非常流 行。比較本發(fā)明后續(xù)將要結(jié)合附圖介紹的系統(tǒng)，現(xiàn)有技術(shù)的其它局限性和弊端對于本 領(lǐng)域的普通技術(shù)人員來說是顯而易見的。

發(fā)明內(nèi)容
本發(fā)明提供了一種應(yīng)用于服務(wù)器和客戶端可選視頻幀路徑的方法和系統(tǒng)，結(jié)合至 少一幅附圖做了清楚的描述，并在權(quán)利要求中進行了完整的定義。根據(jù)本發(fā)明的一個方面，提供了一種通信方法，包括由客戶端設(shè)備從媒體源接收視頻幀序列，其中所述視頻幀序列中的依賴于(cbpend on) 一個或者多個其他視頻幀的存在依賴性 的視頻幀通過第一通信路徑接收；以及所述視頻幀序列中的獨立于(incbpendent of) 一個或者多個其他視頻幀的獨立 的視頻幀通過第二通信路徑接收；以及所述客戶端設(shè)備處理所述收到的視頻幀序列和從所述媒體源接收到的對應(yīng)的音 頻內(nèi)容。優(yōu)選地，所述方法進一步包括，在所述客戶端系統(tǒng)中，相比所述存在依賴性的視頻 幀，對所述獨立的視頻幀施加更為健壯的處理。優(yōu)選地，所述方法進一步包括，相比所述存在依賴性的視頻幀，以更高的安全級別 接收所述獨立的視頻幀。優(yōu)選地，所述方法進一步包括，在所述客戶端系統(tǒng)中，將所述存在依賴性的視頻幀 和所述獨立的視頻幀分別存儲在單獨的隊列中。優(yōu)選地，所述方法進一步包括，在所述客戶端系統(tǒng)中，將所述存在依賴性的視頻幀 和所述獨立的視頻幀一同存儲在單個隊列中。優(yōu)選地，所述方法進一步包括，基于收到的獨立的視頻幀，生成重復(fù)的和/或插入 的視頻幀，以補償所丟失的多個所述存在依賴性的視頻幀。優(yōu)選地，所述方法進一步包括，使用所述生成的重復(fù)視頻幀和/或插入視頻幀來
3同步所述對應(yīng)的音頻內(nèi)容。優(yōu)選地，所述方法進一步包括，依照顯示順序組合(assembing)所述重復(fù)視頻幀、 所述插入視頻幀和/或所述收到的視頻幀序列。優(yōu)選地，所述方法進一步包括，解碼所述重復(fù)視頻幀、所述插入視頻幀和/或所述 收到的視頻幀序列。優(yōu)選地，所述方法進一步包括，對所述對應(yīng)的音頻內(nèi)容進行音頻偏移 (toneshifting)。優(yōu)選地，在對所述視頻幀序列中的視頻幀進行編碼時，所述視頻源對所述視頻幀 序列中存在依賴性的視頻幀的數(shù)量進行限制。優(yōu)選地，相比所述第二通信路徑，所述第一通信路徑具有更高的數(shù)據(jù)率。根據(jù)本發(fā)明的一個方面，提供了一種通信系統(tǒng)，包括客戶端設(shè)備中的一個或多個電路，所述一個或多個電路用于從媒體源接收視頻幀 序列，其中所述視頻幀序列中的依賴于(cbpend on) 一個或者多個其他視頻幀的存在依賴性 的視頻幀通過第一通信路徑接收；以及所述視頻幀序列中的獨立于(incbpendent of) 一個或者多個其他視頻幀的獨立 視頻幀通過第二通信路徑接收；以及所述一個或多個電路用于處理所述收到的視頻幀序列和從所述媒體源接收到的 對應(yīng)的音頻內(nèi)容。優(yōu)選地，所述一個或多個電路用于，在所述客戶端系統(tǒng)中，相比所述存在依賴性的 視頻幀，對所述獨立的視頻幀施加更為健壯的處理。優(yōu)選地，所述一個或多個電路用于，相比所述存在依賴性的視頻幀，以更高的安全 級別接收所述獨立的視頻幀。優(yōu)選地，所述一個或多個電路用于，在所述客戶端系統(tǒng)中，將所述存在依賴性的視 頻幀和所述獨立的視頻幀分別存儲在單獨(separate)的隊列中。優(yōu)選地，所述一個或多個電路用于，在所述客戶端系統(tǒng)中，將所述存在依賴性的視 頻幀和所述獨立的視頻幀一同存儲在單個(single)隊列中。優(yōu)選地，所述一個或多個電路用于，基于收到的獨立的視頻幀，生成重復(fù)的和/或 插入的視頻幀，以補償所丟失的多個所述存在依賴性的視頻幀。優(yōu)選地，所述一個或多個電路用于，使用所述生成的重復(fù)視頻幀和/或插入視頻 幀來同步所述對應(yīng)的音頻內(nèi)容。優(yōu)選地，所述一個或多個電路用于，依照顯示順序組合(assembing)所述重復(fù)視 頻幀、所述插入視頻幀和/或所述收到的視頻幀序列。優(yōu)選地，所述一個或多個電路用于，解碼所述重復(fù)視頻幀、所述插入視頻幀和/或 所述收到的視頻幀序列。優(yōu)選地，所述一個或多個電路用于，對所述對應(yīng)的音頻內(nèi)容進行音頻偏移(tone shifting)。優(yōu)選地，在對所述視頻幀序列中的視頻幀進行編碼時，所述視頻源對所述視頻幀 序列中存在依賴性的視頻幀的數(shù)量進行限制。
優(yōu)選地，相比所述第二通信路徑，所述第一通信路徑具有更高的數(shù)據(jù)率。本發(fā)明的各種優(yōu)點、各個方面和創(chuàng)新特征，以及其中所示例的實施例的細節(jié)，將在 以下的說明書和附圖中進行詳細介紹。


圖1A是依據(jù)本發(fā)明一較佳實施例的用于對多媒體數(shù)據(jù)進行選擇性傳送的示范性 服務(wù)器和客戶端系統(tǒng)的示意圖；圖1B是依據(jù)本發(fā)明一較佳實施例的包括I幀、P幀和B幀的視頻幀序列中的示范 性參考視頻幀的示意圖；圖2是依據(jù)本發(fā)明一較佳實施例的用于選擇性地處理和傳送多媒體數(shù)據(jù)(通過多 個路徑)的示范性媒體源服務(wù)器的示意圖；圖3是依據(jù)本發(fā)明一較佳實施例的用于實現(xiàn)對多媒體數(shù)據(jù)的選擇性傳送的示范 性步驟的流程圖。
具體實施例方式本發(fā)明的特定實施例涉及一種應(yīng)用于將視頻幀傳送至媒體播放器的可選視頻幀 路徑的方法和系統(tǒng)。在本發(fā)明的多個實施例中，視頻幀序列和對應(yīng)的音頻是從媒體源接收 到的，并且由客戶端系統(tǒng)進行處理。在視頻幀序列中，視頻幀的一部分包括一些數(shù)據(jù)，這些 數(shù)據(jù)用于以獨立于其他視頻幀中的數(shù)據(jù)的方式，在客戶端系統(tǒng)中重建視頻幀。視頻幀中的 獨立部分通過第一通信路徑以較低的數(shù)據(jù)率來接收。視頻幀序列中的另一部分視頻幀依賴 于將要在客戶端系統(tǒng)中重建的一個或多個其他幀中的數(shù)據(jù)。視頻幀中的存在依賴性的部分 通過第二通信路徑以較高的數(shù)據(jù)率接收。在這點上，媒體源服務(wù)器用于在對視頻幀序列中 的視頻幀進行編碼時，對每個幀的依賴性進行限制。相比于包含存在依賴性的視頻幀數(shù)據(jù)的那一部分幀，包含獨立視頻幀數(shù)據(jù)的這一 部分視頻幀，在客戶端系統(tǒng)中以較高的安全級別來接收，并被施加更為健壯的處理。在本發(fā) 明的多個實施例中，客戶端系統(tǒng)將獨立的視頻幀和存在依賴性的視頻幀數(shù)據(jù)分別存儲在不 同的路徑隊列中。在本發(fā)明的其他實施例中，客戶端系統(tǒng)將存在依賴性的視頻幀數(shù)據(jù)和獨 立的視頻幀數(shù)據(jù)存儲在單個路徑隊列中。獨立的視頻幀數(shù)據(jù)用來補償丟失的存在依賴性的 視頻幀，這是通過生成重復(fù)幀和/或插入幀來實現(xiàn)的。收到的音頻內(nèi)容將與對應(yīng)的收到的 視頻幀、重復(fù)視頻幀和/或插入視頻幀進行同步。此外，收到的、重復(fù)的和/或插入的視頻 幀將依照顯示順序進行組合(assembled)及解碼。在本發(fā)明的多個實施例中，音頻內(nèi)容將 進行音頻偏移。通過這種方式，所選擇的視頻幀便可依據(jù)該視頻幀在提升視頻幀重建和/ 或音頻幀同步過程中的能力來在客戶端系統(tǒng)中進行處理。圖1A是依據(jù)本發(fā)明一較佳實施例的用于對多媒體數(shù)據(jù)進行選擇性傳送的示范性 服務(wù)器和客戶端系統(tǒng)的示意圖。如圖1A所示，其中示出了多媒體通信系統(tǒng)103、媒體源服務(wù) 器107、編碼媒體121、偏置轉(zhuǎn)碼器(biased transcoder) 123、未編碼媒體125、偏置編碼器 (biased encoder) 127、源編碼媒體129、帶時間戳非參考幀數(shù)據(jù)129a、帶時間戳參考幀數(shù) 據(jù)129b、帶時間戳音頻數(shù)據(jù)120c、協(xié)議棧路徑137、支持更健壯的分組傳送的棧路徑137a、 支持較低健壯性的分組傳送的棧路徑137b、物理接口(PHY) 143、有線和/或無線通信網(wǎng)絡(luò)160、客戶端系統(tǒng)109、PHY 145、協(xié)議棧路徑147、更為健壯的路徑147a、較低健壯性的路徑 147b、雙或集成的路徑隊列149、隊列管理151、拼接(stitching)和丟幀處理153、視頻圖像 恢復(fù)(restoration)和音頻同步155、解碼器157和未編碼媒體159。媒體源服務(wù)器107可包括適當(dāng)?shù)倪壿?、電路?或代碼，用于存儲、取回和/或捕 捉多媒體數(shù)據(jù)，并且選擇性地將多媒體數(shù)據(jù)傳送到客戶端系統(tǒng)109。在這點上，多媒體數(shù)據(jù) 可以是音頻和/或視頻數(shù)據(jù)。媒體源服務(wù)器107用于分配優(yōu)先級給多媒體分組數(shù)據(jù)，并可 基于分配的優(yōu)先級通過多個分組傳送方法來傳送多媒體分組數(shù)據(jù)。媒體源服務(wù)器107用于 通過一個或多個無線和/或有線通信網(wǎng)絡(luò)與客戶端系統(tǒng)109通信。源服務(wù)器107可以是可 處理多媒體數(shù)據(jù)的任何適當(dāng)?shù)挠嬎愫?或通信設(shè)備，例如視頻服務(wù)器、電話、提供直播視頻 信道的網(wǎng)站、視頻點播多播或者單播，或者可播放DVD或者藍光碟片并將其通過互聯(lián)網(wǎng)發(fā) 往客戶端設(shè)備的個人計算機(PC)。編碼媒體121可包括視頻和/或音頻數(shù)據(jù)，這些數(shù)據(jù)依照標(biāo)準(zhǔn)壓縮方法(例如 MPEG-l、MPEG-2、MPEG-4或H. 264)壓縮至指定格式和/或進行加密。編碼媒體可從另一設(shè) 備或者存儲介質(zhì)(例如DVD、硬盤或者藍光碟片)接收，或者由視頻源服務(wù)器107捕捉和編 碼。編碼媒體121可存儲在視頻源服務(wù)器107上。偏置轉(zhuǎn)碼器123可包括適當(dāng)?shù)倪壿?、電路?或代碼，用于對編碼媒體121進行解 碼，在解碼視頻幀上施加偏置和/或?qū)σ曨l幀進行編碼。在這點上，對于視頻幀序列中的每 一目標(biāo)幀，偏置轉(zhuǎn)碼器123用于識別與幀估計信息有關(guān)的幀數(shù)量。在這點上，幀估計可同時 使用參考幀中的視頻圖像像素數(shù)據(jù)，和有關(guān)參考幀中的一些元素是如何變化從而構(gòu)建另一 相似幀的信息。示范性的幀估計方法包括幀重復(fù)(frame r印etition)、運動矢量估計、運動 矢量插值和/或各種圖像轉(zhuǎn)換例如色調(diào)、濃度和亮度變化。在本發(fā)明的多個實施例中，對視頻幀的偏置是通過降低幀的依賴性來實現(xiàn)的，例 如從0到1。在這點上，視頻幀序列中的一部分幀可能無需參考任何其他幀，但卻可作為其 他幀的參考。此外，偏置轉(zhuǎn)碼器123依據(jù)其所參考的其他幀的數(shù)量(number)設(shè)置視頻幀序 列中的幀的優(yōu)先級。在對幀進行分類和設(shè)置優(yōu)先級之后，偏置轉(zhuǎn)碼器基于應(yīng)用于原始編碼 媒體121的方法來對幀進行編碼，或者也可以依照其他方法來對幀進行編碼。同理，在對幀 進行分類、設(shè)置優(yōu)先級和壓縮之后，偏置幀數(shù)據(jù)的壓縮比將比原始編碼媒體121的壓縮比 差，這是因為幀參考的使用程度被降低了。未編碼媒體125包括未經(jīng)壓縮的視頻和/或音頻數(shù)據(jù)。未編碼媒體125可由視頻 源服務(wù)器107捕捉并編碼。例如，未編碼媒體125可由源服務(wù)器107上的視頻攝像頭捕捉， 或者從另一設(shè)備或者存儲介質(zhì)中讀取。未編碼媒體125可存儲在視頻源服務(wù)器107上。偏置編碼器127可包括適當(dāng)?shù)倪壿?、電路?或代碼，用于對未編碼媒體125進行 編碼，以及在視頻幀上施加偏置。在這點上，對于視頻幀序列中的每一目標(biāo)幀，偏置編碼器 127用于識別目標(biāo)幀所依賴的幀的數(shù)量，以便進行幀估計。例如，對目標(biāo)幀的估計依賴于作 為幀重復(fù)偏置的參考幀，用于預(yù)測運動或者其他圖像轉(zhuǎn)換。在本發(fā)明的多個實施例中，對幀 進行的偏置是通過將幀的依賴性限制到例如0或1來實現(xiàn)的。視頻幀序列中的一部分幀可 無需參考任何其他幀。其他的多個幀可只參考一個其他幀，例如。此外，偏置編碼器127依 據(jù)每一幀所參考的其他幀的數(shù)量來設(shè)置視頻幀序列中每一幀的優(yōu)先級。在對幀進行分類和 設(shè)置優(yōu)先級之后，偏置編碼器基于指定的格式對幀進行編碼。通常，偏置編碼幀數(shù)據(jù)的壓縮比要低于未偏置編碼數(shù)據(jù)，這是因為每一幀的依賴性降低了。源編碼媒體129是一種示范性幀數(shù)據(jù)，其由偏置轉(zhuǎn)碼器123和/或偏置編碼器127 輸出。源編碼媒體129可包括帶時間戳音頻數(shù)據(jù)129c、帶時間戳非參考幀數(shù)據(jù)129a和/或 帶時間戳參考幀數(shù)據(jù)129b。在這點上，非參考幀數(shù)據(jù)129a包括一些視頻幀，這些視頻幀在 估計非參考幀圖像時，不依賴于其他幀。參考幀數(shù)據(jù)129b包括在估計視頻圖像時參考其他 幀的幀數(shù)據(jù)。音頻數(shù)據(jù)129c和視頻幀129a和129b的時間戳可用于在客戶端系統(tǒng)109上 對音頻和圖像進行分類和同步。在本發(fā)明的各種實施例中，帶時間戳非參考幀129a和帶時 間戳參考幀129b將依據(jù)每幀所參考的幀的數(shù)量進行分類。在這點上，相比在估計信息方面 依賴于其他幀的幀而言，參考較少其他幀的幀，例如，非參考幀129a將通過不同路徑傳送 到客戶端系統(tǒng)109。協(xié)議棧路徑137可包括適當(dāng)?shù)倪壿?、電路?或代碼，用于以各種級別安全性和/ 或健壯性來執(zhí)行各種通信協(xié)議。在這點上，協(xié)議棧路徑137使用一套協(xié)議來依據(jù)0SI模型 (例如傳輸層、網(wǎng)絡(luò)層、數(shù)據(jù)鏈路層和物理層)對源編碼媒體129進行格式化。在本發(fā)明的 多個實施例中，支持更加健壯的分組傳送的棧路徑137a可用于對來自源編碼媒體129的高 優(yōu)先級幀數(shù)據(jù)進行格式化，并將其發(fā)往指定范圍的端口(專用于進行可靠和/或安全傳輸， 例如，通過傳輸控制協(xié)議(TCP))。在這點上，TCP可保證至少對非參考幀進行適當(dāng)?shù)捻樞騻?送。盡管TCP傳送不如一些其他傳輸層協(xié)議速度快，但只有一部分幀是通過這種方法傳送 的。低優(yōu)先級幀是通過支持較低健壯性分組傳送的棧路徑137b進行傳送的。在這點上，支 持較低健壯性的分組傳送的棧路徑137b可通過指定范圍的端口傳送包含較低優(yōu)先級的視 頻幀的分組，以便進行更快但可靠性較低的傳送，例如，用戶數(shù)據(jù)報協(xié)議(UDP)。物理接口(PHY) 143可包括適當(dāng)?shù)倪壿?、電路?或代碼，用于通過有線和/或無 線通信網(wǎng)絡(luò)160從協(xié)議棧路徑137向客戶端系統(tǒng)109發(fā)送包含源編碼媒體129的分組。此 外，PHY 145可包括適當(dāng)?shù)倪壿?、電路?或代碼，用于通過有線和/或無線網(wǎng)絡(luò)160接收 來自PHY 143的源編碼媒體。無線和/或有線通信網(wǎng)絡(luò)160包括一個或多個網(wǎng)絡(luò)，這些網(wǎng) 絡(luò)適于傳送多媒體數(shù)據(jù)。例如，有線和/或無線網(wǎng)絡(luò)可包括WAN、LAN、WLAN、WiFi、WiMax、藍 牙和ZigBee網(wǎng)絡(luò)中的一個或多個。協(xié)議棧路徑147可包括適當(dāng)?shù)倪壿?、電路?或代碼，用于通過更為健壯的路徑 147a和/或較低健壯性的路徑147b從單個PHY 145接收包含源編碼媒體129的分組。協(xié) 議棧路徑移除低層協(xié)議層的封裝。此外，協(xié)議棧路徑147可將源編碼媒體發(fā)往雙或集成路 徑隊列149。隊列管理151可包括適當(dāng)?shù)倪壿?、電路?或代碼，用于從雙或集成路徑隊列149 接收源編碼媒體129幀，并恢復(fù)視頻幀中的圖像，以及將音頻和視頻幀同步。視頻恢復(fù)和音 頻同步模塊155可用于以多種方式為丟失的視頻幀提供補償。在本發(fā)明的一個示范性實施 例中，視頻恢復(fù)和音頻同步模塊155可用于在前一或后一幀丟失的情況下，重復(fù)一個或多 個幀。通過這種方式，音頻將保持與視頻圖像同步。當(dāng)丟失的一個或多個幀的數(shù)量少于指定 閾值時，丟失的幀可通過插入幀來替代，音頻可保持與插入幀同步。在其他情況下，當(dāng)丟失 的一個或多個幀的數(shù)量大于指定的閾值，則幀將被丟棄，音頻播放速率將增加以跳過一定 數(shù)量的幀從而趕上視頻幀，以實現(xiàn)音頻與視頻圖像的同步。在這點上，增加的音頻速率將導(dǎo) 致暫時的音頻偏移，直到視頻和音頻實現(xiàn)同步。此外，拼接和丟幀處理153用于接收恢復(fù)和
7同步的幀，并基于時間戳和/或序列號對其進行重新組合，生成適當(dāng)?shù)男蛄?。隊列管?51 用于轉(zhuǎn)發(fā)包含源編碼媒體129的組合的幀給解碼器157。解碼器157可包括適當(dāng)?shù)倪壿?、電路?或代碼，用于解碼偏置視頻幀。在多個實 施例中，解碼幀可無需偏置即進行編碼，以便存儲在客戶端系統(tǒng)109上。在這點上，通過移 除偏置，可提高壓縮比，從而使得存儲更為緊湊。在本發(fā)明的其他實施例中，解碼器157可 輸出未編碼媒體159，以便由客戶端系統(tǒng)109使用。在操作過程中，視頻幀序列和對應(yīng)的音頻是從媒體源服務(wù)器107收到的，并由客 戶端系統(tǒng)109進行處理。在視頻幀序列中，一部分視頻幀包括一些數(shù)據(jù)，這些數(shù)據(jù)可用來在 客戶端系統(tǒng)109中獨立于其他視頻幀中的數(shù)據(jù)來重建視頻幀。視頻幀的獨立部分是通過第 一通信路徑以較低數(shù)據(jù)率接收的。視頻幀序列中的另一部分視頻幀需要依賴于一個或多個 其他視頻幀才能在客戶端系統(tǒng)109中重建。存在依賴性的這一部分視頻幀通過第二通信路 徑以較高數(shù)據(jù)率接收。在這點上，媒體源服務(wù)器107在將視頻幀編碼到視頻幀序列中時，會 限制每一幀的依賴程度。相比包含存在依賴性的幀數(shù)據(jù)的那一部分視頻幀，包含獨立幀數(shù)據(jù)的這一部分視 頻幀是由客戶端系統(tǒng)109以較高的安全級別接收到的，并且施加更為健壯的處理。在本發(fā) 明的多個實施例中，客戶端系統(tǒng)109將獨立的幀數(shù)據(jù)和存在依賴性的幀數(shù)據(jù)存儲在各自的 路徑隊列149中。在本發(fā)明的其他實施例中，客戶端系統(tǒng)109將獨立的幀數(shù)據(jù)和存在依賴 性的幀數(shù)據(jù)存儲在同一路徑隊列149中。獨立的幀數(shù)據(jù)用來補償所丟失的存在依賴性的視 頻幀，這是通過生成重復(fù)的視頻幀和/或插入視頻幀來實現(xiàn)的。收到的音頻內(nèi)容將與對應(yīng) 的收到的視頻幀、重復(fù)視頻幀和/或插入的視頻幀同步。此外，收到的、重復(fù)和/或插入的 視頻幀將依照顯示順序進行組合和解碼。在多個實施例中，音頻內(nèi)容將需要進行音頻偏移。圖1B是依據(jù)本發(fā)明一較佳實施例的包括I幀、P幀和B幀的視頻幀序列中的示范 性參考視頻幀的示意圖。如圖1B所示，其中示出了示范性視頻幀序列102，其中包括I幀、 B幀和P幀。視頻幀序列102代表采用類似MPEG1或者MPEG2方法編碼的示范性視頻幀序 列。盡管如此，依照本發(fā)明的實施例，任何其他適當(dāng)?shù)膲嚎s標(biāo)準(zhǔn)也可適用，例如，MPEGv4部分 10(AVC)或者H. 264。視頻幀序列102中示出的箭頭的原點指示圖像數(shù)據(jù)的參考幀，其用來 與運動矢量數(shù)據(jù)或者其他圖像轉(zhuǎn)換信息一起使用，以估計箭頭所指向的幀。在這點上，箭頭 起始于被參考中貞(reference frame)，并指向參考中貞(referencing frame)。 I中貞、B中貞禾口 P 幀是以顯示順序展示的，這些幀是以被參考幀居前、參考幀隨后、再次參考幀再隨后的順序 進行編碼的。在這點上，客戶端系統(tǒng)在解碼參考幀(其依賴于一個或多個被參考幀)之前 接收用于重建多個圖像的數(shù)據(jù)。I幀為幀內(nèi)編碼視頻幀。例如，I幀中的圖像數(shù)據(jù)是從編碼像素數(shù)據(jù)中生成的，其 中這些像素橫跨(span)圖像或者一部分圖像的尺寸。在解碼像素數(shù)據(jù)時，其可用來重建I 幀，也可以用作參考數(shù)據(jù)來構(gòu)建P幀和/或B幀。P幀為預(yù)測視頻幀，其可通過使用來自另 一圖像或幀的參考解碼像素數(shù)據(jù)以及用來描述圖像數(shù)據(jù)應(yīng)如何轉(zhuǎn)換為P幀的信息來生成。 例如，可對參考幀應(yīng)用運動矢量、色調(diào)或亮度偏移，以生成P幀。在視頻幀序列102中，在顯 示順序上，P幀的顯示將在其參考的I幀之后，一些P幀參考之前的P幀。B幀為雙向預(yù)測 幀，其參考兩個先前解碼的視頻幀。此外，B幀也可作為再次參考幀，其中B幀可參考一參 考過另一幀的幀。例如，B幀可參考P幀，該P幀參考I幀。在未偏置視頻幀序列102中，參考在視頻幀序列中的多個幀之間創(chuàng)建依賴性。當(dāng)一個或多個參考幀所依賴的I幀或者另 一幀的信息在傳輸(媒體源服務(wù)器107和客戶端系統(tǒng)109之間)過程中發(fā)生丟失或者損壞 時，多個幀將發(fā)生丟失，并且無法有效的重建。這將導(dǎo)致同步性的丟失和/或可察覺的視頻 幀中斷。示范性的視頻幀序列104代表采用偏置的編碼幀方法的結(jié)果，其中，用來構(gòu)建圖 像的幀的數(shù)量降至一個或兩個。當(dāng)I幀(例如視頻幀序列104中依照顯示順序的最后一個 I幀)中的圖像數(shù)據(jù)與在前的B幀非常不同時，可使用重建B幀的第二選項，如虛線參考箭 頭所示。此外，當(dāng)參考的P幀在傳輸過程中發(fā)生丟失時，也可使用第二選項。在本發(fā)明的多 個實施例中，I幀之間的P幀和B幀可能很少，以此來降低到一個級別的依賴性的參考。因 此，與使用由視頻幀序列102所標(biāo)識的編碼方法所壓縮的數(shù)據(jù)相比，視頻幀序列104中使用 采用了偏置的編碼方法所壓縮的數(shù)據(jù)可包括數(shù)量更多的數(shù)據(jù)，其壓縮比也更低。然而，處理 視頻幀序列104時所使用的編碼方法在客戶端系統(tǒng)109中重建視頻幀時提供了更大的可靠 性，并且提供了更高的同步性能。在操作過程中，媒體源服務(wù)器107捕獲多媒體數(shù)據(jù)，例如，未編碼媒體數(shù)據(jù)125，或 者讀取存儲的多媒體數(shù)據(jù)，例如編碼媒體121。在使用未編碼媒體125時，源服務(wù)器107支 持在媒體上添加偏置，以限制每一視頻幀的依賴性。在使用編碼媒體121時，媒體將由轉(zhuǎn) 碼器123進行解碼，然后采用偏置進行編碼，以限制幀的依賴性。在這點上，轉(zhuǎn)碼器123所 輸出的編碼媒體可能遵循也可能不遵循編碼媒體121所采用的相同標(biāo)準(zhǔn)。源編碼媒體129 將由轉(zhuǎn)碼器123和/或編碼器127輸出。源編碼媒體129標(biāo)記了時間戳，以生成帶時間戳 非參考幀數(shù)據(jù)129a、帶時間戳參考幀數(shù)據(jù)129b和帶時間戳音頻數(shù)據(jù)129c。帶時間戳的數(shù) 據(jù)將發(fā)往協(xié)議棧路徑137，在這里，分類后的和標(biāo)記了時間戳的視頻幀129a和129b將進行 打包，然后通過支持更健壯的分組傳送的棧路徑137a和/或支持更低健壯性的分組傳送的 棧路徑137b進行發(fā)送。打包后的源編碼媒體129將通過雙路徑或者通過一條集成的路徑 發(fā)往單個PHY 143。PHY 143將打包的帶時間戳源編碼媒體129通過物理介質(zhì)發(fā)往客戶端 系統(tǒng)109中的單個PHY 145。PHY 145發(fā)送打包的源編碼非參考幀129a給更加健壯的路徑 147a，將打包的源編碼參考幀129b發(fā)往更低健壯性路徑147b。協(xié)議棧路徑147用于傳送 源編碼媒體129給雙或者集成路徑隊列149。隊列管理151中的視頻圖像恢復(fù)和音頻同步 155，以及拼接和丟幀處理153對丟失或者損壞的視頻幀進行補償，例如，使用幀丟棄、幀重 復(fù)和/或丟幀插入和重組估計幀方法。將帶時間戳的源編碼幀和估計幀與帶時間戳的音頻 進行同步，并發(fā)往解碼器157。未編碼媒體159將由客戶端系統(tǒng)109使用。在本發(fā)明的多個 實施例中，未編碼媒體159可采用更高級壓縮比進行編碼，以便進行隨后的存儲。圖2是依據(jù)本發(fā)明一較佳實施例的用于選擇性地處理以及通過多個路徑來傳送 多媒體數(shù)據(jù)的示范性媒體源服務(wù)器的示意圖。如圖2所示，其中示出了媒體源服務(wù)器207、 媒體捕捉設(shè)備217、應(yīng)用層處理219、可選的編碼媒體121、可選的偏置轉(zhuǎn)碼器123、未編碼媒 體125、偏置編碼器127、帶時間戳非參考幀數(shù)據(jù)129a、帶時間戳參考幀數(shù)據(jù)129b、帶時間戳 音頻數(shù)據(jù)129c、傳輸層路徑231、傳輸路徑一 231a、傳輸路徑二 231b、互聯(lián)網(wǎng)協(xié)議(IP)路徑 237、健壯IP路徑一 237a、較低健壯性IP路徑二 237b、鏈路層路徑239、鏈路路徑一 239a、 鏈路路徑二 239b和PHY 143。媒體源服務(wù)器207類似于或者與圖1A中描述的媒體源服務(wù)器107完全相同。
9
媒體捕捉設(shè)備217可以是能夠捕捉多媒體數(shù)據(jù)的任何適當(dāng)?shù)脑O(shè)備，例如視頻攝像 機和麥克風(fēng)、蜂窩電話或安裝有攝像頭和麥克風(fēng)的筆記本計算機。在本發(fā)明的多個實施例 中，存儲設(shè)備用于存儲信息，包括由視頻源服務(wù)器107分發(fā)的多媒體數(shù)據(jù)。應(yīng)用層219可包括適當(dāng)?shù)倪壿?、電路?或代碼，用于使用偏置來編碼視頻幀，以 及基于每一幀所依賴的幀的數(shù)量來分析和對編碼視頻幀進行分類?？蛇x的編碼媒體121、 可選的偏置轉(zhuǎn)碼器123、未編碼媒體125、偏置編碼器127、帶時間戳非參考幀數(shù)據(jù)129a、帶 時間戳參考幀數(shù)據(jù)129b、帶時間戳音頻數(shù)據(jù)129c類似于圖1A中對應(yīng)編號的器件，或者與 其完全相同。在這點上，可選的編碼媒體121、可選的偏置轉(zhuǎn)碼器123可應(yīng)用在多個實施例 中，用來分發(fā)從存儲設(shè)備中取回的多媒體數(shù)據(jù)。傳輸層路徑231可包括適當(dāng)?shù)倪壿?、電路?或代碼，用于為編碼媒體數(shù)據(jù)(應(yīng)用 層219所輸出的)實現(xiàn)傳輸層服務(wù)。在這點上，傳輸層路徑231包括雙路徑，其可提供的可 靠性級別是可變的。例如，更具健壯性的傳輸路徑一 231a可依據(jù)TCP/IP協(xié)議來封裝帶時 間戳非參考幀數(shù)據(jù)129a。通過這種方式，對于健壯幀的重建和客戶端系統(tǒng)109上的音頻和 視頻數(shù)據(jù)的同步來說更為重要的幀數(shù)據(jù)將以最可靠的方式傳送。盡管TCP/IP傳送比其他 傳輸層方法要慢，但通過TCP/IP傳送的分組將得到保證，并且分組是按順序傳送的。此外， 健壯性較差但速度更快的傳送路徑二 231b可依據(jù)UDP協(xié)議來封裝帶時間戳參考數(shù)據(jù)129b。 通過這種方式，健壯性較差的傳輸路徑二 231b負(fù)責(zé)傳送對于健壯幀的重建和客戶端系統(tǒng) 109上的同步而言重要性較低的幀數(shù)據(jù)。例如，在重建視頻幀和在客戶端系統(tǒng)109上進行音 頻同步時，丟失的參考幀將得到補償。例如，客戶端系統(tǒng)109中的拼接和丟幀處理153和視 頻圖像恢復(fù)和音頻同步155模塊可較容易地恢復(fù)丟失或損壞的參考幀129b (與這些幀所參 考且丟失的幀相比)。IP路徑237可包括適當(dāng)?shù)倪壿?、電路?或代碼，用于實現(xiàn)不同安全級別的互聯(lián)網(wǎng) 協(xié)議。例如，TCP/IP傳輸路徑-1 231a所輸出的帶時間戳非參考幀數(shù)據(jù)129a可由健壯互聯(lián) 網(wǎng)路徑-1 237a進行高級安全性加密。在這點上，可使用IPsec來加密和/或驗證通過健 壯互聯(lián)網(wǎng)路徑-1 237a傳送的每一分組。通過這種方式，關(guān)鍵的視頻幀129a將受到保護， 防止被未授權(quán)實體截獲。盡管如此，由UDP處理的重要性較低的帶時間戳參考幀數(shù)據(jù)129b 可由較低健壯性IP路徑_2 237b進行處理。較低健壯性IP路徑_2 237b可使用IPv4或 者IPv6協(xié)議，這些協(xié)議不對幀數(shù)據(jù)進行加密。IPv4或者IPv6將足以完成129b的傳送，因 為在不使用非參考幀129a來恢復(fù)視頻幀時，參考幀129b是無用的。鏈路層路徑239可包括適當(dāng)?shù)倪壿?、電路?或代碼，用于基于向PHY 143傳送時 的優(yōu)先級來對幀分組進行分類，以及在有線和/或無線通信網(wǎng)絡(luò)160中執(zhí)行路由操作。在 這點上，鏈路路徑-1 239a處理非參考幀數(shù)據(jù)分組，這些分組由健壯IP路徑-1 237a輸出。 鏈路路徑-2 239b處理參考幀數(shù)據(jù)分組，這些分組由較低健壯性IP路徑-2 237b輸出。鏈 路層路徑239可基于分組所屬的視頻幀序列以及分組是否包含非參考或參考幀來設(shè)置隊 列中分組的傳送優(yōu)先級。例如，一視頻幀序列中的非參考幀首先發(fā)送。隨后，同一視頻幀序 列中的參考幀進行發(fā)送。在一個視頻幀序列中的所有幀發(fā)送完畢后，下一視頻幀序列開始 進行處理。在操作過程中，媒體由視頻源服務(wù)器207中的媒體捕捉設(shè)備217捕捉，并由編碼器 127采用偏置方式來進行編碼，以限制參考幀的依賴性。編碼視頻幀將依據(jù)目標(biāo)幀所依賴的
10幀的數(shù)量來進行分析和分類。視頻和音頻幀是標(biāo)記了時間戳的，相比所依賴的幀的數(shù)量較 多的幀而言，依賴性較低的視頻幀將分配到較高的優(yōu)先級。同理，還可為高優(yōu)先級幀分配可 確保分組傳送的高級外部服務(wù)質(zhì)量(QoS)。高優(yōu)先級幀例如來自幀數(shù)據(jù)129a的幀將發(fā)往 傳輸路徑-1 231a，用于通過TCP/IP傳輸服務(wù)傳送，隨后發(fā)往健壯IP路徑-1 237a進行加 密，然后發(fā)送到鏈路路徑-1 239a中的隊列中。此外，低優(yōu)先級幀，例如來自幀數(shù)據(jù)129b的 幀將發(fā)往傳輸路徑_2 231b進行UDP傳輸服務(wù)，隨后發(fā)往IP路徑-2237b，然后發(fā)往鏈路路 徑-2 239b中的隊列中。PHY 143在傳送來自第二視頻幀的所有分組之前，先傳送包含來自 第一視頻幀序列中的幀的所有分組。此外，PHY143在傳送視頻幀序列中的包含低優(yōu)先級幀 數(shù)據(jù)的分組之前，先傳送同一視頻幀序列中包含高優(yōu)先級幀數(shù)據(jù)的分組。圖3是依據(jù)本發(fā)明一較佳實施例的用于實現(xiàn)對多媒體數(shù)據(jù)的選擇性傳送的示范 性步驟的流程圖。步驟300為開始步驟。在步驟302，在媒體源服務(wù)器107中，取回或者捕 捉視頻幀和/或音頻。在步驟304，如果視頻幀未進行編碼，則執(zhí)行步驟306。在步驟306， 在應(yīng)用層219中，對于視頻幀序列，帶有偏置的幀將進行編碼，這是通過分析視頻幀以及基 于該視頻幀所參考的幀的數(shù)量來設(shè)置每一幀的優(yōu)先級的方式來進行的。最高的優(yōu)先級將分 配給獨立幀，該獨立幀不參考其他幀。每個幀可參考的幀的數(shù)量是有限的或者可以調(diào)整的。 在步驟308，在應(yīng)用層219中，非參考幀129a、參考幀129b和音頻幀129c將標(biāo)記時間戳。 在步驟310，幀將依據(jù)其優(yōu)先級來傳送到客戶端系統(tǒng)109，其中通過健壯和安全路徑137a發(fā) 送高優(yōu)先級幀，通過快速但健壯性較低的路徑發(fā)送低優(yōu)先級幀。在步驟312，在客戶端系統(tǒng) 109中，接收通過多個路徑發(fā)送的幀并將其組合為視頻幀序列。丟失幀可通過跳過幀、重復(fù) 幀或者插入丟失幀并調(diào)整對應(yīng)的音頻時間或音頻偏移的方式來進行補償。在步驟314中， 對視頻幀進行解碼。步驟316為示范性結(jié)束步驟。在步驟304，如果視頻幀進行了編碼，則 轉(zhuǎn)到步驟318，在步驟318，對視頻幀進行解碼。在本發(fā)明的一個實施例中，客戶端系統(tǒng)109從媒體源服務(wù)器107接收視頻幀序列 和對應(yīng)的音頻并對其進行處理。在視頻幀序列中，一部分視頻幀包含一些數(shù)據(jù)，這些數(shù)據(jù)可 用來在客戶端系統(tǒng)109中獨立于其他視頻幀中的數(shù)據(jù)來重建視頻幀。視頻幀的獨立部分通 過第一通信路徑以低數(shù)據(jù)率接收。來自視頻幀序列的另一部分視頻幀在重建過程中依賴于 一個或多個其他的視頻幀。存在依賴性的視頻幀通過第二通信路徑以較高的數(shù)據(jù)率接收。 在這點上，媒體源服務(wù)器107在對視頻幀序列中的視頻幀進行編碼時，限制每一幀的依賴 性。此外，媒體源服務(wù)器107為存在依賴性的視頻幀、獨立視頻幀和/或?qū)?yīng)的音頻數(shù)據(jù)標(biāo) 記時間戳。媒體源服務(wù)器107在更為健壯的協(xié)議棧中對獨立視頻幀應(yīng)用更為健壯的處理， 對存在依賴性的視頻幀執(zhí)行健壯性較低的處理。此外，媒體源服務(wù)器107對獨立視頻幀進 行加密。與傳送存在依賴性的視頻幀相比，媒體源服務(wù)器107采用更為可靠的方法傳送獨 立視頻幀。媒體源服務(wù)器107可通過更快和/或可靠性更低的方法來傳送存在依賴性的視 頻幀。與包含存在依賴性的幀數(shù)據(jù)的視頻幀相比，包含獨立幀數(shù)據(jù)的視頻幀將由客戶端 系統(tǒng)109采用更高的安全級別進行接收，并以更為健壯的方式進行處理。然而，包含存在依 賴性的幀數(shù)據(jù)的視頻幀將以更高的數(shù)據(jù)率接收。在本發(fā)明的多個實施例中，客戶端系統(tǒng)109 將獨立的幀數(shù)據(jù)和存在依賴性的幀數(shù)據(jù)存儲在不同的路徑隊列149中。在本發(fā)明的其他實 施例中，客戶端系統(tǒng)109將獨立的幀數(shù)據(jù)和存在依賴性的幀數(shù)據(jù)存儲在同一路徑隊列149中。獨立幀數(shù)據(jù)用來補償丟失的存在依賴性的視頻幀，這是通過生成重復(fù)的視頻幀和/或 插入視頻幀來實現(xiàn)的。將收到的音頻內(nèi)容與對應(yīng)的收到的視頻幀、重復(fù)視頻幀和/或插入 視頻幀同步。此外，收到的、重復(fù)的和/或插入的視頻幀將依照顯示順序進行組合和解碼。 在本發(fā)明的多個實施例中，音頻內(nèi)容可進行音頻偏移。本發(fā)明的另一實施例提供了一種機器和/或計算機可讀存儲器和/或介質(zhì)，其中 存儲有機器碼和/或計算機程序，其中包含可由機器和/或計算機執(zhí)行的至少一個代碼段， 用于控制機器和/或計算機執(zhí)行本文描述的一種應(yīng)用于服務(wù)器和客戶端可選視頻幀路徑 的方法和系統(tǒng)。因此，本發(fā)明可以通過硬件、軟件，或者軟、硬件結(jié)合來實現(xiàn)。本發(fā)明可以在至少一 個計算機系統(tǒng)中以集中方式實現(xiàn)，或者由分布在幾個互連的計算機系統(tǒng)中的不同部分以分 散方式實現(xiàn)。任何可以實現(xiàn)所述方法的計算機系統(tǒng)或其它設(shè)備都是可適用的。常用軟硬件 的結(jié)合可以是安裝有計算機程序的通用計算機系統(tǒng)，通過安裝和執(zhí)行所述程序控制計算機 系統(tǒng)，使其按所述方法運行。在計算機系統(tǒng)中，利用處理器和存儲單元來實現(xiàn)所述方法。本發(fā)明還可以通過計算機程序產(chǎn)品進行實施，所述程序包含能夠?qū)崿F(xiàn)本發(fā)明方法 的全部特征，當(dāng)其安裝到計算機系統(tǒng)中時，通過運行，可以實現(xiàn)本發(fā)明的方法。本申請文件 中的計算機程序所指的是可以采用任何程序語言、代碼或符號編寫的一組指令的任何表 達式，該指令組使系統(tǒng)具有信息處理能力，以直接實現(xiàn)特定功能，或在進行下述一個或兩個 步驟之后，a)轉(zhuǎn)換成其它語言、編碼或符號；b)以不同的格式再現(xiàn)，實現(xiàn)特定功能。本發(fā)明是通過幾個具體實施例進行說明的，本領(lǐng)域技術(shù)人員應(yīng)當(dāng)明白，在不脫離 本發(fā)明范圍的情況下，還可以對本發(fā)明進行各種變換及等同替代。另外，針對特定情形或具 體情況，可以對本發(fā)明做各種修改，而不脫離本發(fā)明的范圍。因此，本發(fā)明不局限于所公開 的具體實施例，而應(yīng)當(dāng)包括落入本發(fā)明權(quán)利要求范圍內(nèi)的全部實施方式。
權(quán)利要求
一種通信方法，其特征在于，包括由客戶端設(shè)備從媒體源接收視頻幀序列，其中所述視頻幀序列中的依賴于一個或者多個其他視頻幀的存在依賴性的視頻幀通過第一通信路徑接收；以及所述視頻幀序列中的獨立于一個或者多個其他視頻幀的獨立的視頻幀通過第二通信路徑接收；以及所述客戶端設(shè)備處理所述收到的視頻幀序列和從所述媒體源接收到的對應(yīng)的音頻內(nèi)容。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法進一步包括，在所述客戶端系統(tǒng) 中，相比所述存在依賴性的視頻幀，對所述獨立的視頻幀施加更為健壯的處理。
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法進一步包括，相比所述存在依賴 性的視頻幀，以更高的安全級別接收所述獨立的視頻幀。
4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法進一步包括，在所述客戶端系統(tǒng) 中，將所述存在依賴性的視頻幀和所述獨立的視頻幀分別存儲在單獨的隊列中。
5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法進一步包括，在所述客戶端系統(tǒng) 中，將所述存在依賴性的視頻幀和所述獨立的視頻幀一同存儲在單個隊列中。
6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法進一步包括，基于收到的獨立的 視頻幀，生成重復(fù)的和/或插入的視頻幀，以補償所丟失的多個所述存在依賴性的視頻幀。
7.一種通信系統(tǒng)，其特征在于，包括客戶端中的一個或多個電路，所述一個或多個電路用于從媒體源接收視頻幀序列，其中所述視頻幀序列中的依賴于一個或者多個其他視頻幀的存在依賴性的視頻幀通過第 一通信路徑接收；以及所述視頻幀序列中的獨立于一個或者多個其他視頻幀的獨立的視頻幀通過第二通信 路徑接收；以及所述一個或多個電路用于處理所述收到的視頻幀序列和從所述媒體源接收到的對應(yīng) 的音頻內(nèi)容。
8.根據(jù)權(quán)利要求7所述的系統(tǒng)，其特征在于，所述一個或多個電路用于，在所述客戶端 系統(tǒng)中，相比所述存在依賴性的視頻幀，對所述獨立的視頻幀施加更為健壯的處理。
9.根據(jù)權(quán)利要求7所述的系統(tǒng)，其特征在于，所述一個或多個電路用于，相比所述存在 依賴性的視頻幀，以更高的安全級別接收所述獨立的視頻幀。
10.根據(jù)權(quán)利要求7所述的系統(tǒng)，其特征在于，所述一個或多個電路用于，在所述客戶 端系統(tǒng)中，將所述存在依賴性的視頻幀和所述獨立的視頻幀分別存儲在單獨的隊列中。
全文摘要
本發(fā)明涉及一種通信方法及通信系統(tǒng)。視頻幀序列中的視頻幀和對應(yīng)的音頻由客戶端系統(tǒng)接收和處理。一部分視頻幀在重建時依賴于一個或多個參考幀，另一部分是獨立的。每個幀的參考幀的數(shù)量是有限的。存在依賴性的幀和獨立的幀將區(qū)別對待。相比存在依賴性的幀，獨立幀將以較低的數(shù)據(jù)率和以更高的安全級別接收，并以更為健壯的協(xié)議棧進行處理。存在依賴性的幀和獨立的幀可存儲在同一和/或不同的隊列中。當(dāng)重復(fù)和/或插入幀時，獨立的幀數(shù)據(jù)用來補償丟失的幀。收到的音頻內(nèi)容與對應(yīng)的收到的幀、重復(fù)的幀和/或插入的幀同步。收到的、重復(fù)的和/或插入的幀將依照顯示順序進行組合和解碼。音頻內(nèi)容會進行音頻偏移。
文檔編號H04N7/24GK101867801SQ20101011933
公開日2010年10月20日 申請日期2010年1月29日 優(yōu)先權(quán)日2009年2月3日
發(fā)明者吉漢·卡若古, 詹姆士·D·貝內(nèi)特 申請人:美國博通公司