專利名稱:用于區(qū)域/廣域網(wǎng)絡(luò)環(huán)境中連續(xù)媒體流的自適應(yīng)媒體傳輸管理的制作方法
技術(shù)領(lǐng)域：
本發(fā)明有關(guān)多媒體資料的傳輸，尤其有關(guān)局域網(wǎng)絡(luò)/廣域網(wǎng)絡(luò)環(huán)境中連續(xù)資料實(shí)時(shí)傳輸?shù)姆椒ㄅc系統(tǒng)。
相關(guān)申請(qǐng)案交互參照資料本申請(qǐng)案為美國(guó)申請(qǐng)案第11/172,489號(hào)，發(fā)明名稱“用于網(wǎng)絡(luò)/廣域網(wǎng)絡(luò)環(huán)境中連續(xù)媒體流的自適應(yīng)媒體傳輸管理”的延續(xù)申請(qǐng)案，該案是于2005年6月29日由Huang提出申請(qǐng)，其中請(qǐng)求2004年6月29日提出的美國(guó)暫時(shí)申請(qǐng)案第60/583,360號(hào)的權(quán)益，并全案并入本案。
背景技術(shù)：
隨著種種新應(yīng)用方法與新使用模式的出現(xiàn)，局域網(wǎng)絡(luò)/廣域網(wǎng)絡(luò)環(huán)境下流動(dòng)的視訊已獲得顯著的重要性。消費(fèi)者可以從桌上型或膝上型計(jì)算機(jī)享受觀賞視訊流及/或聆聽音訊流的樂趣，從傳統(tǒng)媒體的耗用中創(chuàng)造一種全新的典型。不但在個(gè)人數(shù)字視訊娛樂的環(huán)境中，視訊流也已隨著視訊會(huì)議及遠(yuǎn)距離教學(xué)的日漸普及而在企業(yè)環(huán)境中獲得接受。
不幸的是，視訊流的普及化對(duì)于現(xiàn)有網(wǎng)絡(luò)基礎(chǔ)建設(shè)的可用帶寬，已造成極大的負(fù)擔(dān)。在已往以網(wǎng)絡(luò)為基礎(chǔ)的各種應(yīng)用中，具有意義的資料可以用一種爆發(fā)模式(burst mode)傳送或接收。例如，使用網(wǎng)絡(luò)瀏覽器的使用者可以在一URL(單一資源尋址器)鏈接上按鼠標(biāo)鍵來(lái)呼叫喚用(invoking)一網(wǎng)址，以更新(update)使用者的網(wǎng)頁(yè)。網(wǎng)絡(luò)瀏覽器與所要的網(wǎng)址間的網(wǎng)絡(luò)通信，可能持續(xù)到網(wǎng)頁(yè)更新完成或使用者選取另一URL更新(refresh)其瀏覽器為止。然而，與已往以網(wǎng)絡(luò)為基礎(chǔ)的各種應(yīng)用不同的是，流動(dòng)的影音資料在客戶端與伺服端之間的聯(lián)機(jī)建立后，就必須以連續(xù)流的方式送達(dá)一客戶(觀看者)。若資料流的數(shù)量未維持在某一位準(zhǔn)以上時(shí)(或未等于一最低輸貫量時(shí))，視訊可能會(huì)因?yàn)樽g碼器沒有足夠的資料可處理(譯碼)而出現(xiàn)停止?fàn)顩r。但等資料再度可用時(shí)，視訊會(huì)立即回復(fù)。
已往的視訊廣播是在模擬網(wǎng)域中傳送視頻信息，流動(dòng)的視訊信息也與已往的視訊廣播不同，它必須先轉(zhuǎn)換成數(shù)字格式，因此成為一IP資料封包(IP packets)，才能在一網(wǎng)際網(wǎng)絡(luò)通信協(xié)議(IP)網(wǎng)絡(luò)“諸如家庭網(wǎng)絡(luò)(局域網(wǎng)絡(luò))或網(wǎng)際網(wǎng)絡(luò)(廣域網(wǎng)絡(luò))”上傳送。然而，視訊從模擬網(wǎng)域簡(jiǎn)單轉(zhuǎn)換成數(shù)字網(wǎng)域，并無(wú)法立即讓使用者可以在IP網(wǎng)絡(luò)上傳輸視訊，因?yàn)樗璧囊曈崕挻笥诙鄶?shù)現(xiàn)有網(wǎng)絡(luò)允許的帶寬。例如，(根據(jù)國(guó)家電視標(biāo)準(zhǔn)委員會(huì))以標(biāo)準(zhǔn)的每秒30幀的速率放映，且像素達(dá)720×480的標(biāo)準(zhǔn)家用電視而言，其中每一像素需要2字節(jié)作彩色放映，若要傳輸一全屏幕視訊而不需任何數(shù)據(jù)壓縮時(shí)，其最小輸貫量(throughput)將在19.78MBps或158Mbps左右。此一條件顯然超過(guò)一典型局域網(wǎng)絡(luò)的容量(10/100Mbps)所能支持的范圍。因此，透過(guò)現(xiàn)有網(wǎng)絡(luò)架構(gòu)傳送原始視訊總長(zhǎng)并不實(shí)際；或者，至少很難用現(xiàn)有技術(shù)在網(wǎng)絡(luò)上作現(xiàn)場(chǎng)視訊傳輸。因此，在IP網(wǎng)絡(luò)上傳輸資料前壓縮視訊資料，成為一種必要條件。
目前已有多種視訊壓縮技術(shù)推出，并不斷在改進(jìn)中。其中最令人注意的幾種壓縮技術(shù)是MPEG、H.261、H.263、及H.264。然而，即使有這些壓縮引擎，仍需要恒定的輸貫量，才能將流動(dòng)視訊從伺服端傳送到一顯示客戶端。不幸的是，區(qū)域/廣域網(wǎng)絡(luò)是設(shè)計(jì)成一種“盡力型”媒介，意即它雖然試圖在最低可能的時(shí)間范圍內(nèi)使資料從來(lái)源端(伺服端)抵達(dá)接收端(客戶端)，但是并不能保證一定如此。
若未滿足最低輸貫量，在播放時(shí)可能會(huì)出現(xiàn)視訊跳動(dòng)。為了找出流動(dòng)視訊中既有的視訊跳動(dòng)，各種線上視訊(VOD)應(yīng)用中廣泛使用不同方法，諸如在客戶端及伺服端都配置緩沖器。典型線上視訊應(yīng)用中的內(nèi)容提供者(等于伺服端)可于顯示客戶端因傳送中產(chǎn)生封包漏失或轉(zhuǎn)訛而要求時(shí)，重新傳輸視訊資料。此種技術(shù)可除去視訊跳動(dòng)并增強(qiáng)觀賞感受。然而，此種方法雖然達(dá)到線上視訊的目的，但在需要實(shí)時(shí)觀賞的應(yīng)用中，可能引發(fā)顯著的延遲。某些實(shí)時(shí)應(yīng)用中，諸如現(xiàn)場(chǎng)視訊轉(zhuǎn)播、保全監(jiān)看、及視訊會(huì)議，具有時(shí)間敏感性，在此情況下，伺服端只能傳送視訊資料一次。
為了能克服網(wǎng)絡(luò)的“盡力型”特性，并同時(shí)以更有效更具可預(yù)測(cè)性的方式管理網(wǎng)絡(luò)上的通信量，現(xiàn)今已發(fā)展出多種不同的服務(wù)品質(zhì)(QoS)處理方法。例如，其中一種方法是，可將一優(yōu)先旗標(biāo)放在信息流的標(biāo)頭中，以允許一流動(dòng)應(yīng)用從路由器及其它應(yīng)用接收較高的服務(wù)水準(zhǔn)。此種方法是用DiffServ表示的。另一種方法是，允許流動(dòng)應(yīng)用經(jīng)由一保留請(qǐng)求將其服務(wù)要件廣播給網(wǎng)絡(luò)。此種方法是用IntServ表示的。通常，根據(jù)服務(wù)品質(zhì)知悉型(QoS-awared)路由器的流動(dòng)應(yīng)用，可以使用資源保留設(shè)置協(xié)議(RSVP)作為其端對(duì)端信號(hào)協(xié)議。不幸的是，這些方法都不能保證伺服端與客戶端之間的每一轉(zhuǎn)送點(diǎn)都有支持或理解這些協(xié)議的設(shè)備，因此，有可能無(wú)法達(dá)成那些任務(wù)重大型應(yīng)用所需的連續(xù)資料流要件。
因此，人們亟需一種系統(tǒng)，既可跨越傳統(tǒng)網(wǎng)絡(luò)以實(shí)時(shí)方式傳輸資料的系統(tǒng)，并可同時(shí)在數(shù)據(jù)傳輸期間滿足最低閾要件，以維持人類視覺可接受的視訊品質(zhì)。

發(fā)明內(nèi)容本發(fā)明提供多種可跨越傳統(tǒng)網(wǎng)絡(luò)或信道以實(shí)時(shí)傳輸已壓縮影音資料流的方法及系統(tǒng)。每一系統(tǒng)均使用自適應(yīng)速率控制(Adaptive Rate Control，ARC)技術(shù)。此種技術(shù)是以偵測(cè)瑕疵封包及其它諸如整體系統(tǒng)效能、使用模式、及信道特性等影響性因素為基礎(chǔ)。為了控制各信道中的資料流壅塞，并將目視顯示品質(zhì)維持在某一水準(zhǔn)以上，本發(fā)明進(jìn)而有效利用人類的視覺及人類對(duì)變動(dòng)的目視狀態(tài)的適應(yīng)力。
前述自適應(yīng)速率控制(ARC)技術(shù)有賴于客戶端對(duì)伺服端所傳送視訊封包品質(zhì)的計(jì)算能力，以及對(duì)伺服端傳送所需傳輸率信息的能力。此種方法簡(jiǎn)化了已往伺服端或內(nèi)容提供端所承擔(dān)的硬件與軟件實(shí)施工具復(fù)雜性，并將監(jiān)看帶寬與傳輸控制的負(fù)擔(dān)從伺服端移轉(zhuǎn)到客戶端，由此減少整體設(shè)計(jì)成本。
本發(fā)明目的之一是提供一種伺服端至客戶端資料流傳輸率的實(shí)時(shí)控制方法，其中，該客戶端具有使用其一組特征產(chǎn)生的比對(duì)檢查表。此方法包括以下步驟以一傳輸率從伺服端接收一資料流的第一部份，其中該第一部份包括多數(shù)資料封包；檢查該等資料封包的完整性；根據(jù)其完整性決定一封包漏失比；使用該封包漏失比及該比對(duì)檢查表產(chǎn)生一調(diào)整該傳輸率的要求；將該要求傳送至該伺服端；以及，以調(diào)整后的傳輸率從該伺服端接收該資料流的第二部份。
本發(fā)明另一目的是提供一種伺服端至客戶端資料流傳輸率的實(shí)時(shí)控制方法，其中，該客戶端具有使用其一組特征產(chǎn)生的比對(duì)檢查表。此方法包括以下步驟接收客戶端對(duì)調(diào)整傳輸率的要求，其中該客戶端是使用一封包漏失比及該比對(duì)檢查表產(chǎn)生該項(xiàng)要求；接收至少一筆音頻輸入及至少一筆視訊輸入；根據(jù)該項(xiàng)要求更新一資料率及該傳輸率；以更新后的資料率編碼該音頻輸入及該視訊輸入；將編碼后音頻及視訊輸入復(fù)合成該資料流內(nèi)；以及，將該資料流傳輸至該客戶端。
本發(fā)明再一目的是提供一種伺服端至客戶端資料流傳輸率的實(shí)時(shí)控制方法，其中，該客戶端具有使用其一組特征產(chǎn)生的比對(duì)檢查表。此方法包括以下步驟使該伺服端以一傳輸率將一資料流的第一部份傳輸至該客戶端；使該客戶端接收該第一部份，其中該第一部份包括多數(shù)資料封包；使該客戶端檢查該等資料封包的完整性，并根據(jù)其完整性決定一封包漏失比；使該客戶端使用該封包漏失比及該比對(duì)檢查表產(chǎn)生一調(diào)整該傳輸率的要求，并將該要求傳送至該伺服端；使該伺服端接收該項(xiàng)要求并根據(jù)該項(xiàng)要求調(diào)整傳輸率；以及，使該伺服端以調(diào)整后的傳輸率傳輸該資料流的第二部份。
由參照以下附圖、實(shí)施例，可以更加了解本發(fā)明上述及其它特點(diǎn)、目的及優(yōu)點(diǎn)，其中圖1是根據(jù)本發(fā)明的實(shí)時(shí)影音資料流傳輸系統(tǒng)示意圖；圖2是方塊圖，說(shuō)明圖1所述伺服端與客戶端之一間的資料流；圖3是圖2所示伺服端內(nèi)實(shí)施的影音復(fù)合系統(tǒng)方塊圖；圖4是圖2所示客戶端內(nèi)實(shí)施的影音復(fù)合分解系統(tǒng)方塊圖；及圖5是本發(fā)明數(shù)據(jù)傳輸率控制的典型步驟流程圖。
具體實(shí)施方式以下詳細(xì)說(shuō)明是本發(fā)明目前最佳實(shí)施模式，其目的并非用以限制本發(fā)明，僅是說(shuō)明本發(fā)明的一般原理，因?yàn)楸景l(fā)明范圍是由所附申請(qǐng)專利范圍充分定義的。
首先必須指出，本說(shuō)明書及所附申請(qǐng)專利范圍中使用的單數(shù)形式“一”、“及”、“該”，除非上下文義中另有明確表示，否則是包括多數(shù)。因此，例如，提及“一客戶端”時(shí)，是包括一或多個(gè)客戶端及熟悉此類技術(shù)的人士所知的同等意義。
廣義而言，本發(fā)明提供多種在實(shí)時(shí)環(huán)境中跨越多數(shù)傳統(tǒng)網(wǎng)絡(luò)或信道而傳輸壓縮影音資料流的方法與系統(tǒng)。每一系統(tǒng)可使用自適應(yīng)速率控制(Adaptive Rate Control，ARC)技術(shù)。此種技術(shù)是以偵測(cè)瑕疵封包及其它諸如整體系統(tǒng)效能、使用模式、及信道特性等影響性因素為基礎(chǔ)。本發(fā)明與現(xiàn)行僅根據(jù)信道特征或多層流研究法的壅塞控制機(jī)制不同，它可有效利用人類的視覺及人類對(duì)變動(dòng)的目視狀態(tài)的適應(yīng)力，將目視顯示品質(zhì)維持在一可接受的水準(zhǔn)之上。
前述自適應(yīng)速率控制(ARC)技術(shù)可依賴客戶端對(duì)伺服端所傳送視訊封包品質(zhì)的計(jì)算能力，以及傳送所需傳輸率信息給伺服端的能力。此種方法簡(jiǎn)化了已往伺服端或內(nèi)容提供端所承擔(dān)的硬件/軟件實(shí)施工具復(fù)雜性，并將監(jiān)看帶寬與傳輸控制的負(fù)擔(dān)從伺服端移轉(zhuǎn)到客戶端，由此減少整體設(shè)計(jì)成本。
請(qǐng)參照?qǐng)D1。圖1是根據(jù)本發(fā)明的實(shí)時(shí)影音數(shù)據(jù)傳輸系統(tǒng)100的示意圖，該系統(tǒng)包括一局域網(wǎng)絡(luò)(LAN)系統(tǒng)101及一廣域網(wǎng)絡(luò)(WAN)系統(tǒng)121。如圖所示，局域網(wǎng)絡(luò)101是指空中120左側(cè)的網(wǎng)絡(luò)系統(tǒng)，它可包括一網(wǎng)絡(luò)纜線或WiFi信道130(以下簡(jiǎn)稱纜線)，多數(shù)與纜線130連接的個(gè)人計(jì)算機(jī)114、116，一與纜線130連接的伺服端106，一與纜線130連接的路由器112，及一架構(gòu)為可與路由器112通信的膝上型計(jì)算機(jī)110。局域網(wǎng)絡(luò)系統(tǒng)101亦可包括多數(shù)影音顯示裝置，諸如網(wǎng)絡(luò)攝影機(jī)108、放音機(jī)104、及電視機(jī)102。其中，該等影音顯示裝置可與伺服端106耦接，并與伺服端(有線或無(wú)線)106實(shí)時(shí)交換影音資料。局域網(wǎng)絡(luò)系統(tǒng)101可透過(guò)空中120而與其它局域網(wǎng)絡(luò)或廣域網(wǎng)絡(luò)系統(tǒng)通信。所謂空中，較佳是指網(wǎng)際網(wǎng)絡(luò)(Internet)。局域網(wǎng)絡(luò)系統(tǒng)101中可包括一防火墻118防止諸如計(jì)算機(jī)病毒及間諜軟件等惡意的資料/程序進(jìn)入系統(tǒng)。
廣域網(wǎng)絡(luò)是指空中120右側(cè)的系統(tǒng)，它可包括一組客戶端或客戶端裝置及一通常稱為熱點(diǎn)(Hot Spot)的存取(通達(dá))點(diǎn)122，用以提供對(duì)客戶端的無(wú)線通信。其中，客戶端包括一個(gè)人計(jì)算機(jī)128及其它手持裝置，諸如個(gè)人數(shù)字助理(PDA)124及手機(jī)126?？蛻舳?24、126、128可透過(guò)空中120而與伺服端通信。其中，伺服端可為一媒體服務(wù)器或一內(nèi)容提供者，用以實(shí)時(shí)提供流動(dòng)資料給客戶端。以下提及客戶端或客戶端裝置一詞時(shí)，是指架構(gòu)為可與伺服端106通信并可與伺服端106實(shí)時(shí)交換流動(dòng)資料的裝置。一客戶端可具有一或多個(gè)影音顯示系統(tǒng)用以顯示流動(dòng)資料。以下參照?qǐng)D2-4進(jìn)一步說(shuō)明伺服端與多數(shù)客戶端之一間的資料流細(xì)節(jié)。圖1中，為方便之故，僅顯示九個(gè)客戶端102、104、108、110、114、116、124、126與128。然而，具備一般技能的人士應(yīng)能了解，系統(tǒng)100中還可以使用其它適合類型的客戶端裝置。
圖2的方塊圖200中，顯示圖1整體所述于伺服端與多數(shù)客戶端裝置之一間的實(shí)時(shí)模式資料流。如圖所示，一伺服端202可經(jīng)由一網(wǎng)絡(luò)(區(qū)域或廣域網(wǎng)絡(luò))210將復(fù)合的影音輸出資料傳送給一客戶端212。以下將交互使用“復(fù)合”(multiplex)及“多元插配”(interleave)二詞。復(fù)合的影音輸出資料可包括以預(yù)定資料率(壓縮率)壓縮以減少網(wǎng)絡(luò)210中的流動(dòng)壅塞、并根據(jù)一使用者資料包協(xié)議(userdatagram protocol，UDP)格式化的視頻資料。稍后會(huì)詳細(xì)說(shuō)明決定資料率的方法。
當(dāng)客戶端212收到復(fù)合的影音資料時(shí)，可將資料暫時(shí)儲(chǔ)存在一收件緩沖器214內(nèi)。然后，收件緩沖器214可將資料轉(zhuǎn)傳給一影音復(fù)合分解系統(tǒng)218。影音復(fù)合分解系統(tǒng)218可將復(fù)合資料分解成二組個(gè)別的資料，其中每一組資料包含一視訊信號(hào)或一音頻信號(hào)；檢查二組數(shù)據(jù)的完整性，并將二組數(shù)據(jù)譯碼。稍后會(huì)解釋，伺服端202會(huì)在傳送資料給客戶端212前，先將音頻流與視訊流多元插配成為單一資料流。如前所述，每一視訊幀可能需要相當(dāng)?shù)馁Y料量，因此，每一幀資料在透過(guò)網(wǎng)絡(luò)210傳送前，可先分成許多資料封包。每一封包可有一標(biāo)頭，記載幀內(nèi)封包總數(shù)、幀內(nèi)封包編號(hào)、幀(的同位)總和檢查、及封包長(zhǎng)度等信息。
影音復(fù)合分解系統(tǒng)218有一視訊環(huán)狀緩沖器244及一音頻環(huán)狀緩沖器242(見圖4)可分別用來(lái)驗(yàn)證視訊資料封包及音頻資料封包的完整性。以下會(huì)參照?qǐng)D4進(jìn)一步詳細(xì)說(shuō)明影音復(fù)合分解系統(tǒng)218。當(dāng)視訊環(huán)狀緩沖器244遭遇轉(zhuǎn)訛的或漏失的封包(總稱為瑕疵封包)時(shí)，它會(huì)拋棄含有瑕疵封包的幀，并對(duì)一封包錯(cuò)誤累加器222傳送通知。在另一實(shí)施例中，若有轉(zhuǎn)訛的封包，可使用諸如前向錯(cuò)誤更正(ForwardError Corrections)的錯(cuò)誤更正法來(lái)重建該幀。在另一實(shí)施例中，若有漏失的資料(遺失的封包)，可使用諸如可逆變量長(zhǎng)度(Reversible Variable Length)碼的復(fù)原法來(lái)處理該幀。影音復(fù)合分解系統(tǒng)218可將譯碼后的音頻及視訊資料分別傳送給一放音器/揚(yáng)聲器220a與一視訊顯示器220b。
封包錯(cuò)誤累加器222可定期決定與傳送一封包漏失比給一傳輸比對(duì)檢查表(Transmission LUT)224。其中，該封包漏失比的定義是瑕疵封包計(jì)數(shù)與一時(shí)程內(nèi)收到的封包總數(shù)的比。在該時(shí)程開始時(shí)，封包錯(cuò)誤累加器222可重設(shè)瑕疵封包計(jì)數(shù)。封包錯(cuò)誤累加器222于收到影音復(fù)合分解系統(tǒng)218的瑕疵封包通知時(shí)，可將瑕疵封包計(jì)數(shù)增加1。同時(shí)，它可計(jì)數(shù)于該時(shí)程內(nèi)收到的封包總數(shù)。在該時(shí)程結(jié)束時(shí)，封包錯(cuò)誤累加器222可計(jì)算封包漏失比，并將該比率傳送給傳輸比對(duì)檢查表224。
該客戶端212亦可在伺服端202與客戶端212間的通信開始時(shí)，將其特征信息傳送給智能型視訊傳輸管理器208?？蛻舳颂卣餍畔⒖砂@示器尺寸、最高分辨率、可支持色彩位數(shù)(或色彩深度)、顯示器類型(諸如LCD、CRT、或電漿型)、CPU類型、指示可支持格式類型(諸如MPEG1、MPEG2、MPEG4、H.263、H.264等等)的譯碼器能力、可用內(nèi)存、聯(lián)機(jī)類型(諸如WiFi、LAN、藍(lán)芽等等)、說(shuō)明傳輸信息的先前聯(lián)機(jī)記述(諸如幀速率、資料率、量化級(jí)別、分辨率等等)、及視訊顯示器220b的線路結(jié)構(gòu)(續(xù)行式/交錯(cuò)式)。然后，根據(jù)這些特征信息，伺服端202可決定初始傳輸率，如此可使數(shù)據(jù)傳輸中的等待時(shí)間最小化，并使收到的數(shù)據(jù)質(zhì)量最大化。
傳輸比對(duì)檢查表224可使用該封包漏失比讀取一比對(duì)檢查表，以決定目前的傳輸率是否需要調(diào)整。該比對(duì)檢查表可為客戶專用的，并使用該客戶端212的特征來(lái)產(chǎn)生。然后，傳輸比對(duì)檢查表224可經(jīng)由網(wǎng)絡(luò)210將調(diào)整目前傳輸率的要求(如圖2中標(biāo)示的“控制命令”)傳送給智能型視訊傳輸管理器208。以下會(huì)參照?qǐng)D4進(jìn)一步說(shuō)明調(diào)整的細(xì)節(jié)。
利用客戶端212傳送的要求及特征信息，智能型視訊傳輸管理器208可以調(diào)整一組參數(shù)，包括目標(biāo)幀速率、目標(biāo)顯示位率、目標(biāo)分辨率、目標(biāo)音頻抽樣率、量化值，調(diào)整亮度色度(YUV)轉(zhuǎn)換法(4∶2∶2至4∶2∶0)、比例尺大小。管理器208亦可調(diào)整數(shù)據(jù)壓縮率(簡(jiǎn)稱資料率)，并將調(diào)整后資料率信息傳送給一影音復(fù)合系統(tǒng)204。影音復(fù)合系統(tǒng)204可接收一或多筆影音輸入流205，編碼接收的輸入流，使用收自智能型視訊傳輸管理器208的資料率信息來(lái)壓縮輸入流，將每一幀資料分成多數(shù)封包，并將此等封包傳送至一媒體存取控制(MAC)緩沖器206。如前所述，每一視訊幀可包括相當(dāng)?shù)馁Y料量，并可分成多數(shù)資料封包，以易于透過(guò)網(wǎng)絡(luò)210傳輸。以下會(huì)參照?qǐng)D3提供有關(guān)影音復(fù)合系統(tǒng)204更詳細(xì)的信息。媒體存取控制(MAC)緩沖器206可暫時(shí)包含欲透過(guò)網(wǎng)絡(luò)210傳輸?shù)姆獍?，并視客戶端的?shù)目而定，以單聲道調(diào)頻廣播(unicast)、立體聲雙聲道調(diào)頻廣播(multicast)、或廣播(broadcast)模式傳送此等封包。
圖3為圖2所示伺服端202內(nèi)實(shí)施的影音復(fù)合系統(tǒng)204的方塊圖。如圖所示，影音復(fù)合系統(tǒng)204可包括一音頻編碼器230，用以編碼一音頻輸入流；一音頻環(huán)狀緩沖器232，用以轉(zhuǎn)播編碼后音頻輸入流給一影音復(fù)合器238；一視訊編碼器234，可依收自智能型視訊傳輸管理器208的資料率編碼(或壓縮)一視訊輸入流；一視訊環(huán)狀緩沖器236，可將編碼后視訊流轉(zhuǎn)播給影音復(fù)合器238；及該影音復(fù)合器238，可將編碼后音頻流與視訊流復(fù)合成單一的復(fù)合資料流。為了維持音頻/視訊同步化及抽樣時(shí)脈完整性，影音復(fù)合器238可交織編碼后音頻流與編碼后視訊流。
如前所述，由一伺服端傳送的復(fù)合流封包，可能會(huì)因?yàn)榫W(wǎng)絡(luò)壅塞、譯碼器負(fù)載飽和、或系統(tǒng)負(fù)載飽和而于透過(guò)網(wǎng)絡(luò)傳輸期間漏失或轉(zhuǎn)訛。因此，必須在分解復(fù)合流封包后，檢查透過(guò)網(wǎng)絡(luò)接收的復(fù)合流封包的完整性。例如，圖4顯示圖2所示影音復(fù)合分解系統(tǒng)218的方塊圖，其中，該影音復(fù)合分解系統(tǒng)218可將接收的復(fù)合流分解成一音頻及一視訊流；檢查該視訊流的完整性；并將此等音頻流及視訊流譯碼，以供放音器/揚(yáng)聲器220a及視訊顯示器220b播放。如圖所示，影音復(fù)合分解器240可將接收的資料流解耦成一音頻流及一視訊流。然后，它可將視訊流放入視訊環(huán)狀緩沖器244，將音頻流放入一音頻環(huán)狀緩沖器242。音頻環(huán)狀緩沖器242與視訊環(huán)狀緩沖器244可分別檢查影音同步與幀同步，并于譯碼前執(zhí)行必要的更正。視訊環(huán)狀緩沖器244亦可檢查是否有任何轉(zhuǎn)訛及/或漏失的封包，以驗(yàn)證視訊流(或封包)的完整性。當(dāng)視訊環(huán)狀緩沖器244遇到瑕疵封包時(shí)，它可傳送一通知給封包錯(cuò)誤累加器222。
如前解說(shuō)，封包錯(cuò)誤累加器222可決定并傳送一封包漏失比給傳輸比對(duì)檢查表224。傳輸比對(duì)檢查表224可根據(jù)該封包漏失比產(chǎn)生調(diào)整傳輸率的要求，并將此項(xiàng)要求(或控制命令)透過(guò)一使用者資料包協(xié)議(UDP)信道傳送給伺服端202。UDP命令端口/信道是一種任意端口(arbitraryport)，由伺服端202特別指定與保留，以供與客戶端212通信之用。隨后，伺服端202可藉由控制壓縮率、幀速率、圖像群組(GOP)大小、量化級(jí)別、顯示分辨率、或以上各項(xiàng)任何組合而調(diào)整傳輸率。
封包漏失比可作為網(wǎng)絡(luò)210中傳輸狀態(tài)的指示器。傳輸比對(duì)檢查表224可使用該封包漏失比讀取一比對(duì)檢查表。其中，該比對(duì)檢查表可為客戶專用的，并使用一組特征來(lái)產(chǎn)生。這些特征包括顯示器尺寸、最高分辨率、可支持色彩位數(shù)(或色彩深度)、顯示器類型(諸如LCD、CRT、或電漿型)、CPU類型、指示可支持格式類型(諸如MPEG1、MPEG2、MPEG4、H.263、H.264等等)的譯碼器能力、可用內(nèi)存、聯(lián)機(jī)類型(諸如WiFi、LAN、藍(lán)芽等等)、說(shuō)明傳輸信息的先前聯(lián)機(jī)記述(諸如幀速率、資料率、量化級(jí)別、分辨率等等)、及視訊顯示器220b的線路結(jié)構(gòu)(續(xù)行式/交錯(cuò)式)。
傳輸狀態(tài)可細(xì)分成三種子狀態(tài)(1)無(wú)負(fù)載狀態(tài)(2)負(fù)載狀態(tài)(3)壅塞狀態(tài)。每一子狀態(tài)可有一預(yù)定范圍的封包漏失比。例如，假設(shè)目前的傳輸狀態(tài)是在無(wú)負(fù)載狀態(tài)，其中的封包漏失比小于5％(表示傳輸速度在每秒30幀(30fps)時(shí)的最大漏失為1.5fps)。當(dāng)封包漏失比小于5％時(shí)，傳輸比對(duì)檢查表224可判定目前傳輸狀態(tài)是在無(wú)負(fù)載狀態(tài)，并且可以從客戶端特征側(cè)錄達(dá)成較高的資料率。傳輸比對(duì)檢查表224可要求伺服端202以增量方式增加傳輸率，直到封包漏失比超過(guò)30％為止，亦即，直到傳輸狀態(tài)抵達(dá)壅塞狀態(tài)為止。然后，傳輸比對(duì)檢查表224可要求伺服端202降低傳輸率，直到達(dá)到負(fù)載狀態(tài)為止(封包漏失比達(dá)到一穩(wěn)定狀態(tài))。若封包漏失比指示出，傳輸狀態(tài)已達(dá)穩(wěn)定狀態(tài)，則傳輸比對(duì)檢查表224可對(duì)智能型視訊傳輸管理器208傳送一要求，其中包括一NOP信號(hào)(無(wú)操作信號(hào)或“不動(dòng)作”信號(hào)，亦即，“勿改變資料率”信號(hào))。因?yàn)榫W(wǎng)絡(luò)上的通信量概況可隨時(shí)間而變化，所以客戶端212會(huì)對(duì)伺服端202隨機(jī)傳送增加資料率的要求。
封包漏失比的閾位準(zhǔn)可以謹(jǐn)慎調(diào)整，以使客戶端212的用戶所感知的顯示品質(zhì)，可隨著網(wǎng)絡(luò)狀況變更而適度下降或改進(jìn)。由于客戶端212除了其本身目前的傳輸率外，并無(wú)其它可用的帶寬通信量信息，所以客戶端212可能會(huì)定期要求伺服端202增加傳輸率，以便可以達(dá)成較高的視訊品質(zhì)。除了監(jiān)看進(jìn)入的影音封包流品質(zhì)外，客戶端212亦可通知伺服端202顯示器尺寸是否已被顧客縮小，藉此降低傳輸資料率以匹配新的顯示器大小，并降低帶寬要件。
值得注意的是，目前用于控制傳輸率的方法，稱為自適應(yīng)速率控制(ARC)技術(shù)，它可用漏失封包偵測(cè)為基礎(chǔ)，而非已往托實(shí)時(shí)傳輸協(xié)議(RTP)的助而以緩沖器為基礎(chǔ)的方法。因?yàn)樽赃m應(yīng)速率控制(ARC)技術(shù)主要可以依靠有能力計(jì)算視訊流封包品質(zhì)且能對(duì)伺服端傳送所需傳輸率信息的客戶端，所以監(jiān)看帶寬與資料率控制的負(fù)擔(dān)，可以從伺服端移轉(zhuǎn)到客戶端。此外，自適應(yīng)速率控制(ARC)技術(shù)亦可允許客戶端要求伺服端以最佳化的傳輸率傳送資料流，減少網(wǎng)絡(luò)中傳輸壅塞的可能性。
圖5是本發(fā)明數(shù)據(jù)傳輸率控制的典型步驟流程圖500。具有一般技能的人士可以理解，圖中所示方法可用多種方式修改而不脫離本發(fā)明精神與范圍。例如，在本發(fā)明另一實(shí)施例中，圖標(biāo)方法中可結(jié)合各種不同部份、以另一種順序重新安排此等不同部份、或移除此等不同部份。此外應(yīng)予注意的是，此方法可用多種不同方式實(shí)施的，諸如在一通用計(jì)算機(jī)中執(zhí)行軟件、使用微處理器執(zhí)行韌體及/或計(jì)算機(jī)可讀媒體、使用專門用途的硬件，等等。
本方法可從一狀態(tài)502開始。在狀態(tài)502中，一客戶端可經(jīng)由一網(wǎng)絡(luò)(區(qū)域/廣域網(wǎng)絡(luò))建立與一伺服端間的聯(lián)機(jī)或信道，以供數(shù)據(jù)交換。然后，在狀態(tài)504中，客戶端可在信道建立開始時(shí)，對(duì)伺服端傳送一組客戶端特征信息?？蛻舳颂卣餍畔⒖砂@示器尺寸、最高分辨率、可支持色彩位數(shù)(或色彩深度)、顯示器類型(諸如LCD、CRT、或電漿型)、CPU類型、指示可支持格式類型(諸如MPEG1、MPEG2、MPEG4、H.263、H.264等等)的譯碼器能力、可用內(nèi)存、聯(lián)機(jī)類型(諸如WiFi、LAN、藍(lán)芽等等)、說(shuō)明傳輸信息的先前聯(lián)機(jī)記述(諸如幀速率、資料率、量化級(jí)別、分辨率等等)、及視訊顯示器220b的線路結(jié)構(gòu)(續(xù)行式/交錯(cuò)式)。然后，在狀態(tài)506中，伺服端可根據(jù)客戶端特征信息決定一傳輸率，并以實(shí)時(shí)模式使用該傳輸率對(duì)客戶端傳送一復(fù)合資料流。該復(fù)合資料可包括呈資料封包形式的音頻與視訊資料。然后，程序可進(jìn)入狀態(tài)508。
在狀態(tài)508中，客戶端可從伺服端接收該復(fù)合資料流。其次，在狀態(tài)510中，客戶端可將接收的復(fù)合資料流分解成音頻及視訊資料封包。隨后，在狀態(tài)512中，客戶端可根據(jù)瑕疵資料封包數(shù)決定視訊資料封包的封包漏失比。然后，程序可進(jìn)到一決定菱形514。
在狀態(tài)514中，客戶端可決定該封包漏失比是否指示網(wǎng)絡(luò)中的壅塞狀態(tài)。狀態(tài)514的答復(fù)為肯定時(shí)，在狀態(tài)516中，客戶端可產(chǎn)生降低傳輸率的要求。然后，程序可進(jìn)到狀態(tài)522。否則，程序可進(jìn)到另一決定菱形518。
在狀態(tài)518中，可以決定封包漏失比是否指示網(wǎng)絡(luò)中的無(wú)負(fù)載狀態(tài)。狀態(tài)518的回復(fù)若為肯定時(shí)，則程序可進(jìn)到狀態(tài)519。在狀態(tài)519中，可決定傳輸率是否已達(dá)最大傳輸率。狀態(tài)519的回復(fù)若為否定時(shí)，在狀態(tài)520中，客戶端可產(chǎn)生增加傳輸率的要求。然后，程序可進(jìn)到狀態(tài)522。
狀態(tài)518的回復(fù)為否定時(shí)，或狀態(tài)519的回復(fù)為肯定時(shí)，則程序進(jìn)到狀態(tài)521。在狀態(tài)521中，客戶端可產(chǎn)生一包含NOP(勿改變資料率)信號(hào)。然后，程序可進(jìn)到狀態(tài)522。在狀態(tài)522中，客戶端可對(duì)伺服端傳送該項(xiàng)要求。隨后，在狀態(tài)524中，伺服端可用調(diào)整后的傳輸率傳輸該復(fù)合資料流；其中，調(diào)整后傳輸率是依據(jù)要求決定的。然后，程序可等到傳輸完成后進(jìn)到狀態(tài)508。值得注意的是，步驟508至524應(yīng)定期實(shí)施，以維持伺服端與客戶端之間建立的信道。
我們應(yīng)了解前述是有關(guān)本發(fā)明的典型實(shí)施例，其中可作多種修改而不脫離本方法如下述申請(qǐng)專利范圍所述精神及范圍。
權(quán)利要求
1.一種伺服端至客戶端資料流傳輸率的實(shí)時(shí)控制方法，其中該客戶端具有以其一組特征產(chǎn)生的比對(duì)檢查表，其特征在于，此方法包括以一傳輸率從該伺服端接收一資料流的第一部份，該第一部份包括多數(shù)資料封包；檢查該等資料封包的完整性；根據(jù)該完整性決定一封包漏失比；使用該封包漏失比及該比對(duì)檢查表產(chǎn)生調(diào)整該傳輸率的要求；將該項(xiàng)要求傳送給該伺服端；以及以一調(diào)整后傳輸率從該伺服端接收該資料流的第二部份。
2.如權(quán)利要求
1項(xiàng)所述的伺服端至客戶端資料流傳輸率的實(shí)時(shí)控制方法，其特征在于，在該接收一資料流第一部份的步驟前，進(jìn)而包括在該伺服端與該客戶端之間建立一聯(lián)機(jī)；使該客戶端傳送該組特征的信息給該伺服端；以及使該伺服端使用該項(xiàng)信息決定該傳輸率，并以該傳輸率傳輸該第一部份。
3.如權(quán)利要求
2項(xiàng)所述的伺服端至客戶端資料流傳輸率的實(shí)時(shí)控制方法，其特征在于，其中該組特征至少包括顯示器尺寸、最高分辨率、色彩深度、顯示器類型、CPU類型、一或多種譯碼器能力、可用內(nèi)存、聯(lián)機(jī)類型、具有傳輸信息的先前聯(lián)機(jī)記述、及視訊顯示器線路結(jié)構(gòu)等其中之一。
4.如權(quán)利要求
1項(xiàng)所述的伺服端至客戶端資料流傳輸率的實(shí)時(shí)控制方法，其中該資料流為包括一音頻流與一視訊流的復(fù)合資料流；其特征在于，本方法在該檢查完整性的步驟前，進(jìn)而包括將該復(fù)合資料流的第一部份分解為該音頻流與視訊流。
5.如權(quán)利要求
4項(xiàng)所述的伺服端至客戶端資料流傳輸率的實(shí)時(shí)控制方法，其特征在于，在該檢查完整性的步驟前，進(jìn)而包括將該等音頻流與視訊流譯碼。
6.如權(quán)利要求
1項(xiàng)所述的伺服端至客戶端資料流傳輸率的實(shí)時(shí)控制方法，其特征在于，其中該決定封包漏失比的步驟包括以下步驟量取該等多數(shù)資料封包內(nèi)的瑕疵資料封包百分比；該等瑕疵封包或?yàn)檗D(zhuǎn)訛資料封包，或?yàn)樵谠摻邮召Y料流第一部份的步驟中遺失的資料封包。
7.如權(quán)利要求
1項(xiàng)所述的伺服端至客戶端資料流傳輸率的實(shí)時(shí)控制方法，其特征在于，其中該產(chǎn)生調(diào)整要求的步驟包括以下步驟決定該封包漏失比是否指示一壅塞狀態(tài)；若該封包漏失比指示一壅塞狀態(tài)，則產(chǎn)生一降低該傳輸率的要求；決定該封包漏失比是否指示一無(wú)負(fù)載狀態(tài)；若該封包漏失比并非指示一無(wú)負(fù)載狀態(tài)，則產(chǎn)生一包括無(wú)操作信號(hào)的要求；若該封包漏失比指示一無(wú)負(fù)載狀態(tài)，則決定該傳輸率是否已達(dá)一最高傳輸率；若該傳輸率尚未達(dá)到一最高傳輸率，則產(chǎn)生一增加該傳輸率的要求；以及若該傳輸率已達(dá)到該最高傳輸率，則產(chǎn)生一包括無(wú)操作信號(hào)的要求。
8.如權(quán)利要求
1項(xiàng)所述的伺服端至客戶端資料流傳輸率的實(shí)時(shí)控制方法，其特征在于，其中該資料流是根據(jù)一使用者資料包協(xié)議格式化。
9.如權(quán)利要求
1項(xiàng)所述的伺服端至客戶端資料流傳輸率的實(shí)時(shí)控制方法，其特征在于，其中該資料流是透過(guò)一網(wǎng)絡(luò)傳輸，該網(wǎng)絡(luò)至少包括一局域網(wǎng)絡(luò)與一廣域網(wǎng)絡(luò)。
10.如權(quán)利要求
1項(xiàng)所述的伺服端至客戶端資料流傳輸率的實(shí)時(shí)控制方法，其特征在于，其中該客戶端包括一目視裝置。
11.如權(quán)利要求
1項(xiàng)所述的伺服端至客戶端資料流傳輸率的實(shí)時(shí)控制方法，其特征在于，進(jìn)而包括重復(fù)該完整性檢查的步驟至該接收第二部份的步驟，直到該客戶端收到該資料流的整體部份。
12.如權(quán)利要求
1項(xiàng)所述的伺服端至客戶端資料流傳輸率的實(shí)時(shí)控制方法，其特征在于，該傳輸率具有一組參數(shù)，至少包括一目標(biāo)幀速率、一目標(biāo)顯示位率、一目標(biāo)分辨率、一目標(biāo)音頻抽樣率、一量化值、一亮度色度轉(zhuǎn)換法、一比例尺大小、及一說(shuō)明已往聯(lián)機(jī)狀態(tài)的聯(lián)機(jī)記述。
13.一種伺服端至客戶端資料流傳輸率的實(shí)時(shí)控制方法，其中該客戶端具有以其一組特征產(chǎn)生的比對(duì)檢查表，其特征在于，此方法包括從該客戶端接收一調(diào)整該傳輸率的要求，其中該客戶端是使用一封包漏失比及該比對(duì)檢查表產(chǎn)生該項(xiàng)要求；接收至少一筆音頻輸入與至少一筆視訊輸入；根據(jù)該項(xiàng)要求更新一資料率及該傳輸率；以該更新后資料率編碼該筆音頻輸入與該筆視訊輸入；將該等編碼后音頻與視訊輸入復(fù)合成該資料流；以及以該更新后的傳輸率將該資料流傳輸給該客戶端。
14.如權(quán)利要求
13項(xiàng)所述的伺服端至客戶端資料流傳輸率的實(shí)時(shí)控制方法，其特征在于，其中該組特征至少包括顯示器尺寸、最高分辨率、色彩深度、顯示器類型、CPU類型、一或多種譯碼器能力、可用內(nèi)存、聯(lián)機(jī)類型、具有傳輸信息的先前聯(lián)機(jī)記述、及視訊顯示器線路結(jié)構(gòu)等其中之一。
15.一種伺服端至客戶端資料流傳輸率的實(shí)時(shí)控制方法，其中該客戶端具有以其一組特征產(chǎn)生的比對(duì)檢查表，其特征在于，此方法包括使該伺服端以一傳輸率將一資料流的第一部份傳輸至該客戶端；使該客戶端接收該第一部份，其中該第一部份包括多數(shù)資料封包；使該客戶端檢查該等資料封包的完整性，并根據(jù)其完整性決定一封包漏失比；使該客戶端使用該封包漏失比及該比對(duì)檢查表產(chǎn)生一調(diào)整該傳輸率的要求，并將該項(xiàng)要求傳送至該伺服端；使該伺服端接收該項(xiàng)要求并根據(jù)該項(xiàng)要求調(diào)整該傳輸率；以及使該伺服端以調(diào)整后的傳輸率傳輸該資料流的第二部份。
16.如權(quán)利要求
15項(xiàng)所述的伺服端至客戶端資料流傳輸率的實(shí)時(shí)控制方法，其特征在于，在該傳輸?shù)谝徊糠莸牟襟E前，進(jìn)而包括使該伺服端接收至少一筆音頻輸入及至少一筆視訊輸入；使該伺服端以一資料率編碼該筆音頻輸入及該筆視訊輸入；以及使該伺服端將該等編碼后的音頻及視訊輸入復(fù)合成該資料流。
17.如權(quán)利要求
16項(xiàng)所述的伺服端至客戶端資料流傳輸率的實(shí)時(shí)控制方法，其特征在于，在該傳輸?shù)诙糠莸牟襟E前，進(jìn)而包括使該伺服端根據(jù)該項(xiàng)要求更新該資料率；使該伺服端以該更新后的數(shù)據(jù)率編碼該筆音頻輸入及該筆視訊輸入；以及使該伺服端將該等編碼后的音頻及視訊輸入復(fù)合成該資料流。
18.如權(quán)利要求
16項(xiàng)所述的伺服端至客戶端資料流傳輸率的實(shí)時(shí)控制方法，其特征在于，進(jìn)而包括使該客戶端將該復(fù)合資料流的第一部份分解成一音頻流及一視訊流；以及使該客戶端譯碼該等音頻及視訊流。
19.如權(quán)利要求
15項(xiàng)所述的伺服端至客戶端資料流傳輸率的實(shí)時(shí)控制方法，其特征在于，其中該組特征至少包括顯示器尺寸、最高分辨率、色彩深度、顯示器類型、CPU類型、一或多種譯碼器能力、可用內(nèi)存、聯(lián)機(jī)類型、及該客戶端的視訊顯示器線路結(jié)構(gòu)等其中之一。
專利摘要
一種多種可跨越傳統(tǒng)網(wǎng)絡(luò)或信道以實(shí)時(shí)方式傳輸已壓縮影音資料流的方法。每一系統(tǒng)均使用自適應(yīng)速率控制技術(shù)。是以偵測(cè)瑕疵封包及其它諸如整體系統(tǒng)效能、使用模式、及信道特性等影響性因素為基礎(chǔ)。為了控制各信道中的資料流壅塞，并將目視顯示品質(zhì)維持在某一水準(zhǔn)以上，有效利用人類的視覺及人類對(duì)變動(dòng)的目視狀態(tài)的適應(yīng)力。自適應(yīng)速率控制技術(shù)有賴于客戶端對(duì)伺服端所傳送視訊封包品質(zhì)的計(jì)算能力，及對(duì)伺服端傳送所需傳輸率信息的能力。此方法簡(jiǎn)化了已往伺服端所承擔(dān)的硬件與軟件實(shí)施工具復(fù)雜性，并將監(jiān)看帶寬與傳輸控制的負(fù)擔(dān)從伺服端移轉(zhuǎn)到客戶端，由此減少整體設(shè)計(jì)成本。
文檔編號(hào)H04N7/24GK1996813SQ200610000213
公開日2007年7月11日 申請(qǐng)日期2006年1月6日
發(fā)明者杰佛瑞·黃 申請(qǐng)人:撤克斯坦納帷葛馴公司導(dǎo)出引文BiBTeX, EndNote, RefMan