專利名稱：視頻會議系統(tǒng)和操作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻會議。本發(fā)明可以應(yīng)用于基于H.323和/或基于SIP的集中視頻會議中、使用分層視頻編碼的視頻交換機(jī)制，但并不限于此。
背景技術(shù)：
由于商業(yè)步伐加快，商業(yè)關(guān)系擴(kuò)展到全世界，因此對快速并且經(jīng)濟(jì)地跨越通信距離的需要變成了主要的難題。為了在競爭越來越激烈的市場上取得成功，把顧客和工作人員有效地集合起來是關(guān)鍵。商家正在尋找靈活的解決方案，以使用各種通信方法，例如語音、視頻、圖像數(shù)據(jù)和它們的任何組合來支持跨國以及跨大洲的實(shí)時信息共享。
尤其是，跨國組織越來越希望取消昂貴的旅行并連接多個位置，以便讓組織內(nèi)的群組能夠更有效地通信。在互聯(lián)網(wǎng)協(xié)議(IP)網(wǎng)絡(luò)上操作的多點(diǎn)會議系統(tǒng)試圖解決該需要。在本發(fā)明的領(lǐng)域中，已知在多點(diǎn)視頻會議中終端可以實(shí)時交換音頻和視頻流?，F(xiàn)有的在IP網(wǎng)絡(luò)上建立多點(diǎn)會議的方法是使用多點(diǎn)控制單元(MCU)。MCU是網(wǎng)絡(luò)上的端點(diǎn)，為三個或更多終端和/或通信網(wǎng)關(guān)提供參與多點(diǎn)會議的能力。在點(diǎn)對點(diǎn)會議中MCU還可以連接兩個終端，以便他們能夠具有發(fā)展成多點(diǎn)會議的能力。
首先參照圖1，示出了已知的集中會議模型100。集中會議利用基于MCU的會議網(wǎng)橋。所有終端(端點(diǎn))120、122、125發(fā)送并接收去往/來自MCU110的以音頻、視頻和/或數(shù)據(jù)信號形式的媒體信息以及控制信息流140。這些傳輸可以以點(diǎn)對點(diǎn)方式進(jìn)行。這在圖1中示出了。
MCU100由多點(diǎn)控制器(MC)和零或多個多點(diǎn)處理器(MP)組成。MC處理所有終端之間的呼叫建立和呼叫信令協(xié)商，以確定用于音頻和視頻處理的共同能力。MC110不直接處理任何一個媒體流。這留給MP處理，MP混合、交換并處理音頻、視頻和/或數(shù)據(jù)比特。
以這種方式，MCU提供舉行多位置會議、銷售會議、群組會議和其他‘面對面’通信的性能。已知多點(diǎn)會議可以用于各種應(yīng)用，例如(i)在多個位置的執(zhí)行者和管理者能夠‘面對面’開會，共享實(shí)時信息，并且更快地做出決定，而沒有時間、開支的任何損失和旅行的需要。
(ii)項目組和知識工作者可以以實(shí)時方式協(xié)調(diào)各自的任務(wù)，并且觀看和修正共享的文檔、文稿、設(shè)計和文件；并且(iii)在遠(yuǎn)程位置的學(xué)生、受訓(xùn)人員和雇員可以跨越任何距離或時區(qū)訪問共享的教育/培訓(xùn)資源。
因此，可以想象得到，在未來基于IP的網(wǎng)絡(luò)上的多媒體通信中，基于MCU的系統(tǒng)將起到重要作用。
這樣的多媒體通信通常采用視頻傳輸。在這種傳輸中，在發(fā)送和接收單元之間傳送圖像序列，這些圖像序列通常被稱為幀?？梢允褂酶鞣N方法建立多點(diǎn)多媒體會議系統(tǒng)，例如H.232和SIP會話層協(xié)議標(biāo)準(zhǔn)所規(guī)定的方法。有關(guān)SIP的參考文獻(xiàn)可以在以下網(wǎng)址找到http//www.ietf.org/rfc/rfc2534.txt，以及http//www.cs.columbia.edu/～hgs/sip.
此外，例如在使用ITU H.263視頻壓縮[ITU-T Recommendation，H.263，‘Video Coding for Low Bit Rate Communication’]系統(tǒng)中，視頻序列的第一幀包括相當(dāng)數(shù)量的綜合圖像數(shù)據(jù)，通常被稱為幀內(nèi)編碼信息。由于幀內(nèi)編碼幀是第一幀，因此它可以提供要顯示的圖像的實(shí)質(zhì)部分。幀內(nèi)編碼幀隨后是幀間編碼(預(yù)測)信息，其通常包括與正發(fā)送的圖像中的變化有關(guān)的數(shù)據(jù)。因此預(yù)測的幀間編碼信息包含的信息比幀內(nèi)編碼信息少得多。
在傳統(tǒng)的多媒體會議系統(tǒng)中，當(dāng)用戶講話時他們需要識別自己本身，以便接收終端知道是誰在講話。很明顯，如果發(fā)送終端不能識別它本身，收聽的用戶將不得不猜測是誰在講話。
一種已知的技術(shù)通過分析音頻流并轉(zhuǎn)發(fā)活躍發(fā)言人的姓名和視頻流給所有參與方來解決該問題。在集中會議系統(tǒng)中，MCU通常執(zhí)行該功能。之后MCU可以通過把合適的輸入多媒體流交換到輸入端口/路徑來把發(fā)言人的姓名和相應(yīng)的視頻和音頻流發(fā)送給所有參與方。
視頻交換是一種公知的技術(shù)，其旨在給每個端點(diǎn)傳送一個單獨(dú)的視頻流，相當(dāng)于安排多個點(diǎn)對點(diǎn)會話。視頻交換可以是(i)語音激活交換，其中MCU發(fā)送活躍發(fā)言人的視頻。
(ii)定時激活交換，其中在預(yù)定時間隔相繼發(fā)送每個參與方的視頻。
(iii)個人視頻選擇交換，其中每一端點(diǎn)可以請求他/她希望接收的參與方視頻流。
現(xiàn)在參照圖2，示出了傳統(tǒng)的視頻交換機(jī)制200的功能框圖。在傳統(tǒng)的集中會議系統(tǒng)中，視頻交換的執(zhí)行如下。MCU220，例如位于基于互聯(lián)網(wǎng)協(xié)議(IP)的網(wǎng)絡(luò)210內(nèi)的MCU200，包含交換機(jī)230。MCU220接收所有參與方(用戶設(shè)備)250、260、270、280的視頻流255、265、275、285。MCU還可以從正在講話的參與方單獨(dú)接收組合(多路復(fù)用)的音頻流290。之后，MCU220選擇一個視頻流并且把該視頻流240發(fā)送給所有參與方250、260、270、280。
這種傳統(tǒng)系統(tǒng)有一個缺點(diǎn)，就是他們只發(fā)送活躍發(fā)言人的視頻流。用戶還可能有一個問題，就是如果幾個發(fā)言人同時講話或活躍發(fā)言人不斷改變，識別視頻流發(fā)言人會有問題。這尤其是大型視頻會議中存在的問題。
作為替換，可以將每個參與方的視頻發(fā)送給所有參與方。但是，在基于無線的會議中該方法會由于帶寬限制而受影響。
在視頻技術(shù)領(lǐng)域，已知視頻作為一系列靜態(tài)圖像/畫面發(fā)送。因?yàn)橐曨l信號的質(zhì)量在視頻信號編碼和壓縮期間會受到影響，因此已知會包括附加的信息‘層’，這些層基于視頻信號和編碼視頻比特流之間的差異。包含附加層能夠使接收信號質(zhì)量隨著解碼和/或解壓縮而得到增強(qiáng)。因此，使用圖像和被分為一個或多個層的增強(qiáng)圖像這樣的分級結(jié)構(gòu)來產(chǎn)生分層視頻比特流。
在分層(可量測)視頻比特流中，可以在基本層之外通過以下之一對視頻信號進(jìn)行增強(qiáng)(i)提高畫面的分辨率(空間量測性)；(ii)包括錯誤信息，以改善畫面的信噪比(SNR量測性)；或(iii)包括額外的畫面，以提高幀速率(時間量測性)。
這樣的增強(qiáng)可以應(yīng)用于整個畫面，或應(yīng)用到畫面中任意形狀的目標(biāo)，這被稱為基于目標(biāo)的量測性。為了保留時間增強(qiáng)層的可任意處理特性，H.263+標(biāo)準(zhǔn)規(guī)定，包含在時間量測性模式中的畫面應(yīng)該是如圖3的視頻流所示的雙向預(yù)測(B)畫面。
圖3示出了可量測視頻配置300的示意性圖示，說明了視頻編碼技術(shù)領(lǐng)域公知的B畫面預(yù)測相關(guān)性。最初的幀內(nèi)編碼幀(I1)310后是雙向預(yù)測幀(B2)320。隨后是(單向)預(yù)測幀(P3)330，再然后是第二雙向預(yù)測幀(B4)330。再后面是(單向)預(yù)測幀(P5)350，等等。
圖4是視頻編碼技術(shù)領(lǐng)域中已知的分層視頻配置的示意性圖示。分層視頻比特流包括基本層405和一個或多個增強(qiáng)層435。
基本層(層1)包括從原始視頻信號畫面抽樣、編碼和/或壓縮得到的一個或多個幀內(nèi)編碼畫面(I畫面)410。另外，基本層包括從幀內(nèi)編碼幀410預(yù)測的多個預(yù)測幀間編碼畫面(P畫面)420、430。
在增強(qiáng)層(層2或3或更多)435中，可以使用三種類型的畫面(i)雙向預(yù)測(B)畫面(未示出)；(ii)基于基本層405的幀內(nèi)編碼畫面410的增強(qiáng)內(nèi)插(EI)畫面440；和(iii)基于基本層的幀間編碼畫面420、430的增強(qiáng)預(yù)測(EP)畫面450、460。
從較低層向上的垂直箭頭說明，增強(qiáng)層中的畫面是從參考(較低)層中的畫面的重構(gòu)近似中預(yù)測的。
總之，可以在多點(diǎn)通信多媒體會議中使用可量測視頻編碼，并且僅僅在點(diǎn)對點(diǎn)或多點(diǎn)通信視頻通信的情況中使用。但是，當(dāng)前無線網(wǎng)絡(luò)不支持多點(diǎn)通信。另外，通過多點(diǎn)通信，每一層在分開的多點(diǎn)通信會話中發(fā)送，接收方確定它自己是否登錄到一個或多個會話中。
因此，需要一種改進(jìn)的視頻會議配置和操作方法，可以減輕上面提到的缺點(diǎn)。

發(fā)明內(nèi)容
根據(jù)本發(fā)明，提供一種如權(quán)利要求1所述的在多媒體視頻會議中中繼視頻圖像的方法，一種如權(quán)利要求7所述的用于中繼視頻圖像的視頻會議設(shè)備，一種如權(quán)利要求11所述的用于參與視頻會議的無線裝置，一種如權(quán)利要求12所述的多點(diǎn)處理器，一種如權(quán)利要求16所述的視頻通信系統(tǒng)，一種如權(quán)利要求18所述的媒體資源功能元件，一種如權(quán)利要求19或權(quán)利要求20所述的視頻通信單元，一種如權(quán)利要求23所述的存儲介質(zhì)。本發(fā)明的其他方面如從屬權(quán)利要求所述。
總之，本發(fā)明的發(fā)明原理是通過提供一種視頻交換方法來解決現(xiàn)有技術(shù)配置的缺點(diǎn)，以在視頻會議中改善參與方和發(fā)言人的識別。本發(fā)明利用分層視頻編碼，以更好地利用可用于每一用戶的帶寬。


圖1示出了一種已知的集中會議模型。
圖2示出了傳統(tǒng)的視頻交換機(jī)制的功能框圖。
圖3是一個視頻配置的示意性圖示，表示在視頻編碼技術(shù)領(lǐng)域中已知的畫面預(yù)測相關(guān)性。
圖4是在視頻編碼技術(shù)領(lǐng)域中已知的分層視頻配置的示意性圖示。
現(xiàn)在將參照附圖描述本發(fā)明的示例性實(shí)施例，其中圖5示出了根據(jù)本發(fā)明的優(yōu)選實(shí)施例的視頻交換機(jī)制的功能框圖。
圖6示出了根據(jù)本發(fā)明的優(yōu)選實(shí)施例的多點(diǎn)處理單元的功能框圖/流程圖。
圖7示出了使用本發(fā)明的優(yōu)選實(shí)施例參與視頻會議的無線裝置的視頻顯示。
圖8示出了根據(jù)本發(fā)明的優(yōu)選實(shí)施例采用的UMTS(3GPP)通信系統(tǒng)。
具體實(shí)施例方式
總體來說，本發(fā)明的優(yōu)選實(shí)施例提出一種用于多媒體會議的新的視頻交換機(jī)制，該機(jī)制使用分層視頻編碼。以前，分層視頻編碼只用于把一個視頻比特流分成多于一個的層如上面對照圖4所描述的基本層和一個或幾個增強(qiáng)層。這些用于可量測視頻通信的已知技術(shù)在諸如H.263和MPEG-4的標(biāo)準(zhǔn)中進(jìn)行了詳細(xì)描述。
但是，本發(fā)明的發(fā)明人已經(jīng)認(rèn)識到通過采用分層視頻編碼的原理并把采用的原理應(yīng)用到多媒體視頻會議應(yīng)用中可以得到這些好處。以這種方式，本發(fā)明定義了一種與點(diǎn)對點(diǎn)或多點(diǎn)通信視頻通信不同類型的可量測視頻編碼來用于多媒體會議。
現(xiàn)在參照圖5，示出了根據(jù)本發(fā)明的優(yōu)選實(shí)施例的視頻交換機(jī)制的功能框圖500。與傳統(tǒng)的集中會議系統(tǒng)形成相比，這種視頻交換的執(zhí)行如下。MCU520，例如位于基于互聯(lián)網(wǎng)協(xié)議(IP)的網(wǎng)絡(luò)510內(nèi)的MCU520，包含交換機(jī)530。
值得注意的是，MCU520接收‘分層’視頻流，該視頻流包括所有參與方(用戶設(shè)備)550、560、570、580的基本層552、562、572、582和一個或多個增強(qiáng)層流555、565、575、585。為了清楚的目的，每個參與方只示出了一個增強(qiáng)層視頻流。
MCU520還可以單獨(dú)從參與方接收組合(多路復(fù)用)的音頻流590。之后MCU520使用交換機(jī)530選擇多個活躍發(fā)言人535的基本層視頻流和最活躍發(fā)言人的增強(qiáng)層540。之后MCU520發(fā)送這些視頻流535、540給所有的參與方550、560、570、580。
優(yōu)選地，確定最活躍發(fā)言人的選擇過程通過MCU520分析音頻流590來執(zhí)行，以便首先確定所有這些活躍發(fā)言人都是誰。然后如圖6所述，優(yōu)選地，在多點(diǎn)處理器單元中確定最活躍發(fā)言人。優(yōu)選地，根據(jù)基于每一參與方的活躍性的優(yōu)先級把一個或多個基本層和一個增強(qiáng)層發(fā)送到參與方。
為了實(shí)現(xiàn)圖5的改進(jìn)的但是更復(fù)雜的視頻交換機(jī)制，多點(diǎn)處理單元(MP)600適于促進(jìn)根據(jù)本發(fā)明的優(yōu)選實(shí)施例和如圖6所示的新的視頻交換機(jī)制。
MP600還通過分組過濾模塊610從參與方的視頻/多媒體通信單元接收音頻流590并且把該音頻流路由到分組路由模塊630。但是，音頻流現(xiàn)在還被路由到一個發(fā)言人識別模塊620，該模塊分析該音頻流590以便確定誰是活躍的發(fā)言人。發(fā)言人識別模塊620基于每一參與方的活躍性分配優(yōu)先級并且確定(i)最活躍發(fā)言人620，(ii)任何其他的活躍發(fā)言人625以及缺席的人(iii)任何剩余的不活躍發(fā)言人。
根據(jù)本發(fā)明的優(yōu)選實(shí)施例，之后發(fā)言人識別模塊620把優(yōu)先級信息轉(zhuǎn)發(fā)到交換模塊640，該交換模塊適于處理發(fā)言人的優(yōu)先級。另外，交換模塊640適于通過分組過濾模塊610從參與方的視頻通信單元接收分層視頻流，該分層視頻流包括視頻基本層流552、562、572和582以及視頻增強(qiáng)層流555、565、575和585。交換模塊640使用該發(fā)言人信息通過分組路由模塊630把第二(次)活躍發(fā)言人和最活躍發(fā)言人的視頻基本層和最活躍發(fā)言人的視頻增強(qiáng)層發(fā)送給所有參與方。
因此，多點(diǎn)處理器的一個或多個接收端口適于從一組用戶設(shè)備550、560、570和580接收分層視頻流，給分層視頻流包括基本層視頻流552、562、572和582以及增強(qiáng)層視頻流555、565、575和585。在本發(fā)明的考慮中，如果確定只有一個活躍發(fā)言人，交換模塊640可以只選擇一個基本層視頻圖像和相應(yīng)的一個或多個增強(qiáng)層。之后將該發(fā)言人自動指定為最活躍發(fā)言人，以發(fā)送到一個或一組用戶設(shè)備550、560、570和580。
如在視頻會議中發(fā)生的，當(dāng)最活躍發(fā)言人經(jīng)常改變時，將不斷交換增強(qiáng)層。本發(fā)明的發(fā)明人已經(jīng)認(rèn)識到這樣經(jīng)常并快速交換所具有的潛在問題。在這種情況下，如果第一幀實(shí)際上是來自之前只是第二活躍發(fā)言人的預(yù)測幀(EP)，那么該幀需要被轉(zhuǎn)換為內(nèi)插幀(EI)。
為了解決該潛在問題，優(yōu)選地將來自分組過濾模塊610的視頻基本層流552、562、572和582以及視頻增強(qiáng)層流555、565、575、585輸入到解包功能元件680。解包功能元件680對視頻流去多路復(fù)用并且把經(jīng)過去多路復(fù)用的視頻流提供給視頻解碼器和緩沖器功能元件670。
為了同步并配合視頻解碼，視頻解碼器和緩沖器功能元件670接收最活躍發(fā)言人622的指示。在提取最活躍發(fā)言人的視頻流信息后，視頻解碼器和緩沖器功能元件670提供最活躍發(fā)言人622的雙向預(yù)測(BP)675和/或預(yù)測(EP)視頻流數(shù)據(jù)給‘EP幀到EI幀譯碼模塊’660。該‘EP幀到EI幀譯碼模塊’660處理輸入視頻流，以提供最初的發(fā)言人增強(qiáng)層視頻流，如幀內(nèi)編碼(EI)幀。
之后將最初的發(fā)言人增強(qiáng)層視頻流輸入到打包功能元件650，在那里打包并且輸入到交換模塊640。之后交換模塊640組合最初的發(fā)言人增強(qiáng)層視頻流和第二活躍發(fā)言人的視頻基本層流552、562、572和582并且把組合的多媒體流路由到分組路由模塊630。之后分組路由模塊根據(jù)圖5的方法把該信息路由到參與方。
在本發(fā)明的優(yōu)選實(shí)施例中，當(dāng)確定最初發(fā)言人改變時，視頻交換模塊640使用‘EP幀到EI幀譯碼模塊’660的輸出。
在本發(fā)明的考慮中，還可以在MP600中包括類似于模塊660的一個或多個模塊，以便當(dāng)認(rèn)為第二發(fā)言人已經(jīng)改變時對他們執(zhí)行相同的功能。否則，在使用單個‘EP幀到EI幀譯碼模塊’660來譯碼最初發(fā)言人的視頻流的實(shí)施例中，當(dāng)假定一個不活躍的發(fā)言人變成第二活躍發(fā)言人時，發(fā)言人識別模塊620(或交換模塊640)可以請求新的內(nèi)插幀。作為選擇的，交換模塊640可以在發(fā)送相應(yīng)的視頻基本層流給所有參與方之前等待新的第二活躍發(fā)言人的新內(nèi)插幀。
在本發(fā)明的優(yōu)選實(shí)施例之外，在多于一個的增強(qiáng)層可以使用的情況中使用多類發(fā)言人也在本發(fā)明的考慮之內(nèi)。通過使用多類發(fā)言人，由于改善了發(fā)言人識別，可以得到多媒體消息的更精確的可量測性，尤其是對大的視頻會議來說。
對一個或多個基本層流增加預(yù)測幀到內(nèi)插幀的轉(zhuǎn)換，也在本發(fā)明的考慮內(nèi)。以這種方式，交換模塊640可以快速的在基本層之間交換而不需等待新的內(nèi)插幀。
圖7示出了使用本發(fā)明的優(yōu)選實(shí)施例參加視頻會議的無線裝置700的視頻顯示器710。通過實(shí)現(xiàn)此前描述的本發(fā)明原理，可以得到改善的視頻通信。具體地說，對于給定的帶寬，通過降低次(第二)活躍發(fā)言人730的視頻質(zhì)量并且不為不活躍的發(fā)言人提供視頻，參與方現(xiàn)在能夠接收最活躍發(fā)言人720的更好的視頻質(zhì)量。為了提供這種改善的視頻會議，視頻通信裝置接收最活躍發(fā)言人720的增強(qiáng)層和基本層、第二活躍發(fā)言人730的基本層并且不從不活躍發(fā)言人接收視頻。
以這種方式，視頻通信單元可以在更大、更高分辨率的顯示器提供不斷更新的最活躍發(fā)言人的視頻圖像，同時較小的顯示器可以顯示第二(次)活躍發(fā)言人。
優(yōu)選地，無線裝置700具有用于顯示最活躍發(fā)言人的較高質(zhì)量視頻圖像的主要視頻顯示器710，以及一個或多個第二不同的顯示器，用于顯示各個次活躍發(fā)言人。優(yōu)選地，由可操作地耦合到視頻顯示器的處理器(未示出)執(zhí)行各個視頻圖像進(jìn)入相應(yīng)顯示器的處理。處理器接收最活躍發(fā)言人720和次活躍發(fā)言人的指示，并且確定所接收的哪一個視頻圖像應(yīng)該在第一顯示器上顯示，從次活躍發(fā)言人730接收的哪一個圖像應(yīng)該在第二顯示器上顯示。有益地，可以設(shè)置第二顯示器，以提供較低質(zhì)量的次活躍發(fā)言人視頻圖像，從而節(jié)省費(fèi)用。
可以預(yù)料到，在未來，基于MCU的系統(tǒng)將會有助于在基于IP的網(wǎng)絡(luò)上的多媒體通信。因此，本發(fā)明的發(fā)明人想到，在此描述的技術(shù)可以包含在利用MCU的任何基于H.323/SIP的多點(diǎn)多媒體會議或系統(tǒng)中。
前述的優(yōu)選應(yīng)用是在用于寬帶碼分多址(WCDMA)標(biāo)準(zhǔn)的第三代合作計劃(3GPP)規(guī)范中。具體地說，本發(fā)明可以應(yīng)用于IP多媒體域(在規(guī)范的3G TS25.xxx系列中描述)，其計劃把H.323/SIP MCU結(jié)合到3GPP網(wǎng)絡(luò)中。見圖8，MCU將由媒體資源功能元件(MRF)890A支持。
圖8示出了一種以分級結(jié)構(gòu)形式的3GPP(UMTS)通信系統(tǒng)/網(wǎng)絡(luò)800，其能夠在根據(jù)本發(fā)明的的優(yōu)選實(shí)施例中采用。通信系統(tǒng)800適于并且包含能夠在UMTS和/或GPRS空中接口上操作的網(wǎng)絡(luò)元件。
通常認(rèn)為該網(wǎng)絡(luò)包括(i)用戶設(shè)備域810，由以下構(gòu)成(a)用戶SIM(USIM)域820，以及(b)移動設(shè)備域830；和(ii)基礎(chǔ)設(shè)施域840，由以下構(gòu)成(c)接入網(wǎng)域850，和(d)核心網(wǎng)域860，其由以下(至少)構(gòu)成(di)服務(wù)網(wǎng)域870，和(dii)轉(zhuǎn)接網(wǎng)域880，和(diii)IP多媒體域890，具有由SIP提供的多媒體(ETFRFC2543)。
在移動設(shè)備域830中，UE830A經(jīng)有線Cu接口從USIM域820中的用戶SIM820A接收數(shù)據(jù)。UE830A經(jīng)無線Uu接口與網(wǎng)絡(luò)接入域850中的節(jié)點(diǎn)B850A傳送數(shù)據(jù)。在網(wǎng)絡(luò)接入域850內(nèi)，節(jié)點(diǎn)B850A包含一個或多個收發(fā)信機(jī)單元并且經(jīng)UMTS規(guī)范定義的Iub接口與基于蜂窩的系統(tǒng)基礎(chǔ)設(shè)施的其余部分，例如，RNC850B通信。
RNC850B經(jīng)Iu接口與其它RNC(未示出)通信。RNC850B經(jīng)Iu接口與服務(wù)網(wǎng)域870中的SGSN870A通信。在服務(wù)網(wǎng)域870內(nèi)，SGSN870A經(jīng)Gn接口與GGSN870B通信，并且SGSN870A經(jīng)Gs接口與VLR服務(wù)器870C通信。根據(jù)本發(fā)明的優(yōu)選實(shí)施例，SGSN870A與MCU(未示出)通信，該MCU位于IP多媒體域890的媒體資源功能元件(890A)內(nèi)。經(jīng)Gi接口執(zhí)行通信。
GGSN870B(和/或SSGN)負(fù)責(zé)UMTS(或GPRS)與諸如因特網(wǎng)或公共交換電話網(wǎng)(PSTN)這樣的公共交換數(shù)據(jù)網(wǎng)(PDSN)880A接口。SGSN870A執(zhí)行UMTS核心網(wǎng)內(nèi)業(yè)務(wù)的路由和隧道功能，同時GGSN870B連接到外部分組網(wǎng)絡(luò)，在這種情況中是任何一個訪問系統(tǒng)的UMTS模式的網(wǎng)絡(luò)。
RNC850B是負(fù)責(zé)許多節(jié)點(diǎn)B的資源控制和分配的UTRAN元件；通常，一個RNC850B可以控制50到100個節(jié)點(diǎn)B。RNC850B還通過空中接口提供可靠的用戶業(yè)務(wù)傳送。多個RNC彼此通信(經(jīng)接口Iur)以支持切換和宏分集。
SGSN870A是UMTS核心網(wǎng)元件，負(fù)責(zé)會話控制以及到位置寄存器(HLR和VLR)的接口。SGSN是用于許多RNC的大型集中控制器。
GGSN870B是UMTS核心網(wǎng)元件，負(fù)責(zé)把核心分組網(wǎng)的用戶數(shù)據(jù)集中并隧道到最終的目的地(例如，因特網(wǎng)服務(wù)提供商(ISP))。這樣的用戶數(shù)據(jù)包括去往/來自IP多媒體域890的多媒體和相關(guān)的信令數(shù)據(jù)。在IP多媒體域890中，MRF被分為多媒體資源功能控制器(MRFC)892A和多媒體資源功能處理器(MPFP)891A。如上所述，MRFC892A提供多點(diǎn)控制器(MC)功能性，而MPFP891A提供多點(diǎn)處理器(MP)功能性。
跨越Mr參考點(diǎn)/接口893A使用的協(xié)議是SIP(如RFC2543定義的)。呼叫狀態(tài)控制功能元件(CSCF)895A充當(dāng)呼叫服務(wù)器并處理多媒體呼叫信令。
因此，根據(jù)本發(fā)明的優(yōu)選實(shí)施例，如在此之前描述的，元件SGSN870A、GGSN870B和所有MRF890A中的部分都適于促進(jìn)多媒體消息。此外，如在此之前描述的，UE830A、節(jié)點(diǎn)B850A和RNC850B還適于促進(jìn)改進(jìn)的多媒體消息。
總的來說，這種適配可以以任何合適的方式在各個通信單元中實(shí)現(xiàn)。例如，可以在現(xiàn)有的通信單元添加新的裝置，或作為選擇的采用現(xiàn)有的通信單元的現(xiàn)有部分，例如通過對其中的一個或多個處理器重新編程。這樣，所要求的適配可以以存儲在存儲介質(zhì)上的處理器可實(shí)現(xiàn)指令的形式來實(shí)現(xiàn)，這里的存儲介質(zhì)例如軟盤、硬盤、PROM、RAM或任何這些或其他存儲多媒體的組合。
作為選擇的，多媒體消息的這種適配還可以通過采用通信系統(tǒng)800的任何其他部分來控制、全部實(shí)現(xiàn)或部分實(shí)現(xiàn)，這也在本發(fā)明的考慮中。
盡管通常提供上面的元件作為分立單元(在它們自己各自的軟件/硬件平臺上)，分為移動設(shè)備域830、接入網(wǎng)域850和服務(wù)網(wǎng)域870，但是可以想到也可以采用其他的配置。
另外，在其他網(wǎng)絡(luò)基礎(chǔ)設(shè)施的情況中，例如GSM網(wǎng)中，處理操作的實(shí)現(xiàn)可以由任何合適的節(jié)點(diǎn)來執(zhí)行，例如任何其他合適類型的基站、基站控制器、移動交換中心或可操作和管理控制器等等。作為選擇的，可以通過分布在任何合適網(wǎng)絡(luò)網(wǎng)絡(luò)內(nèi)的不同位置或?qū)嶓w的各種部件來執(zhí)行上面提到的步驟。
如上所述，優(yōu)選的，當(dāng)應(yīng)用在集中視頻會議中時，使用分層視頻編碼的視頻會議方法可以提供以下的優(yōu)點(diǎn)(i)與傳統(tǒng)系統(tǒng)相比，發(fā)言人的識別有了很大改善，因?yàn)楣蚕韼捲试S發(fā)送一個或多個增強(qiáng)層和幾個基本層而不是只發(fā)送一個完全質(zhì)量視頻流。
(ii)當(dāng)活躍發(fā)言人改變時，使用在此描述的本發(fā)明原理的視頻交換更加平滑，這是因?yàn)樗x了幾個狀態(tài)，活躍發(fā)言人、第二最活躍發(fā)言人、不活躍發(fā)言人。
(iii)最活躍發(fā)言人的視頻質(zhì)量得到了改善。
(iv)改進(jìn)的視頻通信單元可以顯示各種發(fā)言人，每一被顯示的圖像依賴于與相應(yīng)視頻通信單元的傳輸有關(guān)的優(yōu)先級。
已經(jīng)描述了一種在多個多媒體用戶設(shè)備之間的多媒體視頻會議中中繼視頻圖像的方法。該方法包括以下步驟通過許多用戶設(shè)備中的多個發(fā)送分層視頻圖像，其中分層視頻圖像包括基本層和一個或多個增強(qiáng)層，并且在多點(diǎn)控制單元接收發(fā)送的分層視頻圖像。選擇許多活躍發(fā)言人的許多基本層圖像和最活躍發(fā)言人的一個或多個增強(qiáng)層。該多點(diǎn)控制單元把許多活躍發(fā)言人的許多基本層視頻圖像和最活躍發(fā)言人的一個或多個增強(qiáng)層發(fā)送給多個多媒體用戶設(shè)備的一個或多個。
此外，描述了一種用于在多個用戶設(shè)備之間中繼視頻圖像的視頻會議裝置。另外，還描述了一種用于參與視頻會議的無線裝置，其中許多參與方發(fā)送視頻圖像。
權(quán)利要求
1.一種用于在多個多媒體用戶設(shè)備(550、560、570、580)之間的多媒體會議中中繼視頻圖像的方法，該方法包括以下步驟由多個所述用戶設(shè)備組發(fā)送分層視頻圖像，其中所述分層視頻圖像包括基本層(552、562、572、582)和一個或多個增強(qiáng)層(555、565、575、585)；在多點(diǎn)控制單元(520)接收所述的發(fā)送的分層視頻圖像；選擇許多活躍發(fā)言人(535)的許多基本層視頻圖像和最活躍發(fā)言人的一個或多個增強(qiáng)層(540)；并且由所述多點(diǎn)控制單元(520)發(fā)送所述許多活躍發(fā)言人(535)的許多基本層視頻圖像以及最活躍發(fā)言人的一個或多個增強(qiáng)層(540)給該多個多媒體用戶設(shè)備(550、560、570、580)的一個或多個。
2.根據(jù)權(quán)利要求1的在多媒體會議中中繼視頻圖像的方法，其中，選擇步驟進(jìn)一步包括以下步驟分析所述多個多媒體用戶設(shè)備(550、560、570、580)發(fā)送的許多音頻數(shù)據(jù)流(590)，以便確定所述許多活躍發(fā)言人和/或最活躍發(fā)言人。
3.根據(jù)權(quán)利要求1或2的在多媒體會議中中繼視頻圖像的方法，其中該方法進(jìn)一步包括以下步驟為由各個用戶設(shè)備發(fā)送的每一分層視頻圖像和/或所述音頻數(shù)據(jù)流指定優(yōu)先級；并且基于所述指定的優(yōu)先級，選擇許多基本層視頻圖像(535)和一個或多個增強(qiáng)層(540)，用于發(fā)送給所述多個多媒體用戶設(shè)備(550、560、570、580)的所述一個或多個。
4.根據(jù)前述任一權(quán)利要求的在多媒體會議中中繼視頻圖像的方法，其中該方法進(jìn)一步包括以下步驟把最活躍發(fā)言人的視頻圖像的第一預(yù)測幀譯碼(660)為幀內(nèi)編碼幀，用于增強(qiáng)最活躍發(fā)言人的視頻質(zhì)量。
5.根據(jù)前述任一權(quán)利要求的在多媒體會議中中繼視頻圖像的方法，其中該方法進(jìn)一步包括以下步驟當(dāng)多于一個的增強(qiáng)層可用時，通過所述多媒體控制單元(520)隨著每一分層視頻圖像的傳輸，接收所述一個或多個發(fā)言人的分類指示，以便提供所述視頻圖像的更精確的量測性。
6.根據(jù)前述任一權(quán)利要求的在多媒體會議中中繼視頻圖像的方法，其中，該方法進(jìn)一步包括以下步驟對于一個或多個基本層視頻流，把預(yù)測幀轉(zhuǎn)換為幀內(nèi)編碼幀。
7.一種用于在多個用戶設(shè)備(550、560、570、580)之間中繼視頻圖像的視頻會議裝置，該視頻會議裝置包括多點(diǎn)控制單元(520)，適于接收所述許多用戶設(shè)備的多個發(fā)送的許多分層視頻圖像，其中所述分層視頻圖像包括基本層(552、562、572、582)和一個或多個增強(qiáng)層(555、565、575、585)；以及視頻交換模塊(530)，以可操作的方式耦合到所述多點(diǎn)控制單元(520)并且適于選擇許多活躍發(fā)言人(535)的許多基本層視頻圖像和最活躍發(fā)言人的一個或多個增強(qiáng)層(540)；其中所述多點(diǎn)控制單元(520)進(jìn)一步適于發(fā)送所述許多活躍發(fā)言人(535)的許多基本層視頻圖像以及最活躍發(fā)言人的一個或多個增強(qiáng)層(540)給該多個多媒體用戶設(shè)備(550、560、570、580)的一個或多個。
8.根據(jù)權(quán)利要求7的視頻會議裝置，進(jìn)一步包括預(yù)測幀到幀內(nèi)編碼幀譯碼模塊(660)，可操作地耦合到所述視頻交換模塊(530)，以便如果所述多點(diǎn)控制單元(520)接收初始作為預(yù)測幀的所述幀，就提供最活躍發(fā)言人增強(qiáng)層視頻流為幀內(nèi)編碼幀。
9.根據(jù)權(quán)利要求7或8的視頻會議裝置，進(jìn)一步包括發(fā)言人識別模塊(620)，分析許多音頻流(590)，以便確定許多活躍發(fā)言人和/或所述最活躍發(fā)言人。
10.根據(jù)權(quán)利要求9的視頻會議裝置，其中所述發(fā)言人識別模塊(620)基于確定的每一參與方的活躍性分配優(yōu)先級，以確定以下的一個或多個最活躍發(fā)言人(622)、任何其他活躍發(fā)言人(625)和任何不活躍發(fā)言人。
11.一種用于參與視頻會議的無線裝置(700)，在視頻會議中多個參與方發(fā)送視頻圖像，該無線裝置(700)包括視頻顯示器(710)，具有第一顯示器和一個或多個第二不同顯示器，用于顯示來自該多個參與方的各個參與方(720、730)；以及處理器，可操作地耦合到到所述視頻顯示器，用于接收最活躍發(fā)言人(720)和多個次活躍發(fā)言人(730)的指示，并且確定從所述最活躍發(fā)言人(720)接收的所述視頻圖像顯示在提供較高質(zhì)量視頻圖像的所述第一顯示器上，并且從所述多個次活躍發(fā)言人(730)接收的所述視頻圖像顯示在提供較低質(zhì)量視頻圖像的所述第二顯示器上。
12.一種多點(diǎn)處理器器，包括一個或多個接收端口，適于從多個用戶設(shè)備(550、560、570、580)接收分層視頻圖像，分層視頻圖像包括基本層視頻流(552、562、572、582)和增強(qiáng)層視頻流(555、565、575、585)；以及交換模塊(640)，可操作地耦合到所述一個或多個接收端口，選擇許多活躍發(fā)言人(535)的許多基本層視頻圖像和最活躍發(fā)言人的一個或多個增強(qiáng)層(540)，用于發(fā)送給一個或多個用戶設(shè)備(550、560、570、580)。
13.根據(jù)權(quán)利要求12的多點(diǎn)處理器，進(jìn)一步包括發(fā)言人識別模塊(620)，可操作地耦合到所述一個或多個接收端口，用于分析從所述許多用戶設(shè)備的多個中接收的許多音頻流(590)，以便確定許多活躍發(fā)言人和/或所述最活躍發(fā)言人。
14.根據(jù)權(quán)利要求12或13的多點(diǎn)處理器，其中所述發(fā)言人識別模塊(620)基于確定的許多參與方的活動性分配優(yōu)先級，以確定以下的一個或多個最活躍發(fā)言人(622)、任何其他活躍發(fā)言人(625)和任何不活躍發(fā)言人。
15.根據(jù)權(quán)利要求12到14任一個的多點(diǎn)處理器，進(jìn)一步包括預(yù)測幀到幀內(nèi)編碼幀譯碼模塊(660)，可操作地耦合到所述交換模塊(640)，以便如果在相應(yīng)的端口接收的所述最活躍發(fā)言人的增強(qiáng)層視頻流為預(yù)測幀，就把它轉(zhuǎn)換為幀內(nèi)編碼幀。
16.一種適于執(zhí)行權(quán)利要求1到6中任何一個的方法步驟，或適于包括權(quán)利要求7到10中任何一個的視頻會議裝置、或適于包括權(quán)利要求12到15中任何一個的多點(diǎn)處理器的視頻通信系統(tǒng)。
17.根據(jù)權(quán)利要求16的視頻通信系統(tǒng)，其中，該視頻通信系統(tǒng)可與具有互聯(lián)網(wǎng)協(xié)議多媒體域(890)的UMTS通信標(biāo)準(zhǔn)(800)兼容，以便于視頻會議通信。
18.一種適于執(zhí)行權(quán)利要求1到6中任何一個的方法步驟、或適于包括權(quán)利要求7到10中任何一個的視頻會議裝置、或適于包括權(quán)利要求12到15中任何一個的多點(diǎn)處理器的媒體資源功能元件(890A)。
19.一種適于接收根據(jù)權(quán)利要求1到6的方法產(chǎn)生的分層視頻會議圖像的視頻通信單元(700)。
20.一種適于產(chǎn)生用在權(quán)利要求1到6的方法中的分層視頻會議圖像、或適于發(fā)送根據(jù)權(quán)利要求1到6的方法產(chǎn)生的分層視頻會議圖像的視頻通信單元。
21.根據(jù)權(quán)利要求19的視頻通信單元，其中該視頻通信單元是以下之一節(jié)點(diǎn)B(850A)，RNC(850B)，SGSN(870A)，GGSN(870B)，MRF(890A)。
22.根據(jù)權(quán)利要求1到6的在多媒體視頻會議中中繼視頻圖像的方法或根據(jù)權(quán)利要求7到10中任何一個的視頻會議裝置，或根據(jù)權(quán)利要求12到15中任何一個的多點(diǎn)處理器或根據(jù)權(quán)利要求16到17的視頻通信系統(tǒng)，或根據(jù)權(quán)利要求18的媒體資源功能元件(890A)或根據(jù)權(quán)利要求19、20或21的視頻通信單元，都適于促進(jìn)基于H.323標(biāo)準(zhǔn)或SIP標(biāo)準(zhǔn)的視頻會議圖像。
23.一種存儲處理器可實(shí)現(xiàn)指令的存儲介質(zhì)，該指令用于控制處理器執(zhí)行權(quán)利要求1到6中任何一個的方法。
全文摘要
一種在多個多媒體用戶設(shè)備(550、560、570、580)之間的多媒體視頻會議中重放視頻圖像的方法，包括通過許多所述用戶設(shè)備發(fā)送分層視頻圖像的步驟，其中所述分層視頻圖像包括基本層(552、562、572、582)和一個或多個增強(qiáng)層(555、565、575、585)。在多點(diǎn)控制單元(520)接收所發(fā)送的分層視頻圖像，在該單元選擇許多活躍發(fā)言人(535)的許多基本層視頻圖像和最活躍發(fā)言人的一個或多個增強(qiáng)層(540)。該多點(diǎn)控制單元(520)把這些基本層視頻圖像和該最活躍發(fā)言人的一個或多個增強(qiáng)層發(fā)送給所述多個多媒體用戶設(shè)備(550、560、570、580)中的一個或多個。相對于現(xiàn)有的視頻會議系統(tǒng)，發(fā)言人的識別得到了極大改善，因?yàn)榭捎脦挼墓蚕碓试S發(fā)送一個增強(qiáng)層和幾個基本層，而不是只發(fā)送一個完全質(zhì)量視頻流。
文檔編號H04N5/00GK1618233SQ02827743
公開日2005年5月18日 申請日期2002年12月16日 優(yōu)先權(quán)日2002年1月30日
發(fā)明者阿瑟·拉萊 申請人:摩托羅拉公司