用于會(huì)議系統(tǒng)對(duì)會(huì)議會(huì)話的當(dāng)前條件的實(shí)時(shí)適應(yīng)的系統(tǒng)和方法
【技術(shù)領(lǐng)域】
[0001] 本公開涉及視頻會(huì)議，更特別地涉及基于視頻會(huì)議會(huì)話的當(dāng)前條件，從一種會(huì)議 技術(shù)適應(yīng)到另一種會(huì)議技術(shù)的領(lǐng)域。
【背景技術(shù)】
[0002] 隨著日常應(yīng)用和服務(wù)以顯著的速率轉(zhuǎn)移到互聯(lián)網(wǎng)協(xié)議（IP)網(wǎng)絡(luò)，并且涌現(xiàn)出各 種各樣多媒體會(huì)議設(shè)備，越來越多的人依賴多媒體會(huì)議作為重要的通信方法。現(xiàn)在，多媒體 會(huì)議通信可以使用多種會(huì)議技術(shù)實(shí)現(xiàn)。會(huì)議技術(shù)的幾個(gè)示例包括傳統(tǒng)多媒體會(huì)議方法、媒 體中繼會(huì)議方法、網(wǎng)格會(huì)議方法。在本公開中，術(shù)語(yǔ)多媒體會(huì)議、視頻會(huì)議（有或沒有內(nèi)容） 和音頻會(huì)議可被互換使用，并且術(shù)語(yǔ)視頻會(huì)議被用作視頻、音頻和多媒體會(huì)議的代表術(shù)語(yǔ)。
[0003] 三個(gè)或更多參與者之間的傳統(tǒng)多點(diǎn)會(huì)議需要多點(diǎn)控制單元（MCU)。這樣的MCU是 通常位于網(wǎng)絡(luò)節(jié)點(diǎn)中或終端中從多個(gè)端點(diǎn)接收數(shù)個(gè)信道的會(huì)議控制實(shí)體。根據(jù)某種標(biāo)準(zhǔn)， 傳統(tǒng)MCU處理音頻和視覺信號(hào)并經(jīng)由一組相連的信道將它們分配到每個(gè)參與端點(diǎn)。傳統(tǒng) MCU的示例包括RMX 2000?，其可從Polycom公司獲得（RMX 2000是Polycom公司的注冊(cè) 商標(biāo)）。傳統(tǒng)通信方法中的終端，其可被稱為傳統(tǒng)端點(diǎn)（LEP)，是網(wǎng)絡(luò)上能夠提供與另一 LEP 或與MCU的實(shí)時(shí)、雙向音頻和/或音頻視覺通信的實(shí)體。LEP和MCU更完整的定義可以在 國(guó)際電信聯(lián)盟（"ITU"）標(biāo)準(zhǔn)中找到，例如但不限于Η. 320、H. 324和H. 323標(biāo)準(zhǔn)，它們可在 ITU的網(wǎng)站W(wǎng)WW. itu. int上找到。
[0004] 也被稱為傳統(tǒng)MCU的常用MCU可以包括多個(gè)音頻和視頻解碼器、編碼器以及媒體 組合器（音頻混合器和/或視頻圖像生成器）。MCU可能使用大量處理能力來處理不同數(shù) 量參與者（LEP)之間的音頻和視頻通信。該通信可以基于各種通信協(xié)議和壓縮標(biāo)準(zhǔn)并且可 以涉及不同類型LEP。MCU可能需要將多個(gè)輸入音頻或視頻流分別組合成兼容輸出流要被 發(fā)送到的至少一個(gè)參會(huì)者的LEP的屬性的至少一個(gè)單一輸出音頻或視頻流。自端點(diǎn)接收的 壓縮音頻流被解碼并被分析以確定哪些音頻流要被選擇用于混合進(jìn)會(huì)議的單一音頻流。術(shù) 語(yǔ)解碼和解壓縮可在此互換使用。
[0005] 會(huì)議可以具有一個(gè)或多個(gè)視頻輸出流，其中每個(gè)輸出流與布局（layout)相關(guān)聯(lián)。 布局定義了在接收該流的一個(gè)或多個(gè)參會(huì)者的顯示器上的會(huì)議外觀。布局可以被分為一個(gè) 或多個(gè)部分，其中每個(gè)部分可以與由某個(gè)參會(huì)者經(jīng)由LEP發(fā)送的視頻輸入流相關(guān)聯(lián)。每個(gè) 輸出流可以由數(shù)個(gè)輸入流構(gòu)成，形成連續(xù)呈現(xiàn)（CP)圖像。在CP會(huì)議中，遠(yuǎn)程終端處的用戶 可以在會(huì)議中同時(shí)觀看數(shù)個(gè)其他參與者。每個(gè)參與者可以被顯示在布局的一個(gè)部分內(nèi)，并 且每個(gè)部分可以尺寸相同或者尺寸不同。被顯示并與布局的部分相關(guān)聯(lián)的參與者的選擇可 以在參加同一會(huì)話的不同參會(huì)者之間變化。
[0006] 第二種類型的通信方法是媒體中繼會(huì)議（MRC)。在MRC中，媒體中繼MCU (MRM)從 每個(gè)參加的媒體中繼端點(diǎn)（MRE)接收一個(gè)或多個(gè)流。MRM將接收自會(huì)議中其他端點(diǎn)的一組 多個(gè)媒體流中繼到每個(gè)參加的端點(diǎn)。每個(gè)接收端點(diǎn)使用多個(gè)流根據(jù)布局產(chǎn)生視頻CP圖像， 以及混合的會(huì)議音頻。CP視頻圖像和混合音頻被播放給MRE的用戶。MRE可以是會(huì)話中的 會(huì)議終端，其具有從MRM接收中繼的媒體并根據(jù)來自MRM的指令遞送壓縮的媒體的能力。想 要進(jìn)一步了解MRC、MRM或MRE的讀者可以閱讀美國(guó)專利第8, 228, 363號(hào)和8, 760, 492號(hào)， 兩者都通過引用其整體而結(jié)合于此。如在此使用的，術(shù)語(yǔ)端點(diǎn)可以代表LEP或MRE。
[0007] 在一些MRC系統(tǒng)中，發(fā)送MRE在兩個(gè)或更多流中發(fā)送其視頻圖像；每個(gè)流可以與不 同質(zhì)量水平相關(guān)聯(lián)。質(zhì)量可以在幀率、分辨率和/或信噪比（SNR)等方面有所不同。以類 似的方式，每個(gè)發(fā)送MRE可以通過例如壓縮比特率在互相不同的兩個(gè)或更多流中發(fā)送其音 頻。這樣的系統(tǒng)可以使用多個(gè)流來提供布局中的不同部分尺寸、由每個(gè)接收端點(diǎn)使用的不 同分辨率等等。進(jìn)一步地，多個(gè)流可以用于克服分組丟失。
[0008] MRC現(xiàn)在正越來越流行。許多視頻會(huì)議系統(tǒng)在一個(gè)或多個(gè)流中并行遞送多種質(zhì)量 水平。例如對(duì)于視頻，質(zhì)量可以表達(dá)為多個(gè)域，諸如時(shí)域（例如幀每秒），空域（例如HD對(duì) CIF)，和/或質(zhì)量（例如銳利度）。例如能夠用于多質(zhì)量流的視頻壓縮標(biāo)準(zhǔn)是H. 264AVC、 H. 264附件G(SVC)、MPEG-4等。諸如H. 264的壓縮標(biāo)準(zhǔn)的更多信息可以在ITU網(wǎng)站www. itu. int 上、或在 www. mpeg, org 上獲得。
[0009] 在前兩種類型的通信方法中，即傳統(tǒng)MCU和MRC，需要中心實(shí)體來處理信令和音頻 及視頻媒體流（分別為MCU或MRM)。每個(gè)端點(diǎn)向MCU或MRM發(fā)送其媒體流。MCU或MRM根 據(jù)應(yīng)用的通信方法的類型處理媒體流并傳輸相關(guān)流到接收端點(diǎn)。術(shù)語(yǔ)MCU在此用作MRM和 傳統(tǒng)MCU的代表術(shù)語(yǔ)。
[0010] 可以使用第三種類型的通信方法。第三種方法可以稱為網(wǎng)格會(huì)議系統(tǒng)（MCS)。在 MCS中，不存在用于處理媒體流的中心實(shí)體。相反，在MCS中，名冊(cè)（Roster)列表服務(wù)器 (RLS)可被用作中心信令實(shí)體，并且客戶端可以相互直接發(fā)送和接收媒體。在MCS的示例 中，客戶端可以使用WebRTC應(yīng)用程序接口（API)。WebRTC由萬維網(wǎng)聯(lián)盟（W3C)草擬用于 方便音頻、視頻和數(shù)據(jù)共享的瀏覽器到瀏覽器實(shí)時(shí)通信（P2P)。常用WebRTC可以對(duì)視頻使 用VP8編解碼器，對(duì)音頻使用OPUS編解碼器。VP8是谷歌公司擁有的視頻壓縮格式。Opus 是由互聯(lián)網(wǎng)工程任務(wù)組（IETF)開發(fā)的有損音頻編解碼器。WebRTC和壓縮格式VP8當(dāng)前被 例如但不限于谷歌CHROME? (CHROME是谷歌公司的注冊(cè)商標(biāo)）、Mozilia F1REFOX? (FIREF0X是Mozilla基金的的注冊(cè)商標(biāo)）、OPERA? (OPERA是OPERA軟件ASA的注冊(cè)商 標(biāo)）等瀏覽器應(yīng)用所支持。一些瀏覽器可能需要插件以便使用WebRTC和VP8編解碼器。其 他MCS可以使用其他網(wǎng)絡(luò)客戶端和其它壓縮標(biāo)準(zhǔn)以便遞送網(wǎng)格會(huì)議服務(wù)。
[0011] 常用RLS可以持有多個(gè)虛擬會(huì)議室（VMR)的目錄。每個(gè)VMR能夠代表一個(gè)視頻會(huì) 議會(huì)話并且可以在具有或不具有密碼的情況下與VMR標(biāo)識(shí)（VMRID)相關(guān)聯(lián)。在一些MCS中， 每個(gè)VMR可以具有不同的統(tǒng)一資源定位符（URL)或統(tǒng)一資源標(biāo)識(shí)符（URI)。進(jìn)一步地，VMR 可以包括已經(jīng)連接到VMR的端點(diǎn)列表。在該列表中，每個(gè)端點(diǎn)與允許其他參加者聯(lián)系該VMR 的一個(gè)或多個(gè)URL相關(guān)聯(lián)。每個(gè)URL可以與媒體類型或信令相關(guān)聯(lián)。在常用MCS中，也被 稱為RTS狀態(tài)表的RLS列表從第一個(gè)呼叫VMR的參會(huì)者起被實(shí)時(shí)創(chuàng)建，并且每次新的參會(huì) 者加入該VMR或當(dāng)前參會(huì)者離開該VMR時(shí)被更新。RLS的非限制性示例是www. Vline. com。
[0012] 當(dāng)用戶希望參加網(wǎng)格視頻會(huì)議會(huì)話時(shí)，該用戶可以通過使用瀏覽器應(yīng)用并點(diǎn)擊提 供于會(huì)議邀請(qǐng)中的URL，使用網(wǎng)絡(luò)客戶端聯(lián)系RLS中的虛擬會(huì)議室。RLS可以啟動(dòng)認(rèn)證過程， 并且一旦完成，HTML5文件可以下載到瀏覽器應(yīng)用。瀏覽器應(yīng)用可以解析該HTML5文件并 下載已經(jīng)與該虛擬會(huì)議室相關(guān)聯(lián)的用戶的URL的列表。此外，JavaScript RLS網(wǎng)絡(luò)客戶端 (RLSWC)可以從RLS部署到發(fā)出請(qǐng)求的瀏覽器應(yīng)用，例如谷歌CHROME、Mozilla Firefox或 Opera Mobile。RLSWC可以包括在建立實(shí)時(shí)會(huì)話時(shí)需要的邏輯模塊。當(dāng)RLSWC被運(yùn)行瀏覽 器應(yīng)用的處理器使用時(shí)，處理器可以建立與其他瀏覽器應(yīng)用的信令和控制連接并且進(jìn)行網(wǎng) 格視頻會(huì)議。
[0013] 在某些情況下，RLS還可以傳輸VMR狀態(tài)表到新的參會(huì)者。VMR狀態(tài)表可以包括已 經(jīng)參加視頻會(huì)話的對(duì)等者的信息。隨后，新參會(huì)者需要通過建立信令和控制連接而建立與 每個(gè)參會(huì)者端點(diǎn)的視頻會(huì)議會(huì)話。系統(tǒng)可以基于例如會(huì)話發(fā)起協(xié)議（SIP)或H. 323。隨后 每個(gè)端點(diǎn)需要建立一個(gè)或多個(gè)SRTP/IP和SRTCP/IP連接以用于發(fā)送其視頻圖像和音頻流 到每個(gè)其他參加的端點(diǎn)，以及用于從每個(gè)其他參加端點(diǎn)接收視頻圖像和音頻流。SRTP代表 安全實(shí)時(shí)傳輸協(xié)議，并且SRTCP代表安全實(shí)時(shí)控制協(xié)議。每次參會(huì)者離開會(huì)話時(shí)，RLS可以 相應(yīng)地更新VMR狀態(tài)表。更新過的VMR狀態(tài)表的復(fù)制件可以被提供給每個(gè)當(dāng)前連接的參會(huì) 者以通知他們最新的變化。在某些情況下，完整的更新后VMR狀態(tài)表被發(fā)送。在其他情況 下，僅變化被發(fā)送。因而，在MCS中，沒有中心實(shí)體接收或發(fā)送去往和來自參加的端點(diǎn)的媒 體流。
[0014] 想要進(jìn)一步了解視頻會(huì)議標(biāo)準(zhǔn)和協(xié)議的讀者可以訪問ITU網(wǎng)站www. itu. int，或 者互聯(lián)網(wǎng)工程任務(wù)組（IETF)網(wǎng)站www.ietf.org。傳統(tǒng)多點(diǎn)會(huì)議系統(tǒng)、MRC、MCS、MCU、RLS、 LEP、MRE、網(wǎng)絡(luò)會(huì)議客戶端以及VMR對(duì)于普通本領(lǐng)域技術(shù)人員而言是公知的，并且被描述于 許多專利、專利申請(qǐng)和技術(shù)書籍中。因此，這些將不被進(jìn)一步描述。以下是描述視頻會(huì)議系 統(tǒng)的專利和專利公布的示例：美國(guó)專利第6, 496, 216、6, 757, 005、7, 174, 365、7, 085, 243、 8, 411，595、7, 830, 824、7, 542, 068、8, 340, 271 和 8, 228, 363 號(hào)，以及美國(guó)專利公布文本第 20140028788號(hào)和其他文件。
[0015] 傳統(tǒng)MCS受到某些限制。一個(gè)這樣的限制圍繞帶寬。當(dāng)三個(gè)端點(diǎn)參加網(wǎng)格視頻會(huì) 議會(huì)話時(shí),每個(gè)端點(diǎn)發(fā)送兩個(gè)音頻流和兩個(gè)視頻流,一組去往其