用于會議系統(tǒng)對會議會話的當前條件的實時適應的系統(tǒng)和方法
【技術領域】
[0001] 本公開涉及視頻會議，更特別地涉及基于視頻會議會話的當前條件，從一種會議 技術適應到另一種會議技術的領域。
【背景技術】
[0002] 隨著日常應用和服務以顯著的速率轉移到互聯(lián)網協(xié)議（IP)網絡，并且涌現(xiàn)出各 種各樣多媒體會議設備，越來越多的人依賴多媒體會議作為重要的通信方法。現(xiàn)在，多媒體 會議通信可以使用多種會議技術實現(xiàn)。會議技術的幾個示例包括傳統(tǒng)多媒體會議方法、媒 體中繼會議方法、網格會議方法。在本公開中，術語多媒體會議、視頻會議（有或沒有內容） 和音頻會議可被互換使用，并且術語視頻會議被用作視頻、音頻和多媒體會議的代表術語。
[0003] 三個或更多參與者之間的傳統(tǒng)多點會議需要多點控制單元（MCU)。這樣的MCU是 通常位于網絡節(jié)點中或終端中從多個端點接收數個信道的會議控制實體。根據某種標準， 傳統(tǒng)MCU處理音頻和視覺信號并經由一組相連的信道將它們分配到每個參與端點。傳統(tǒng) MCU的示例包括RMX 2000?，其可從Polycom公司獲得（RMX 2000是Polycom公司的注冊 商標）。傳統(tǒng)通信方法中的終端，其可被稱為傳統(tǒng)端點（LEP)，是網絡上能夠提供與另一 LEP 或與MCU的實時、雙向音頻和/或音頻視覺通信的實體。LEP和MCU更完整的定義可以在 國際電信聯(lián)盟（"ITU"）標準中找到，例如但不限于Η. 320、H. 324和H. 323標準，它們可在 ITU的網站WWW. itu. int上找到。
[0004] 也被稱為傳統(tǒng)MCU的常用MCU可以包括多個音頻和視頻解碼器、編碼器以及媒體 組合器（音頻混合器和/或視頻圖像生成器）。MCU可能使用大量處理能力來處理不同數 量參與者（LEP)之間的音頻和視頻通信。該通信可以基于各種通信協(xié)議和壓縮標準并且可 以涉及不同類型LEP。MCU可能需要將多個輸入音頻或視頻流分別組合成兼容輸出流要被 發(fā)送到的至少一個參會者的LEP的屬性的至少一個單一輸出音頻或視頻流。自端點接收的 壓縮音頻流被解碼并被分析以確定哪些音頻流要被選擇用于混合進會議的單一音頻流。術 語解碼和解壓縮可在此互換使用。
[0005] 會議可以具有一個或多個視頻輸出流，其中每個輸出流與布局（layout)相關聯(lián)。 布局定義了在接收該流的一個或多個參會者的顯示器上的會議外觀。布局可以被分為一個 或多個部分，其中每個部分可以與由某個參會者經由LEP發(fā)送的視頻輸入流相關聯(lián)。每個 輸出流可以由數個輸入流構成，形成連續(xù)呈現(xiàn)（CP)圖像。在CP會議中，遠程終端處的用戶 可以在會議中同時觀看數個其他參與者。每個參與者可以被顯示在布局的一個部分內，并 且每個部分可以尺寸相同或者尺寸不同。被顯示并與布局的部分相關聯(lián)的參與者的選擇可 以在參加同一會話的不同參會者之間變化。
[0006] 第二種類型的通信方法是媒體中繼會議（MRC)。在MRC中，媒體中繼MCU (MRM)從 每個參加的媒體中繼端點（MRE)接收一個或多個流。MRM將接收自會議中其他端點的一組 多個媒體流中繼到每個參加的端點。每個接收端點使用多個流根據布局產生視頻CP圖像， 以及混合的會議音頻。CP視頻圖像和混合音頻被播放給MRE的用戶。MRE可以是會話中的 會議終端，其具有從MRM接收中繼的媒體并根據來自MRM的指令遞送壓縮的媒體的能力。想 要進一步了解MRC、MRM或MRE的讀者可以閱讀美國專利第8, 228, 363號和8, 760, 492號， 兩者都通過引用其整體而結合于此。如在此使用的，術語端點可以代表LEP或MRE。
[0007] 在一些MRC系統(tǒng)中，發(fā)送MRE在兩個或更多流中發(fā)送其視頻圖像；每個流可以與不 同質量水平相關聯(lián)。質量可以在幀率、分辨率和/或信噪比（SNR)等方面有所不同。以類 似的方式，每個發(fā)送MRE可以通過例如壓縮比特率在互相不同的兩個或更多流中發(fā)送其音 頻。這樣的系統(tǒng)可以使用多個流來提供布局中的不同部分尺寸、由每個接收端點使用的不 同分辨率等等。進一步地，多個流可以用于克服分組丟失。
[0008] MRC現(xiàn)在正越來越流行。許多視頻會議系統(tǒng)在一個或多個流中并行遞送多種質量 水平。例如對于視頻，質量可以表達為多個域，諸如時域（例如幀每秒），空域（例如HD對 CIF)，和/或質量（例如銳利度）。例如能夠用于多質量流的視頻壓縮標準是H. 264AVC、 H. 264附件G(SVC)、MPEG-4等。諸如H. 264的壓縮標準的更多信息可以在ITU網站www. itu. int 上、或在 www. mpeg, org 上獲得。
[0009] 在前兩種類型的通信方法中，即傳統(tǒng)MCU和MRC，需要中心實體來處理信令和音頻 及視頻媒體流（分別為MCU或MRM)。每個端點向MCU或MRM發(fā)送其媒體流。MCU或MRM根 據應用的通信方法的類型處理媒體流并傳輸相關流到接收端點。術語MCU在此用作MRM和 傳統(tǒng)MCU的代表術語。
[0010] 可以使用第三種類型的通信方法。第三種方法可以稱為網格會議系統(tǒng)（MCS)。在 MCS中，不存在用于處理媒體流的中心實體。相反，在MCS中，名冊（Roster)列表服務器 (RLS)可被用作中心信令實體，并且客戶端可以相互直接發(fā)送和接收媒體。在MCS的示例 中，客戶端可以使用WebRTC應用程序接口（API)。WebRTC由萬維網聯(lián)盟（W3C)草擬用于 方便音頻、視頻和數據共享的瀏覽器到瀏覽器實時通信（P2P)。常用WebRTC可以對視頻使 用VP8編解碼器，對音頻使用OPUS編解碼器。VP8是谷歌公司擁有的視頻壓縮格式。Opus 是由互聯(lián)網工程任務組（IETF)開發(fā)的有損音頻編解碼器。WebRTC和壓縮格式VP8當前被 例如但不限于谷歌CHROME? (CHROME是谷歌公司的注冊商標）、Mozilia F1REFOX? (FIREF0X是Mozilla基金的的注冊商標）、OPERA? (OPERA是OPERA軟件ASA的注冊商 標）等瀏覽器應用所支持。一些瀏覽器可能需要插件以便使用WebRTC和VP8編解碼器。其 他MCS可以使用其他網絡客戶端和其它壓縮標準以便遞送網格會議服務。
[0011] 常用RLS可以持有多個虛擬會議室（VMR)的目錄。每個VMR能夠代表一個視頻會 議會話并且可以在具有或不具有密碼的情況下與VMR標識（VMRID)相關聯(lián)。在一些MCS中， 每個VMR可以具有不同的統(tǒng)一資源定位符（URL)或統(tǒng)一資源標識符（URI)。進一步地，VMR 可以包括已經連接到VMR的端點列表。在該列表中，每個端點與允許其他參加者聯(lián)系該VMR 的一個或多個URL相關聯(lián)。每個URL可以與媒體類型或信令相關聯(lián)。在常用MCS中，也被 稱為RTS狀態(tài)表的RLS列表從第一個呼叫VMR的參會者起被實時創(chuàng)建，并且每次新的參會 者加入該VMR或當前參會者離開該VMR時被更新。RLS的非限制性示例是www. Vline. com。
[0012] 當用戶希望參加網格視頻會議會話時，該用戶可以通過使用瀏覽器應用并點擊提 供于會議邀請中的URL，使用網絡客戶端聯(lián)系RLS中的虛擬會議室。RLS可以啟動認證過程， 并且一旦完成，HTML5文件可以下載到瀏覽器應用。瀏覽器應用可以解析該HTML5文件并 下載已經與該虛擬會議室相關聯(lián)的用戶的URL的列表。此外，JavaScript RLS網絡客戶端 (RLSWC)可以從RLS部署到發(fā)出請求的瀏覽器應用，例如谷歌CHROME、Mozilla Firefox或 Opera Mobile。RLSWC可以包括在建立實時會話時需要的邏輯模塊。當RLSWC被運行瀏覽 器應用的處理器使用時，處理器可以建立與其他瀏覽器應用的信令和控制連接并且進行網 格視頻會議。
[0013] 在某些情況下，RLS還可以傳輸VMR狀態(tài)表到新的參會者。VMR狀態(tài)表可以包括已 經參加視頻會話的對等者的信息。隨后，新參會者需要通過建立信令和控制連接而建立與 每個參會者端點的視頻會議會話。系統(tǒng)可以基于例如會話發(fā)起協(xié)議（SIP)或H. 323。隨后 每個端點需要建立一個或多個SRTP/IP和SRTCP/IP連接以用于發(fā)送其視頻圖像和音頻流 到每個其他參加的端點，以及用于從每個其他參加端點接收視頻圖像和音頻流。SRTP代表 安全實時傳輸協(xié)議，并且SRTCP代表安全實時控制協(xié)議。每次參會者離開會話時，RLS可以 相應地更新VMR狀態(tài)表。更新過的VMR狀態(tài)表的復制件可以被提供給每個當前連接的參會 者以通知他們最新的變化。在某些情況下，完整的更新后VMR狀態(tài)表被發(fā)送。在其他情況 下，僅變化被發(fā)送。因而，在MCS中，沒有中心實體接收或發(fā)送去往和來自參加的端點的媒 體流。
[0014] 想要進一步了解視頻會議標準和協(xié)議的讀者可以訪問ITU網站www. itu. int，或 者互聯(lián)網工程任務組（IETF)網站www.ietf.org。傳統(tǒng)多點會議系統(tǒng)、MRC、MCS、MCU、RLS、 LEP、MRE、網絡會議客戶端以及VMR對于普通本領域技術人員而言是公知的，并且被描述于 許多專利、專利申請和技術書籍中。因此，這些將不被進一步描述。以下是描述視頻會議系 統(tǒng)的專利和專利公布的示例：美國專利第6, 496, 216、6, 757, 005、7, 174, 365、7, 085, 243、 8, 411，595、7, 830, 824、7, 542, 068、8, 340, 271 和 8, 228, 363 號，以及美國專利公布文本第 20140028788號和其他文件。
[0015] 傳統(tǒng)MCS受到某些限制。一個這樣的限制圍繞帶寬。當三個端點參加網格視頻會 議會話時,每個端點發(fā)送兩個音頻流和兩個視頻流,一組去往其