專利名稱：Ip網(wǎng)絡(luò)中的分布式媒體混合和會(huì)議的制作方法
技術(shù)領(lǐng)域：
本公開涉及多媒體通信。具體地，本公開涉及ip(網(wǎng)際協(xié)議)網(wǎng)絡(luò)中使用分布式 媒體處理和混合節(jié)點(diǎn)的多媒體會(huì)議。
背景技術(shù)：
典型地，基于IP的會(huì)議服務(wù)器被稱作IP媒體服務(wù)器，其在電話網(wǎng)絡(luò)中得以采用。 IP媒體服務(wù)器執(zhí)行各種基礎(chǔ)和增強(qiáng)服務(wù)，其包括會(huì)議、音視頻交互語音響應(yīng)(IVR)、代碼轉(zhuǎn) 換、音視頻通知以及其它高級(jí)語言服務(wù)。IP媒體服務(wù)器還能夠在提供視頻會(huì)議服務(wù)的網(wǎng)絡(luò) 中采用，以及在在互聯(lián)網(wǎng)上、虛擬私有網(wǎng)絡(luò)上、廣域網(wǎng)和局域網(wǎng)內(nèi)等發(fā)生的類型的典型數(shù)據(jù) 交換服務(wù)中采用。媒體服務(wù)器所執(zhí)行的數(shù)據(jù)交換和處理基于具有固定最大處理時(shí)間要求的 分組處理。IP多媒體會(huì)議服務(wù)器允許多個(gè)參與方加入會(huì)議。會(huì)議服務(wù)通常要求通過混合器 資源對(duì)參與方的媒體進(jìn)行混合，以允許所有參與方在他們于會(huì)議期間處于活躍態(tài)時(shí)聽到和 /和看到其他參與方。會(huì)議混合器資源通常需要來自所有參與方的媒體以確定哪些參與方 將在會(huì)議操作期間作為活躍參與方被聽到和看到。隨著給定參與方停止貢獻(xiàn)(contribute) 而另一參與方開始貢獻(xiàn)，活躍參與方的集合可以實(shí)時(shí)動(dòng)態(tài)變化。

發(fā)明內(nèi)容
在一個(gè)實(shí)施例中，一種系統(tǒng)通過IP網(wǎng)絡(luò)提供分布式會(huì)議服務(wù)。所述系統(tǒng)包括被 配置為提供與通過所述IP網(wǎng)絡(luò)舉行的分布式會(huì)議相關(guān)聯(lián)的媒體流的分布式混合的主混合 器，以及被配置為與所述主混合器進(jìn)行通信的多個(gè)輔助混合器。輔助混合器中的至少一個(gè) 被配置為通過所述IP網(wǎng)絡(luò)與所述主混合器進(jìn)行通信。每個(gè)輔助混合器被配置為將一個(gè)或多個(gè)相應(yīng)的參與方加入到所述分布式會(huì)議，通 過混合來自相應(yīng)的參與方的多個(gè)流入媒體流生成第一混合媒體流，并且從主混合器接收第 二混合媒體流。所述第二混合媒體流包括來自通過另一個(gè)輔助混合器加入到所述分布式會(huì) 議的至少一個(gè)其它參與方的媒體。每個(gè)輔助混合器還被配置為向其相應(yīng)的參與方提供流出媒體流。每個(gè)流出媒體流 包括所述第二混合媒體流?；谒鲋骰旌掀鲗?duì)所述第一混合媒體流包括在所述分布式會(huì) 議中的確定，每個(gè)流出媒體流選擇地包括所述第一混合媒體流的至少一部分。根據(jù)以下參考附圖對(duì)優(yōu)選實(shí)施例所進(jìn)行的詳細(xì)描述，其它方面和優(yōu)勢將是顯而易 見的。


現(xiàn)在將參考附圖僅通過示例更為詳細(xì)地對(duì)本公開的非限制性和非排他性實(shí)施例 進(jìn)行描述，其中圖1是根據(jù)一個(gè)實(shí)施例的用于IP網(wǎng)絡(luò)中分布式媒體混合和會(huì)議的系統(tǒng)的框圖2是圖示根據(jù)一個(gè)實(shí)施例的若干媒體服務(wù)器的連接以及它們?cè)趧?chuàng)建分布式會(huì) 議時(shí)各自的角色的框圖；圖3是圖示根據(jù)一個(gè)實(shí)施例的遠(yuǎn)程輔助混合器內(nèi)的媒體處理路徑和相關(guān)功能塊 的框圖；圖4是圖示根據(jù)一個(gè)實(shí)施例的主混合器內(nèi)的媒體處理路徑和相關(guān)功能塊的框圖；圖5是圖示根據(jù)一個(gè)實(shí)施例的單個(gè)媒體服務(wù)器實(shí)體內(nèi)的媒體處理路徑以及將本 地輔助混合器與主混合器進(jìn)行連接的相關(guān)功能塊的框圖；圖6是圖示根據(jù)一個(gè)實(shí)施例的被指定為將混合器覆蓋(override)控制從主混合 器傳送到每個(gè)輔助混合器的RTP分組格式和報(bào)頭擴(kuò)展位置的框圖；圖7是圖示根據(jù)一個(gè)實(shí)施例的在圖6所示的報(bào)頭擴(kuò)展有效載荷的框圖，其包括從 主混合器發(fā)送到輔助混合器的混合器覆蓋有效載荷的內(nèi)容；圖8是圖示根據(jù)一個(gè)實(shí)施例的媒體服務(wù)器內(nèi)從流入媒體到流出媒體的媒體處理 流程以及相關(guān)連的端到端延遲的框圖；圖9是圖示根據(jù)一個(gè)實(shí)施例的通過主混合器和相關(guān)遠(yuǎn)程輔助混合器的系統(tǒng)級(jí)延 遲的框圖。
具體實(shí)施例方式典型地，諸如音頻和多媒體會(huì)議之類的協(xié)作應(yīng)用包括地理上分散的參與方。在音 頻會(huì)議系統(tǒng)中，所有參與方的音頻流被傳送到或來自中央混合器或橋接器。然而，在這里所 公開的某些實(shí)施例中，提供了用于在邏輯和物理上分布的混合器或會(huì)議橋接器的系統(tǒng)和方 法，以使得所有參與方的媒體流無需通過長距離通信鏈路發(fā)送到單個(gè)中央混合器或會(huì)議橋 接器。此外，所公開的實(shí)施例使得能夠使用分布式方式構(gòu)建大型會(huì)議應(yīng)用，其中單個(gè)媒體處 理節(jié)點(diǎn)并不對(duì)會(huì)議的大小施加限制。會(huì)議服務(wù)的單個(gè)實(shí)例可以分布在J個(gè)處理器上，其中J>= 1。媒體處理服務(wù)器的 集合可以并置在相同物理服務(wù)器內(nèi)或者分布在附近或遠(yuǎn)程位置經(jīng)由IP通信接口進(jìn)行互連 的多個(gè)物理服務(wù)器上。無論會(huì)議混合器資源是并置或分布，通常希望服務(wù)的用戶體驗(yàn)和會(huì)議中的參與者 交互不被改變。例如，在音頻會(huì)議中，無論會(huì)議混合器資源在地理上分布或并置，所有參與 方都應(yīng)當(dāng)聽到相同的會(huì)議輸出混音?？砂?共同定位或在地理上分散的)若干混合器的分布式或集中會(huì)議由IP通 信網(wǎng)絡(luò)中的共用實(shí)體進(jìn)行控制，所述共用實(shí)體稱作應(yīng)用服務(wù)器。所述應(yīng)用服務(wù)器創(chuàng)建分布 式會(huì)議內(nèi)的混合器的每個(gè)實(shí)例，將參與方連接到每個(gè)混合器并進(jìn)行管理，并且將所述混合 器連接到主混合器以創(chuàng)建分布式會(huì)議所需的拓?fù)浜瓦B接。所述應(yīng)用服務(wù)器使用控制協(xié)議和 接口創(chuàng)建并控制作為分布式會(huì)議一部分的每個(gè)混合器。一個(gè)示例性控制接口是具有XML編 碼消息有效載荷的會(huì)話發(fā)起協(xié)議(IETFRFC 3261)。在某些實(shí)施例中，與相同會(huì)議實(shí)例相關(guān)聯(lián)的媒體處理和混合操作要由物理上分布 的媒體混合器集合來執(zhí)行，同時(shí)對(duì)無論本地或遠(yuǎn)程的所有參與方保留一致的用戶體驗(yàn)。在一個(gè)實(shí)施例中，用于處理媒體分組的IP會(huì)議媒體服務(wù)器包括單個(gè)主混合器資 源或多個(gè)主混合器，所述主混合器通過IP鏈路與一個(gè)或多個(gè)本地混合器資源和一個(gè)或多個(gè)遠(yuǎn)程混合器資源進(jìn)行互連。每個(gè)地理集群一個(gè)的多個(gè)主混合器資源被用來使得地理上的 本地輔助混合器之間的延遲最小化，而不會(huì)引起到地理上的遠(yuǎn)程主混合器的延遲。在一個(gè)實(shí)施例中，提供了一種用于主混合器和本地混合器之間以及主混合器和遠(yuǎn) 程混合器之間的自動(dòng)媒體控制的方法。雖然本地和遠(yuǎn)程混合器獨(dú)立操作以對(duì)來自其相應(yīng)的 參與方的音頻/多媒體流進(jìn)行混合，但是主混合器對(duì)發(fā)送到所有參與方的音頻/多媒體內(nèi) 容進(jìn)行控制，在需要的任何時(shí)候?qū)Ρ镜睾瓦h(yuǎn)程混合器所生成的媒體輸出進(jìn)行覆蓋。所述媒 體控制使得要被所有本地或遠(yuǎn)程參與方接收的音頻和多媒體內(nèi)容能夠跨所有會(huì)議參與方 保持一致。所公開的實(shí)施例還使得若干個(gè)物理上或邏輯上分離且不同的媒體處理和混合節(jié) 點(diǎn)能夠集中以創(chuàng)建大型會(huì)議，而每個(gè)單獨(dú)節(jié)點(diǎn)的能力則會(huì)防止大型會(huì)議的創(chuàng)建。所述實(shí)施 例中所獲得的設(shè)計(jì)方案使得能夠進(jìn)行會(huì)議媒體混合的可縮放性，而不會(huì)引起不可接受的媒 體延遲并且保留分布式會(huì)議的操作一致性。利用簡單的示例，可以使用與五個(gè)地理上分布的輔助混合器A、B、C、D和E進(jìn)行通 信的主混合器來建立會(huì)議服務(wù)。輔助混合器A、B、C、D和E中的每一個(gè)都可被配置為將多個(gè) 參與方(例如，任何地方的從1到1000或者更多個(gè)參與者)加入到會(huì)議中。輔助混合器A、 B、C、D和E中的每一個(gè)可被配置為對(duì)從其相應(yīng)的參與方所接收的N(例如2至4)個(gè)最高聲 的媒體輸出進(jìn)行混合。每個(gè)輔助混合器接著將其所混合的媒體流提供給主混合器。因此， 在該示例中，主混合器接收到五個(gè)經(jīng)混合的媒體流。所述主混合器可被配置為選擇N(例如 2)個(gè)其所接收的最高聲的經(jīng)混合媒體流以包括在會(huì)議中。繼續(xù)以上的示例，假設(shè)主混合器選擇了來自輔助混合器A和B的流以包括在會(huì)議 中。對(duì)于提供了沒有被主混合器所選擇的混合媒體流的輔助混合器C、D和E，主混合器提 供其經(jīng)混合的媒體流(兩個(gè)所選擇流的混合)以及覆蓋信號(hào)以指示這三個(gè)輔助混合器C、D 和E不要向其相應(yīng)的參與方提供其自己的混合媒體信號(hào)。換句話說，輔助混合器C、D和E 僅為其相應(yīng)的參與方提供輔助混合器A和B原始提供的媒體流的混合。對(duì)于提供了主混合 器所選擇的混合媒體流的兩個(gè)輔助混合器A和B，主混合器提供其它所選擇輔助混合器的 混合媒體流。例如，主混合器向輔助混合器B發(fā)送輔助混合器A所生成的混合媒體流，輔助 混合器B將其與自己的混合媒體流進(jìn)行混合以提供給其相應(yīng)的參與方。類似地，主混合器 向輔助混合器A發(fā)送輔助混合器B所生成的混合媒體流，輔助混合器A將其與自己的混合 媒體流進(jìn)行混合以提供給其相應(yīng)的參與方。通過參考附圖將會(huì)最好地理解所公開的實(shí)施例，在所有附圖中相同元素由相同附 圖標(biāo)記所指示。在以下描述中，為了全面理解這里所描述的實(shí)施例而提供了多個(gè)特定細(xì)節(jié)。 然而，本領(lǐng)域技術(shù)人員將會(huì)意識(shí)到，可以省略一個(gè)或多個(gè)特定細(xì)節(jié)，或者可以使用其它方 法、組件或材料。在一些情況下，操作沒有被詳細(xì)示出或描述。此外，所描述的特征、操作或特性可以在一個(gè)或多個(gè)實(shí)施例中以任意適當(dāng)?shù)姆绞?進(jìn)行組合。還將容易理解的是，如對(duì)本領(lǐng)域技術(shù)人員顯而易見的，結(jié)合所公開實(shí)施例進(jìn)行描 述的方法的步驟或動(dòng)作的順序可以有所改變。因此，附圖或詳細(xì)描述中的任意順序僅是為 了進(jìn)行說明，并不意味著暗示所要求的順序，除非指明需要該順序。實(shí)施例可包括各種步驟，所述步驟可以以要由通用或?qū)Ｓ糜?jì)算機(jī)(或其它電子設(shè) 備)所執(zhí)行的機(jī)器可執(zhí)行指令來實(shí)現(xiàn)。作為選擇，所述步驟可以由包括用于執(zhí)行所述步驟的特定邏輯的硬件組件來執(zhí)行，或者由硬件、軟件和/或固件的組合來執(zhí)行。實(shí)施例可被提供為包括機(jī)器可讀介質(zhì)的計(jì)算機(jī)程序產(chǎn)品，所述機(jī)器可讀介質(zhì)在其 上存儲(chǔ)有指令，所述指令可被用來對(duì)計(jì)算機(jī)(或其它電子設(shè)備)進(jìn)行編程以執(zhí)行這里所描 述的處理。所述機(jī)器可讀介質(zhì)可包括硬盤驅(qū)動(dòng)、軟盤、光盤、CD-ROM、DVD-ROM、ROM、RAM、 EPROM、EEPROM、磁或光卡、固態(tài)存儲(chǔ)器設(shè)備或適于存儲(chǔ)電子指令的其它類型的媒體/計(jì)算 機(jī)可讀介質(zhì)，但是并不局限于此。圖1是根據(jù)一個(gè)實(shí)施例的用于IP網(wǎng)絡(luò)中分布式媒體混合和會(huì)議的系統(tǒng)100的框 圖。系統(tǒng)100包括會(huì)議應(yīng)用服務(wù)器110和一組IP媒體服務(wù)器112、114、116。在該示例性 實(shí)施例中，本地或“主要”媒體服務(wù)器112在分布式會(huì)議117中與兩個(gè)遠(yuǎn)程媒體服務(wù)器114、 116進(jìn)行通信。然而，技術(shù)人員從該公開內(nèi)容將會(huì)理解的是，可以使用任意數(shù)量的媒體服務(wù) 器。為了創(chuàng)建分布式會(huì)議，系統(tǒng)100使用應(yīng)用服務(wù)器110和媒體服務(wù)器112、114、116之間的 控制接口 118，以及主要媒體服務(wù)器112和遠(yuǎn)程媒體服務(wù)器114、116之間的媒體接口 120。 在該示例中，系統(tǒng)100的一個(gè)或多個(gè)本地用戶通過主要媒體服務(wù)器112加入會(huì)議作為本地 參與方，并且一個(gè)或多個(gè)遠(yuǎn)程用戶通過遠(yuǎn)程媒體服務(wù)器114、116加入會(huì)議作為遠(yuǎn)程用戶。如圖1所示，主要媒體服務(wù)器112包括主混合器122和本地輔助混合器124。遠(yuǎn)程 媒體服務(wù)器114、116均包括相應(yīng)的遠(yuǎn)程輔助混合器126、128。遠(yuǎn)程和本地輔助混合器124、 126,128提供到給定會(huì)議服務(wù)的參與方的訪問。主混合器122提供本地輔助混合器124和 遠(yuǎn)程輔助混合器126、128所生成的媒體的混合和媒體橋接。在一個(gè)實(shí)施例中，主混合器122將來自遠(yuǎn)程輔助混合器126、128的媒體路徑加入 星形拓?fù)?。主混合?22、本地輔助混合器124以及遠(yuǎn)程輔助混合器126、128提供共用的基本 媒體處理功能，其允許從總共M個(gè)媒體流中選擇N個(gè)媒體流，其中N < = M。雖然并不局限 于這種特定選擇標(biāo)準(zhǔn)和實(shí)施例，但是如這里的示例性實(shí)施例中所描述的，N個(gè)媒體流的選擇 是基于N個(gè)最高聲的音頻流，其接著被混合為單個(gè)音頻流。對(duì)諸如多媒體或視頻之類的其 它媒體類型的選擇通過控制用于視頻切換、連續(xù)呈現(xiàn)或者其它選擇標(biāo)準(zhǔn)以及多媒體混合實(shí) 施例的屬性來確定。級(jí)聯(lián)(cascading)或分布式會(huì)議的常見問題是在對(duì)來自輔助會(huì)議的最高聲發(fā)言 者進(jìn)行混合時(shí)大量背景噪聲被混合在會(huì)議輸出中。解決該問題的設(shè)計(jì)方法依賴于對(duì)于主混 合器122、本地輔助混合器124以及遠(yuǎn)程輔助混合器126、128能夠獨(dú)立設(shè)置的N個(gè)活躍或最 高聲發(fā)言者。要在最終會(huì)議混音中進(jìn)行混合的多個(gè)活躍參與方的獨(dú)立調(diào)諧允許通過外部應(yīng) 用服務(wù)器110對(duì)各種會(huì)議部署方案進(jìn)行優(yōu)化，所述外部應(yīng)用服務(wù)器110能夠控制在媒體服 務(wù)器112、114、116上創(chuàng)建的各種混合器類型的行為。在分布式會(huì)議中，通常會(huì)由于需要在遠(yuǎn)程輔助以及對(duì)輔助所提供的媒體進(jìn)行混合 的中央混合器處對(duì)媒體進(jìn)行集中而引起大的媒體延遲。媒體處理中由于這些會(huì)議的分布 式屬性的過度延遲嚴(yán)重降低了用戶體驗(yàn)，并且在極端情況下會(huì)妨礙分布式會(huì)議的任意實(shí)際 運(yùn)用。因此，延遲最小化是這里所公開的某些實(shí)施例的附加方面，其中主混合器122能夠?qū)?經(jīng)混合的媒體連同嵌入式控制信號(hào)一起饋送回輔助混合器124、126、128，所述嵌入式控制 信號(hào)用以指示輔助混合器124、126、128中的參與方是否應(yīng)當(dāng)將其本地媒體與主混合器122 所提供的媒體進(jìn)行混合。將該控制信息嵌入媒體路徑使得進(jìn)行混合覆蓋決策時(shí)的延遲最小化。由于每個(gè)輔助混合器124、126、128為加入其的參與方提供本地媒體混合，所以這 些參與方不會(huì)接收到正被另一輔助混合器中的參與方接收的媒體。當(dāng)分布式會(huì)議中的所有 參與方都不接收相同媒體時(shí)，會(huì)議的基本操作可被認(rèn)為有缺陷。根據(jù)這里所公開的某些實(shí) 施例的設(shè)計(jì)方法通過確保所有參與方接收相同媒體，保持會(huì)議媒體跨所有參與方一致解決 了該問題，而無論所述所有參與方加入到哪個(gè)輔助混合器124、126、128。混合器(主122、本地輔助124、遠(yuǎn)程輔助126、128)的每個(gè)實(shí)例將活躍發(fā)言者的獨(dú) 立列表以異步事件的形式報(bào)告給應(yīng)用服務(wù)器110。ASN(活躍發(fā)言者通知)事件被XML(可 擴(kuò)展標(biāo)記語言)編碼，識(shí)別源混合器以及當(dāng)前被認(rèn)為是活躍發(fā)言者的參與方列表。ASN事件 通過信令控制接口被報(bào)告到應(yīng)用服務(wù)器110，例如具有包含ASN事件的XML編碼有效載荷的 SIP (會(huì)話發(fā)起協(xié)議)。均作為分布式會(huì)議一部分的若干混合器(例如混合器124、126、128中的一個(gè)或多 個(gè))所報(bào)告的ASN事件的集中和合并由應(yīng)用服務(wù)器110來處理，所述應(yīng)用服務(wù)器110繼而 呈現(xiàn)作為單個(gè)統(tǒng)一服務(wù)的整體分布式會(huì)議的活躍發(fā)言者的單個(gè)統(tǒng)一列表。以下公開分布式會(huì)議系統(tǒng)的示例性實(shí)施例。分布式會(huì)議的應(yīng)用服各器控制圖1示出了處于應(yīng)用服務(wù)器110控制之下的示例性分布式會(huì)議，所述應(yīng)用服務(wù)器 110創(chuàng)建主混合器122以及跨多個(gè)媒體服務(wù)器112、114、116的輔助混合器124、126、126， 將這些混合器之間的媒體流進(jìn)行連接，并且將參與方加入到各混合器。根據(jù)一個(gè)實(shí)施例的 應(yīng)用服務(wù)器110可以在運(yùn)行期間對(duì)任意的媒體服務(wù)器112、114、116進(jìn)行配置以作為主混合 器、本地輔助混合器、遠(yuǎn)程輔助混合器或者以上這些在相同物理媒體服務(wù)器內(nèi)的任意組合， 以托管(host)多個(gè)分布式會(huì)議。應(yīng)用服務(wù)器110經(jīng)由信令控制協(xié)議對(duì)媒體服務(wù)器112、114、116進(jìn)行控制。例如， 典型的信令控制接口為會(huì)話發(fā)起協(xié)議(SIP)以及通過SIP接口承載到媒體服務(wù)器112、114、 116的XML編碼消息。以下示例性代碼塊包括簡單的使用情況，其描述了用來通過接口 118創(chuàng)建和控制 主混合器122和輔助混合器124并且將參與方加入到它們的示例性實(shí)施例。在以下示例性 代碼塊中，在該實(shí)施例中被表示為偽代碼的XML編碼消息由應(yīng)用服務(wù)器110發(fā)送到媒體服 務(wù)器112、114、116以描述一般實(shí)施例。然而，確切語義可以進(jìn)行不同例示，包括使用不同協(xié) 議和編程語言，以實(shí)現(xiàn)相同結(jié)果。創(chuàng)建主混合器和本地輔助混合器< ！ 一對(duì)主媒體服務(wù)器的指令一><xml><createconference name =，，main，，><audiomix cascade =，，main，，><asn/><n-loudest η =，，l，，/></audiomix></createcnnference>
<createconference name =，，IocalTrib，，><audiomix cascade = “ tributary" ><asn/><n-loudest η =，T，/></audiomix></createconference></xml>創(chuàng)建遠(yuǎn)程輔助混合器< ！-到遠(yuǎn)程媒體服務(wù)器的指令一><xml><createconference name =，，remote Trib，，><audiomix cascade =" tributary" ><asn/><n-loudest η =，，l，，/></audiomix></createconference></xml>將本地輔助混合器連接到主混合器< ！-到主媒體服務(wù)器的指令一><xml>〈join id 1 =” conf: localTrib” id2 =” conf:main” ></join></xml>將遠(yuǎn)程輔助混合器連接到主混合器< ！ 一對(duì)主媒體服務(wù)器的指令一><xml>〈join id 1 =”conn:Pl” id2 =”conf:main”>〈stream media =，，audio，，/></join></xml>< ！-對(duì)遠(yuǎn)程媒體服務(wù)器的指令一><xml>〈join id 1 =” conn: P2” id2 =” conf: remoteTrib” ><stream media =，，audio，，cascade =，，true，，/></join></xml>注意，對(duì)于該示例性代碼，用主要媒體服務(wù)器(Pl)和遠(yuǎn)程媒體服務(wù)器(P2)上的應(yīng)
用服務(wù)器所創(chuàng)建的媒體連接Pl和P2被用作主會(huì)議和遠(yuǎn)程輔助會(huì)議之間的會(huì)議間媒體連接。
將參與方媒體加入到本地輔助混合器和遠(yuǎn)程輔助混合器< ！ 一對(duì)主媒體服務(wù)器的指令一><xml>〈join idl =" conn: IocalUser“ id2 =" conf: IocalTrib"/></xml>< ！ —On MS A and B—><xml><join idl =，，conn:remoteUser” id2 =，，conf:remoteTrib，，/></xml>由媒體服務(wù)器發(fā)送給應(yīng)用服務(wù)器的活躍發(fā)言者通知< ！ 一由主混合器生成的活躍發(fā)言者通知一>< ！ 一當(dāng)在主混合器中的本地輔助時(shí)進(jìn)行下面的示例一><xml><event name =，，xml. conf. asn，，id =，，conn:main，，/><name>speaker</name><value>conf:localTrib</value></xml>< ！-由主混合器生成的活躍發(fā)言者通知一>< ！ 一當(dāng)在主混合器中的遠(yuǎn)程輔助時(shí)進(jìn)行下面的示例一><xml>〈event name =，，xml. conf. asn，，id =，，conn:main，，/><name>speaker</name><value>conf:Pl</value></xml>< ！-由本地輔助混合器生成的活躍發(fā)言者消息一>< ！——來自本地輔助會(huì)議一><xml><event name =，，xml. conf. asn，，id =，，conf: localTrib，，/><name>speaker</name><value>conn:localUser</value></xml>< ！-由遠(yuǎn)程輔助混合器生成的活躍發(fā)言者消息一>< ！ 一來自遠(yuǎn)程輔助會(huì)議一><xml><event name =，，xml. conf. asn，，id =，，conf:remoteTrib，，/><name>speaker</name><value>conn:remoteUser</value></xml>這些示例性代碼塊中所描述的分布式實(shí)施例為應(yīng)用服務(wù)器110提供了對(duì)與分布式會(huì)議相關(guān)聯(lián)的每個(gè)混合器的值N進(jìn)行獨(dú)立控制的能力，所述混合器包括主混合器112、本 地輔助混合器124以及遠(yuǎn)程輔助混合器126、128?；旌掀骺刂坪筒僮饔糜谝纛l會(huì)議的每個(gè)媒體混合器122、124、126、128包括通過選擇N個(gè)最高聲的輸 入線路并將它們混合為由Nx所表示的混合媒體來混合M個(gè)參與方輸入媒體線路(表示為 范圍從Ml到Mq的集合)的功能，其中N<=M。N的特定值可以與每個(gè)媒體混合器122、 124、126、128相同或不同。在某些實(shí)施例中，每個(gè)媒體混合器122、124、126、128的值N由應(yīng) 用服務(wù)器110選擇。如果單獨(dú)參與方的媒體輸入沒有被選擇包括在Nx混合器中，則每個(gè)單 獨(dú)的參與方媒體輸出線路接收或聽到(除通過其相應(yīng)的共用端口 210、212、214、216所接收 的輸入之外)Nx (對(duì)特定混合器所選擇或最高聲的N條線路的完全混合)。然而，如果參與 方的媒體輸入被選擇作為N個(gè)最高聲的發(fā)言者之一，則到給定參與方的媒體輸出(除通過 其相應(yīng)的共用端口 210、212、214、216所接收的輸入之外)包括Νχ-Mk，其中Mk表示來自所 述參與方的媒體輸入。因此，無論參與方的音頻輸入是否被選擇成為會(huì)議混音的一部分，其 都不會(huì)聽到自己的音頻。圖2是圖示根據(jù)一個(gè)實(shí)施例的媒體服務(wù)器112、114、116的連接以及它們?cè)趧?chuàng)建分 布式會(huì)議時(shí)各自的角色的框圖。每個(gè)混合器122、124、126、128包括可以通過其通信(例如， 根據(jù)RTP或其它協(xié)議進(jìn)行格式化的)媒體和控制信號(hào)(例如，混合覆蓋信號(hào))的多個(gè)通用 媒體端口。技術(shù)人員根據(jù)這里的公開內(nèi)容將會(huì)意識(shí)到，端口可以提供輸入和輸出。如圖2的示例性實(shí)施例所示，主混合器122包括被標(biāo)記為端口 1、端口 2、端口 3^·· 端口 N的通用媒體端口，其通過所述通用媒體端口與遠(yuǎn)程輔助混合器126、128通信媒體流 并且向所述遠(yuǎn)程輔助混合器126、128提供混合覆蓋信號(hào)。本地輔助混合器124包括被標(biāo)記 為端口 1、端口 2、…端口 W的通用媒體端口，其通過所述通用媒體端口與本地用戶(被標(biāo) 記為參與方1、參與方2、…參與方W)通信媒體流。遠(yuǎn)程輔助混合器126包括被標(biāo)記為端 口 1、端口 2、…端口 V的通用媒體端口，其通過所述通用媒體端口與遠(yuǎn)程用戶(被標(biāo)記為 參與方1、參與方2、…參與方V)通信媒體流。遠(yuǎn)程輔助混合器128包括被標(biāo)記為端口 1、 端口 2、…端口 Y的通用媒體端口，其通過所述通用媒體端口與遠(yuǎn)程用戶(被標(biāo)記為參與方 1、參與方2、…參與方Y(jié))通信媒體流。此外，主混合器122、本地輔助混合器124以及遠(yuǎn)程輔助混合器126、128還包括各 自通過其接收和傳送媒體流和控制信號(hào)(例如，混合覆蓋信號(hào))的共用端口 210、212、214、 216。接收到每個(gè)共用端口 210、212、214、216中的媒體也被混合到如之前所描述且由 Nx所表示的N個(gè)最高聲的混合媒體中。將音頻提供到主混合器122的共用端口 210中創(chuàng) 建了播放能夠被會(huì)議的所有參與方聽到的通告的能力，而無論所述參與方加入到主要(本 地)媒體服務(wù)器112還是加入到遠(yuǎn)程媒體服務(wù)器126、128之一。主混合器122、本地輔助混合器124以及遠(yuǎn)程輔助混合器126、128中的每個(gè)混合器 在其共用端口 210、212、214、216上提供輸出，其包括如之前所描述且由Nx所表示的N個(gè)最 高聲的混合媒體。共用媒體端口 210上來自主混合器122的輸出提供了根據(jù)其生成會(huì)議記錄的能 力。共用媒體端口 210上來自主混合器122的輸出包括本地或遠(yuǎn)程的所有參與方所接收的媒體。如之前所描述并且由集合機(jī)…恥所表示的，每個(gè)遠(yuǎn)程和本地輔助混合器124、 126、128的共用媒體端口212、214、216連接到主混合器122的特定通用媒體端口(例如，端 口 1、端口 2、端口 3)。如之前所描述的，來自遠(yuǎn)程和本地輔助混合器124、126、128的共用媒 體端口 212、214、216的輸出包括單獨(dú)的N個(gè)最高聲的混合媒體線路，一條線路來自與分布 式會(huì)議相關(guān)聯(lián)的每個(gè)混合器。由于主混合器122和本地輔助混合器124可以在相同的物理媒體服務(wù)器122內(nèi)進(jìn) 行例示，所以連接這兩個(gè)混合器122、124的媒體可以內(nèi)部傳送到主要媒體服務(wù)器112，而不 會(huì)引起與IP、UDP(用戶數(shù)據(jù)報(bào)協(xié)議)和RTP(實(shí)時(shí)傳輸協(xié)議)相關(guān)的額外延遲和處理。該 混合器間的媒體線路或圖2所示的RTP旁通線路226將來自本地輔助混合器124的共用媒 體端口 212連接到主混合器122的一個(gè)通用媒體端口(例如端口 3)。圖3、4和5中提供了主混合器122和輔助混合器124、126、128之間的連接的其它 細(xì)節(jié)。將主混合器122連接到遠(yuǎn)程輔助混合器126、128的混合器間媒體線路(例如，圖 1和2所示的媒體接口 120)被配置為在應(yīng)用服務(wù)器110的控制下通信經(jīng)編碼的媒體，典型 地為經(jīng)壓縮的媒體。媒體編碼方案(例如，諸如g. 711、g. 729之類的音頻編解碼)被配置 在該媒體鏈路的每端，與相應(yīng)的媒體服務(wù)器112、114、116上的媒體端口相關(guān)聯(lián)。媒體服務(wù) 器112、114、116在混合器間的媒體鏈路的每端處提供媒體解碼和編碼功能。到每個(gè)媒體服 務(wù)器112、114、116的流入媒體被解碼到基帶(例如，用于音頻的線性PCM(脈沖編碼調(diào)制)) 并且在流出側(cè)被編碼為如接收媒體服務(wù)器112、114、116所預(yù)期的預(yù)期媒體編碼格式。由于一些會(huì)議參與方僅需要作為只聽(listen-only)參與方，所以他們不向會(huì)議 混音提供音頻。根據(jù)一個(gè)實(shí)施例，無論只聽參與方是否加入到本地輔助混合器124或任意 的遠(yuǎn)程輔助混合器126、128，他們都必須接收被所有其它可能對(duì)分布式會(huì)議混音有所貢獻(xiàn) 的參與方所接收的相同媒體內(nèi)容。在一個(gè)實(shí)施例中，本地和遠(yuǎn)程的每個(gè)輔助混合器124、126、128提供單獨(dú)的媒體端 口(未示出)(在這里被稱作共用只聽端口)以支持這里所描述的只聽參與方。在這樣的 實(shí)施例中，本地輔助混合器124和遠(yuǎn)程輔助混合器126、128被配置為通過所述共用只聽端 口被提供以混合流。該端口包括所分配給加入到本地輔助混合器124或者任意遠(yuǎn)程輔助混 合器126、128的任意數(shù)量的只聽參與方的結(jié)果混合媒體，其中包括對(duì)主混合器122播放的 任意媒體通告。除了向之前所描述的任意數(shù)量的只聽參與方提供輸出媒體的能力之外，所 述共用只聽端口還提供本地輔助混合器124和遠(yuǎn)程輔助混合器126、128的單獨(dú)混合器記錄 的能力?；旌掀鞲采w控制主混合器122以及本地和遠(yuǎn)程輔助混合器124、126、128之間的混合器間媒體鏈路 120,226通過允許由主混合器122進(jìn)行混合的來自每個(gè)輔助混合器124、126、128的混合媒 體Nx而提供了創(chuàng)建分布式會(huì)議的能力。這些混合器間媒體鏈路120、226還承載在此被稱 作混合器覆蓋信號(hào)的從主混合器122到本地和遠(yuǎn)程輔助混合器124、126、128的控制信息。所述混合器覆蓋信號(hào)允許主混合器122向每個(gè)輔助混合器124、126、128指示輔助 混合器的媒體Nx是否被主混合器122選擇作為主混合器的N個(gè)最高聲音頻流的一部分。如果給定輔助混合器的媒體包括在主混合器122所生成的N個(gè)最高聲混音中，則來自連接到 相關(guān)輔助混合器124、126、128的共用媒體端口 212、214、216的主混合器122的通用媒體端 口 210的輸出包括混音覆蓋信號(hào)，其具有被設(shè)置為0的信令比特T (見圖7)，否則混音覆蓋 信號(hào)中的信令比特T被設(shè)置為1。輔助混合器124、126、128從主混合器122接收嵌入在混合媒體流中的相應(yīng)的混合 器覆蓋信號(hào)。在相應(yīng)的共用媒體端口 212、214、216接收的相應(yīng)的混合器覆蓋信號(hào)被輔助混 合器124、126、128用來控制由輔助混合器124、126、128在相應(yīng)的通用媒體端口作為輸出而 生成的媒體。在特定混合器覆蓋指示器開啟(例如，如之前所描述的設(shè)置為1)的情況下，來自 對(duì)應(yīng)輔助混合器124、126、128的通用媒體端口的輸出(到所加入的參與方的流出媒體)僅 包括通過對(duì)應(yīng)的輔助混合器124、126、128的相應(yīng)的共用媒體端口 212、214、216從主混合器 122所接收的媒體。該方法使得加入到對(duì)應(yīng)輔助混合器124、126、128的參與方能夠聽到主 混合器122所生成的混音而不是加入到對(duì)應(yīng)輔助混合器124、126、128的參與方所生成的本 地混音，原因在于在該方案中，對(duì)應(yīng)輔助混合器的混合媒體不被選擇作為主混合器122所 混合的N個(gè)最高聲音頻流的一部分。這里所描述的實(shí)施例確保了對(duì)應(yīng)輔助混合器124、126、 128的參與方所接收的媒體與整個(gè)分布式會(huì)議的所有其它參與方所接收的媒體相同。在混合器覆蓋指示器關(guān)閉(例如，如之前所描述的設(shè)置為0)的情況下，來自對(duì)應(yīng) 輔助混合器124、126、128的通用媒體端口的輸出(到所加入的參與方的流出媒體)包括如 之前所描述的N個(gè)最高聲媒體混音(Nx或Nx-Mk)，并且與對(duì)應(yīng)輔助混合器124、126、128在 共用媒體端口 212、214、216上所接收的輸入(其包括來自主混合器122的混合媒體)進(jìn)行 混合ο在一個(gè)實(shí)施例中，所述混合器覆蓋信號(hào)以連續(xù)實(shí)時(shí)的基礎(chǔ)進(jìn)行提供并且與對(duì) 主混合器122和輔助混合器124、126、128之間的混合器間媒體鏈路所設(shè)置的分組化 (packetization)間隔一樣頻繁地進(jìn)行發(fā)送。例如，如果混合器間媒體鏈路被配置為用于具 有20毫秒分組化的g. 711音頻編解碼，則混合器覆蓋信號(hào)的當(dāng)前狀態(tài)連同RTP流中的媒體 一起由主混合器122每20毫秒傳送一次。在丟失RTP分組的情況下，遠(yuǎn)程媒體服務(wù)器114、 116繼續(xù)使用相應(yīng)的混合器覆蓋信號(hào)的先前狀態(tài)。通過示例，圖3、4和5以圖形圖示了主混合器122如何使用混音覆蓋信號(hào)對(duì)有選 擇地提供給通過相應(yīng)的輔助混合器124、126、128加入會(huì)議的每個(gè)參與方的混合媒體信號(hào) 進(jìn)行控制。圖3是圖示根據(jù)一個(gè)實(shí)施例的遠(yuǎn)程輔助混合器126內(nèi)的媒體處理路徑和相關(guān)功 能塊的框圖。技術(shù)人員根據(jù)這里的公開內(nèi)容將會(huì)意識(shí)到，圖3的討論可以應(yīng)用于圖1和2 所示的任意遠(yuǎn)程輔助混合器126、128。在圖3中，遠(yuǎn)程輔助混合器126的通用媒體端口(例 如，圖2所示的端口 1、端口 2、…端口 V)被表示為用于接收分別來自參與方1、參與方2和 參與方3的流入媒體的輸入1、輸入2和輸入3，以及用于分別向參與方1、參與方2和參與 方3提供流出媒體的輸出1、輸出2和輸出3。類似地，遠(yuǎn)程輔助混合器126的共用端口 214 被表示為共用輸入和共用輸出。如圖3所示，媒體流和混音覆蓋信號(hào)從主混合器122的通用媒體端口(例如，端口 1)接收。所述混音覆蓋信號(hào)定義了何時(shí)以及如何向通過遠(yuǎn)程輔助混合器126加入會(huì)議的參 與方提供媒體。在一個(gè)實(shí)施例中，所述媒體流和覆蓋信號(hào)是已經(jīng)編碼的RTP媒體流的一部分。因此，如圖3所示，遠(yuǎn)程輔助混合器126的RTP輸入310為來自主混合器122的編碼媒 體和混音覆蓋信號(hào)提供了必要的RTP接口。編碼器312對(duì)所述媒體和混音覆蓋信號(hào)進(jìn)行解 碼，所述媒體和混音覆蓋信號(hào)接著可由增益模塊314進(jìn)行放大以便輸入到遠(yuǎn)程輔助混合器 126的共用端口 214。遠(yuǎn)程輔助混合器126還通過通用媒體端口(輸入1、輸入2和輸入3)接收來自參 與方的流入媒體(作為RTP媒體流)。在某些實(shí)施例中，遠(yuǎn)程輔助混合器126還可以通過 一個(gè)或多個(gè)通用媒體端口(輸入1、輸入2和輸入3)接收來自一個(gè)或多個(gè)其它輔助混合器 (未示出)的混合媒體信號(hào)。例如，這些其它輔助混合器可以在地理上以集群分布，其中遠(yuǎn) 程輔助混合器126被配置為所述集群的主混合器(或次級(jí)主混合器)。如圖3所示，遠(yuǎn)程輔助混合器126基于從主混合器122接收的混音覆蓋信號(hào)有選 擇地將通過共用端口 214接收的媒體與通過通用媒體端口(輸入1、輸入2和輸入3)接收 的媒體進(jìn)行混合。例如，如果混音覆蓋信號(hào)被斷言(例如，其被設(shè)置為1)，則遠(yuǎn)程輔助混合 器126僅向通過遠(yuǎn)程輔助混合器126的通用媒體端口(例如，輸出1、輸出2和輸出3)加入 的參與方提供從主混合器122接收的媒體信號(hào)。另一方面，如果所述混音覆蓋信號(hào)未被斷言(例如，其被設(shè)置為0)，則遠(yuǎn)程輔助混 合器126有選擇地將通過通用媒體端口(輸入1、輸入2和輸入3)從參與方接收的流入媒 體與通過共用端口 214所接收的媒體進(jìn)行組合從而防止任意特定用戶接收到其自己對(duì)會(huì) 議的貢獻(xiàn)。例如，遠(yuǎn)程輔助混合器126將輸出1設(shè)置為通過輸入2和輸入3 (如果它們是N 個(gè)最高聲混音輸入的一部分)接收的媒體流和通過共用輸入214所接收的媒體流的組合； 將輸出2設(shè)置為通過輸入1和輸入3 (如果它們是N個(gè)最高聲混音輸入的一部分)接收的 媒體流和通過共用輸入214所接收的媒體流的組合；并且將輸出3設(shè)置為通過輸入1和輸 入2 (如果它們是N個(gè)最高聲混音輸入的一部分)接收的媒體流和通過共用輸入214所接 收的媒體流的組合。在任一種情況下，無論混音覆蓋信號(hào)是否被斷言，遠(yuǎn)程輔助混合器126的共用輸 出端口 214都向主混合器122的對(duì)應(yīng)通用媒體線路(例如，端口 1)提供N個(gè)最高聲的混音 輸入(例如，通過輸入1、輸入2和/或輸入3所接收的N個(gè)最高聲的輸入)。圖4是圖示根據(jù)一個(gè)實(shí)施例的主混合器122內(nèi)的媒體處理路徑和相關(guān)功能塊的框 圖。主混合器122橋接來往于遠(yuǎn)程輔助混合器126、128和遠(yuǎn)程輔助混合器X (未示出)的媒 體，提供從遠(yuǎn)程輔助混合器126、128、X所接收的媒體的混合，并且向遠(yuǎn)程輔助混合器126、 128、X中的每一個(gè)發(fā)送混合器覆蓋信號(hào)。在圖4中，圖2所示的主混合器122的通用媒體 端口(例如，端口 1、端口 2、…端口 X)分別被表示為用于與遠(yuǎn)程輔助混合器126的共用端 口進(jìn)行通信的輸入1/輸出1，用于與遠(yuǎn)程輔助混合器128的共用端口進(jìn)行通信的輸入2/輸 出2，以及用于與遠(yuǎn)程輔助混合器X的共用端口進(jìn)行通信的輸入X/輸出X?；谔峁┙o主混合器的通用媒體端口的輸入1、輸入2和輸入3的媒體，主混合器 122有選擇地將混合媒體流和混音覆蓋信號(hào)提供給其通用媒體端口的輸出1、輸出2和輸出 X。如以上所討論的，所述混音覆蓋信號(hào)基于從遠(yuǎn)程輔助混合器126、128、X所接收的N個(gè)最 高聲的媒體流的選擇。在主混合器的通用媒體端口的輸出1和輸出2上所提供的媒體流和 混音覆蓋信號(hào)均由增益模塊410、編碼器412和RTP輸出模塊414(其提供用于在IP網(wǎng)絡(luò) 上進(jìn)行通信的必要RTP格式化)進(jìn)行處理。然而，在該示例中，這些處理器資源(例如，增益模塊410、編碼器412和RTP輸出模塊414)可能不足以處理所有的媒體流。因此，諸如 通過輸出X所提供的媒體流之類的一些媒體流可能需要提供給不同的處理器。在主混合器 122的輸出X上所提供的媒體流和混音覆蓋信號(hào)由處理器間輸出416、處理器間輸入418、編 碼器420、RTP輸出422進(jìn)行處理。圖4(利用虛線)圖示了在相同硬件單元中的處理器之 間傳送媒體的處理器間輸出416和處理器間輸入418。處理器間輸出416和處理器間輸入 418在數(shù)據(jù)從一個(gè)處理器提供到另一處理器時(shí)提供所述數(shù)據(jù)的緩沖。編碼器420和RTP輸 出422被示為將該媒體發(fā)送到遠(yuǎn)程輔助混合器X。圖5是圖示根據(jù)一個(gè)實(shí)施例的單個(gè)媒體服務(wù)器實(shí)體(例如，主要媒體服務(wù)器112) 內(nèi)的媒體處理路徑以及將本地輔助混合器124與主混合器122進(jìn)行連接的相關(guān)功能塊的框 圖。這樣，通過內(nèi)部引導(dǎo)媒體流而不依賴于RTP對(duì)媒體路徑以及混合器覆蓋信號(hào)的交換進(jìn) 行了優(yōu)化。如圖5所示，主混合器122通過輸出3向主混合器122的處理器間輸出模塊510提 供媒體流和混音覆蓋信號(hào)。所述處理器間輸出模塊510通過處理器間鏈路226 (例如，圖2 所示的RTP旁通線路226)向本地輔助混合器124的處理器間輸入模塊512 (例如，通過緩 沖)提供媒體流和混音覆蓋信號(hào)，原因在于該媒體不跨網(wǎng)絡(luò)發(fā)送。所述處理器間輸入模塊 512向本地輔助混合器124的共用端口 212提供所述媒體流和混音覆蓋信號(hào)。如上所述，在基于所述混音覆蓋信號(hào)對(duì)媒體信號(hào)進(jìn)行混合之后，本地輔助混合器 124將混合媒體流作為輸出提供到其共用端口 212，所述共用端口 212進(jìn)而將所述混合媒體 信號(hào)提供到本地輔助混合器124的處理器間輸出模塊514。本地輔助混合器124的處理器 間輸出模塊514通過媒體處理器鏈路226將所述混合媒體信號(hào)傳送到主混合器122的處理 器間輸入模塊516。因此，避免了與使用RTP相關(guān)聯(lián)的延遲。在一個(gè)實(shí)施例中，使用RTP擴(kuò)展報(bào)頭將所述混合器覆蓋信號(hào)嵌入在RTP分組內(nèi)。例 如，圖6是圖示根據(jù)一個(gè)實(shí)施例的被指定為將混合器覆蓋控制信息從主混合器122傳送到 每個(gè)輔助混合器124、126、128的RTP分組格式600和報(bào)頭擴(kuò)展610的位置的框圖。RTP報(bào)頭擴(kuò)展610包括簡檔特定標(biāo)識(shí)符612、擴(kuò)展長度字段614以及報(bào)頭擴(kuò)展有效 載荷字段616。所述簡檔特定標(biāo)識(shí)符612對(duì)于這里所描述實(shí)施例的分布式會(huì)議唯一設(shè)置。 對(duì)于該唯一的簡檔特定標(biāo)識(shí)符，擴(kuò)展長度字段614和擴(kuò)展有效載荷字段616被用于承載混 合器覆蓋信號(hào)。技術(shù)人員將會(huì)意識(shí)到的是，RTP分組600的其余字段和內(nèi)容包括標(biāo)準(zhǔn)RTP數(shù) 據(jù)，其中包括標(biāo)準(zhǔn)RTP報(bào)頭618和RTP有效載荷620的位置。圖7是圖示根據(jù)一個(gè)實(shí)施例的如圖6所示的報(bào)頭擴(kuò)展有效載荷616的內(nèi)容的框 圖，其包括從主混合器122發(fā)送到輔助混合器124、126、128的混合器覆蓋有效載荷。如之 前所描述的，所述混合器覆蓋信號(hào)包括在報(bào)頭擴(kuò)展有效載荷字段616中，并且包括比特(T) 陣列，其被編碼為包括混合器覆蓋信號(hào)的值(由1表示使能，由0表示無效)以及可對(duì)其應(yīng) 用所述混合器覆蓋信號(hào)的分組內(nèi)的媒體幀號(hào)，其中所述幀號(hào)由報(bào)頭擴(kuò)展有效載荷616內(nèi)混 合器覆蓋比特T的位置所標(biāo)識(shí)。例如，最低有效位被設(shè)置為1表示混合器覆蓋信號(hào)可應(yīng)用 于G. 711編解碼器(具有5毫秒的分組化)的第一個(gè)5毫秒音頻或者AMR編解碼器(具有 20毫秒的分組化)的第一個(gè)20毫秒音頻。類似地，第二最低有效位被設(shè)置位1表示所述混 合器覆蓋信號(hào)可應(yīng)用于G. 711編解碼器(具有5毫秒的分組化)的第二個(gè)5毫秒音頻或者 AMR編解碼器(具有20毫秒的分組化)的第二個(gè)20毫秒音頻。
媒體分組處理和延遲優(yōu)化圖8是圖示根據(jù)一個(gè)實(shí)施例的媒體服務(wù)器112、114、116內(nèi)從流入媒體到流出媒體 的媒體處理流程800以及相關(guān)端到端延遲的框圖。簡短來講，混合器124、126、128內(nèi)從流入 RTP流到特定流出RTP流的媒體處理包括(Dl)RTP輸入處理和去抖動(dòng)810 ； (D2)媒體解碼 812 ； (D3)預(yù)混合處理器間路由814 ；媒體混合816 ； (D4)后混合處理器間路由818 ； (D5)媒 體編碼820 ；和(D6)RTP輸出和分組化延遲處理822。這里，Dx表示相關(guān)的媒體處理延遲。圖9是圖示根據(jù)一個(gè)實(shí)施例的通過主混合器122和相關(guān)遠(yuǎn)程輔助混合器126、128 的系統(tǒng)級(jí)延遲的框圖。分布式會(huì)議中所引發(fā)的所有媒體延遲的總和大于非分布式會(huì)議，并 且出于最優(yōu)性能和終端用戶體驗(yàn)的目的而被最小化。分布式會(huì)議所引發(fā)的媒體延遲可被表 示為DT1+DM+DT2，其中Dn是主要媒體服務(wù)器112所導(dǎo)致的延遲，Dm是遠(yuǎn)程媒體服務(wù)器114所 導(dǎo)致的延遲，而Dt2是遠(yuǎn)程媒體服務(wù)器116所導(dǎo)致的延遲。參見圖8和9，通過使用自動(dòng)抖動(dòng)緩沖器對(duì)RTP輸入處理延遲(Dl)進(jìn)行最小化，所 述自動(dòng)抖動(dòng)緩沖器執(zhí)行實(shí)時(shí)方法以基于流入分組的到達(dá)時(shí)間測量抖動(dòng)并且將適當(dāng)RTP接 收的抖動(dòng)緩沖器延遲設(shè)置得盡可能小。通過減小媒體分組化大小進(jìn)一步對(duì)RTP輸入處理延遲(Dl)進(jìn)行最小化，所述媒體 分組化大小還允許抖動(dòng)緩沖器延遲得以減小，由此減小處理延遲。如果對(duì)混合器間媒體鏈路使用高度壓縮的媒體編解碼(例如，AMR、G. 723. 1)，媒 體解碼和媒體編碼操作812、820會(huì)引起明顯的延遲(D2和D5)。為了使得對(duì)混合器間媒體 鏈路的解碼和編碼操作812、820所帶來的延遲最小化，優(yōu)選使用G. 711或G. 729，然而，這里 的實(shí)施例并不必將設(shè)計(jì)限定為任意特定的媒體編解碼器。在用來創(chuàng)建如這些實(shí)施例中所描述的分布式會(huì)議的媒體服務(wù)器的多處理器實(shí)施 方式中，之前由(D3)和(D4)所標(biāo)注的處理器間延遲在相同物理媒體服務(wù)器內(nèi)的相同處理 器上對(duì)媒體端口和混合器進(jìn)行例示時(shí)得以最小化。然而，由于資源分配約束和大型會(huì)議規(guī) 模，流入和流出端口媒體以及混合器可以在不同處理器上進(jìn)行例示，從而引起額外的處理 延遲。為了避免這種額外的處理延遲，資源管理和分配算法使得流入和流出端口媒體和混 合器在相同處理器上的共同定位最大化，由此不會(huì)引起處理器間的延遲。通過減小流出RTP分組的分組化大小對(duì)RTP輸出和分組化延遲(D6)進(jìn)行最小化。 使用5毫秒的分組化為使用5毫秒幀大小的媒體編解碼器提供最小的延遲。當(dāng)本地輔助混合器124和主混合器122共同定位在相同的物理媒體服務(wù)器112上 時(shí)，通過旁通RTP和編解碼處理對(duì)由連接這些相關(guān)混合器的混合器間媒體鏈路所引起的延 遲進(jìn)行最小化。使用對(duì)混合器間媒體鏈路進(jìn)行RTP旁通的實(shí)施例，對(duì)于存在于相同媒體服 務(wù)器112上的混合器而言，消除了 RTP輸入處理和去抖動(dòng)延遲(Dl)、媒體解碼延遲(D2)、媒 體編碼延遲(D3)以及RTP輸出處理和分組化延遲(D6)。利用這里所給出的實(shí)施例，通過托 管主混合器122和本地輔助混合器124的主要媒體服務(wù)器112的延遲(Dm)被減小為Dm =
D3+D4。在主混合器122和本地輔助混合器124存在于相同的物理媒體服務(wù)器112上時(shí)， 對(duì)混合器間媒體鏈路應(yīng)用的RTP旁通實(shí)施例還能夠處于會(huì)議應(yīng)用服務(wù)器110的控制之下。 如之前部分所描述的，用來應(yīng)用RTP旁通的選項(xiàng)能夠由主要媒體服務(wù)器自動(dòng)使能，或者由 應(yīng)用服務(wù)器110使用控制信令接口明確應(yīng)用。
本領(lǐng)域技術(shù)人員將要理解的是，可以對(duì)以上描述的實(shí)施例的細(xì)節(jié)進(jìn)行許多改變而 不會(huì)背離本發(fā)明的潛在原理。因此，本發(fā)明的范圍應(yīng)當(dāng)僅由權(quán)利要求確定。
權(quán)利要求
1.一種用于通過網(wǎng)際協(xié)議(IP)網(wǎng)絡(luò)提供分布式會(huì)議服務(wù)的系統(tǒng)，所述系統(tǒng)包括主混合器，被配置為提供與通過所述IP網(wǎng)絡(luò)舉行的分布式會(huì)議相關(guān)聯(lián)的媒體流的分 布式混合；和多個(gè)輔助混合器，被配置為與所述主混合器進(jìn)行通信，所述輔助混合器中的至少一個(gè) 被配置為通過所述IP網(wǎng)絡(luò)與所述主混合器進(jìn)行通信，每個(gè)輔助混合器被配置為將一個(gè)或多個(gè)相應(yīng)的參與方加入到所述分布式會(huì)議；通過混合來自所述相應(yīng)的參與方的多個(gè)流入媒體流生成第一混合媒體流；從所述主混合器接收第二混合媒體流，所述第二混合媒體流包括來自通過所述輔助混 合器中的另一個(gè)加入到所述分布式會(huì)議的至少一個(gè)其他參與方的媒體；以及向其相應(yīng)的參與方提供流出媒體流，每個(gè)流出媒體流包括所述第二混合媒體流，基于 所述主混合器對(duì)所述第一混合媒體流包括在所述分布式會(huì)議中的確定，每個(gè)流出媒體流選 擇地包括所述第一混合媒體流的至少一部分。
2.如權(quán)利要求1所述的系統(tǒng)，進(jìn)一步包括包括所述主混合器的第一 IP媒體服務(wù)器；和包括第一個(gè)所述輔助混合器的第二 IP媒體服務(wù)器，其中所述第二 IP媒體服務(wù)器在地 理上遠(yuǎn)離所述第一 IP媒體服務(wù)器，并且其中所述第二 IP媒體服務(wù)器被配置為通過所述IP 網(wǎng)絡(luò)與所述第一 IP媒體服務(wù)器進(jìn)行通信。
3.如權(quán)利要求2所述的系統(tǒng)，其中所述第一IP媒體服務(wù)器進(jìn)一步包括第二個(gè)所述輔助 混合器，其中所述第一個(gè)輔助混合器被配置為將遠(yuǎn)程參與方加入到所述分布式會(huì)議，并且 其中所述第二個(gè)輔助混合器被配置為將本地參與方加入到所述分布式會(huì)議。
4.如權(quán)利要求2所述的系統(tǒng)，其中每個(gè)所述遠(yuǎn)程參與方和每個(gè)所述本地參與方通過相 應(yīng)的流出媒體流接收相同的音頻媒體內(nèi)容，由該特定參與方貢獻(xiàn)給所述分布式會(huì)議的任何 音頻媒體除外。
5.如權(quán)利要求2所述的系統(tǒng)，進(jìn)一步包括會(huì)議應(yīng)用服務(wù)器，被配置為使用信令控制接 口通過所述IP網(wǎng)絡(luò)與所述第一 IP媒體服務(wù)器和所述第二 IP媒體服務(wù)器進(jìn)行通信，所述會(huì) 議應(yīng)用服務(wù)器被配置為在所述分布式會(huì)議期間，將所述多個(gè)輔助混合器加入到所述主混合器并進(jìn)行管理；并且在所述分布式會(huì)議期間，將所述參與方加入到相應(yīng)的混合器并進(jìn)行管理。
6.如權(quán)利要求5所述的系統(tǒng)，其中所述信令控制接口包括會(huì)話發(fā)起協(xié)議(SIP)，所述會(huì) 話發(fā)起協(xié)議承載從所述會(huì)議應(yīng)用服務(wù)器通過所述IP網(wǎng)絡(luò)到所述第一 IP媒體服務(wù)器和所述 第二 IP媒體服務(wù)器的可擴(kuò)展標(biāo)記語言(XML)。
7.如權(quán)利要求5所述的系統(tǒng)，其中，對(duì)于每個(gè)輔助混合器，生成所述第一混合媒體流包 括獨(dú)立混合來自所述相應(yīng)的參與方的預(yù)定數(shù)目的所述流入媒體流，其中所述預(yù)定數(shù)目受到 所述會(huì)議應(yīng)用服務(wù)器的配置控制。
8.如權(quán)利要求1所述的系統(tǒng)，其中所述主混合器被配置為從所述多個(gè)輔助混合器中的每一個(gè)接收所述第一混合媒體流中的單個(gè)媒體流，所述第 一混合媒體流中的至少一個(gè)媒體流通過所述IP網(wǎng)絡(luò)進(jìn)行傳送；并且對(duì)于所述多個(gè)輔助混合器中的每一個(gè)通過選擇地混合從其它輔助混合器接收的所述多個(gè)第一混合媒體流而生成對(duì)應(yīng)于所 述特定輔助混合器的所述第二混合媒體流；確定從所述特定輔助混合器接收的所述第一混合媒體流是否包括在所述分布式會(huì)議中；基于所述確定，生成混合器覆蓋信號(hào)；并且將所述第二混合媒體流和對(duì)應(yīng)的混合器覆蓋信號(hào)傳送到所述特定輔助混合器。
9.如權(quán)利要求8所述的系統(tǒng)，其中將所述第二混合媒體流和對(duì)應(yīng)的混合器覆蓋信號(hào)傳 送到所述特定輔助混合器包括連同所述第二混合媒體流的每個(gè)媒體幀一起實(shí)時(shí)傳送對(duì)應(yīng) 的混合器覆蓋信號(hào)。
10.如權(quán)利要求1所述的系統(tǒng)，其中所述多個(gè)輔助混合器在地理上以集群分布，并且其 中所述系統(tǒng)進(jìn)一步包括用于每個(gè)集群的附加主混合器，每個(gè)附加主混合器被配置為通過所 述IP網(wǎng)絡(luò)與所述主混合器進(jìn)行通信。
11.如權(quán)利要求1所述的系統(tǒng)，其中所述主混合器包括被配置為提供會(huì)議通告和記錄 服務(wù)的共用端口，其中所述分布式會(huì)議中的所有參與方聽到送入所述共用端口的會(huì)議通 告，并且其中通過所述共用端口提供的所述記錄服務(wù)包括記錄所述分布式會(huì)議中的所有參 與方所接收的媒體。
12.如權(quán)利要求1所述的系統(tǒng)，其中所述主混合器和所述多個(gè)輔助混合器中的每一個(gè) 獨(dú)立提供媒體代碼轉(zhuǎn)換。
13.如權(quán)利要求1所述的系統(tǒng)，其中所述主混合器和所述多個(gè)輔助混合器之間的通信 使用IP上的實(shí)時(shí)傳輸協(xié)議(RTP)。
14.如權(quán)利要求13所述的系統(tǒng)，其中使用IP上的RTP包括從所述主混合器向所述多個(gè) 輔助混合器傳送RTP分組，每個(gè)RTP分組包括指示所述第一混合媒體流是否包括在所述分 布式會(huì)議中的RTP擴(kuò)展報(bào)頭。
15.一種用于使用網(wǎng)際協(xié)議(IP)媒體服務(wù)器的總和集合通過IP網(wǎng)絡(luò)提供分布式會(huì)議 服務(wù)的方法，所述方法包括通過輔助混合器將多個(gè)參與方加入到分布式會(huì)議，所述輔助混合器通過所述IP網(wǎng)絡(luò) 與主混合器進(jìn)行通信；通過混合來自通過所述輔助混合器加入的所述參與方的多個(gè)流入媒體流生成第一混 合媒體流；從所述主混合器接收第二混合媒體流，所述第二混合媒體流包括被選擇為包括在所述 分布式會(huì)議中的媒體；以及向通過所述輔助混合器加入的所述參與方提供流出媒體流，每個(gè)流出媒體流包括所述 第二混合媒體流，基于所述主混合器對(duì)所述第一混合媒體流包括在所述分布式會(huì)議中的確 定，每個(gè)流出媒體流選擇地包括所述第一混合媒體流的至少一部分。
16.如權(quán)利要求15所述的方法，進(jìn)一步包括從所述輔助混合器通過所述IP網(wǎng)絡(luò)向所述 主混合器傳送所述第一混合媒體流。
17.如權(quán)利要求15所述的方法，進(jìn)一步包括通過經(jīng)由與所述主混合器進(jìn)行通信的另一 輔助混合器將其他參與方加入進(jìn)來以增加所述分布式會(huì)議中的參與方的數(shù)目。
18.如權(quán)利要求17所述的方法，其中所述第二混合媒體流包括所述其他參與方中的一個(gè)或多個(gè)提供的媒體內(nèi)容。
19.如權(quán)利要求15所述的方法，進(jìn)一步包括配置所述輔助混合器并且通過會(huì)議應(yīng)用服 務(wù)器在所述輔助混合器和所述主混合器之間建立通信。
20.如權(quán)利要求19所述的方法，其中生成所述第一混合媒體流包括混合來自相應(yīng)的參 與方的預(yù)定數(shù)目的所述流入媒體流，其中所述預(yù)定數(shù)目受到所述會(huì)議應(yīng)用服務(wù)器的配置控 制。
21.一種用于使用網(wǎng)際協(xié)議(IP)媒體服務(wù)器的總和集合通過IP網(wǎng)絡(luò)提供分布式會(huì)議 服務(wù)的方法，所述方法包括在主混合器從多個(gè)輔助混合器中的每一個(gè)接收單個(gè)的第一混合媒體流，所述第一混合 媒體流中的至少一個(gè)通過所述IP網(wǎng)絡(luò)進(jìn)行傳送；并且 對(duì)于所述多個(gè)輔助混合器中的每一個(gè)通過選擇地混合從其它輔助混合器接收的多個(gè)第一混合媒體流而生成對(duì)應(yīng)于特定輔 助混合器的第二混合媒體流；確定從所述特定輔助混合器接收的所述第一混合媒體流是否包括在所述分布式會(huì)議中；基于所述確定，生成混合器覆蓋信號(hào)；并且將所述第二混合媒體流和對(duì)應(yīng)的混合器覆蓋信號(hào)傳送到所述特定輔助混合器。
22.如權(quán)利要求21所述的方法，其中將所述第二混合媒體流和對(duì)應(yīng)的混合器覆蓋信號(hào) 傳送到所述特定輔助混合器包括連同所述第二混合媒體流的每個(gè)媒體幀一起實(shí)時(shí)傳送對(duì) 應(yīng)的混合器覆蓋信號(hào)。
全文摘要
提供了IP網(wǎng)絡(luò)中的分布式媒體混合和會(huì)議。多個(gè)輔助混合器被配置為與一個(gè)或多個(gè)主混合器進(jìn)行通信，其中至少一個(gè)通過IP網(wǎng)絡(luò)進(jìn)行通信。每個(gè)輔助混合器被配置為將一個(gè)或多個(gè)相應(yīng)的參與方加入分布式會(huì)議，通過混合來自相應(yīng)的參與方的多個(gè)流入媒體流生成第一混合媒體流，并且從主混合器接收第二混合媒體流。所述第二混合媒體流包括來自通過另一個(gè)輔助混合器加入到所述分布式會(huì)議的至少一個(gè)其他參與方的媒體。每個(gè)輔助混合器還基于來自主混合器的控制信號(hào)向其相應(yīng)的參與方提供流出媒體流。
文檔編號(hào)H04L29/06GK101997866SQ20101014479
公開日2011年3月30日 申請(qǐng)日期2010年3月29日 優(yōu)先權(quán)日2009年8月14日
發(fā)明者尼爾·M·岡, 忻勇, 蒂莫西·S·沃伊諾斯基, 阿德南·薩利姆 申請(qǐng)人:銳德世加拿大無限責(zé)任公司