專利名稱：多畫面合成方法、系統(tǒng)及媒體處理裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及通信領(lǐng)域，具體而言，涉及一種多畫面合成方法、系統(tǒng)及媒體處理裝置。
背景技術(shù)：
會議電視技術(shù)的出現(xiàn)和發(fā)展，逐漸改變了人類的社會活動方式，視頻通信也成為人類社會經(jīng)濟生活中不可缺少的一部分。傳統(tǒng)的通信工具，如電話、傳真機等都無法達到面 對面或一群人聚集在一起的溝通效果。對企事業(yè)單位來說，出差開會，已成為令人苦惱，望 而卻步的事情。采用會議電視的方式既達到了召開會議的目的，又避免了出差到外地。視頻會議系統(tǒng)主要包括多點控制單元(Multipoint Control Unit，簡稱為MCU)和 終端系統(tǒng)，其中，MCU是多點視頻會議系統(tǒng)的關(guān)鍵設(shè)備，它從來自各會議場點的信息流，抽取 出音頻、視頻、數(shù)據(jù)等信息和信令，再將各會議場點的信息和信令，分別送入多點控制模塊 和媒體處理模塊，完成相應(yīng)的音頻混合或切換、視頻混合或切換、數(shù)據(jù)廣播和路由選擇、定 時和會議控制等過程，最后將各會議場點所需的各種信息重新組合起來，送往各相應(yīng)的終 端系統(tǒng)設(shè)備。終端系統(tǒng)分為桌面式會議終端和會議室型會議終端兩大類。桌面式會議終端 成本低、使用方便等特點，適合個人辦公使用和召開小規(guī)模的會議。會議室型終端配備有高 品質(zhì)變焦鏡頭、高保真音響、大屏幕彩電或投影等外部輔助設(shè)備，加上視頻的前處理/后處 理器，使得畫面畫質(zhì)更清晰、達到更好的會議效果，適合召開較大規(guī)模的會議。會議室終端 適用于會議室，幾個到幾十個與會人員的環(huán)境。廣播終端是單向接收終端，它可以接收會議 的圖象與聲音，但是不能發(fā)送圖像與聲音。廣播終端可以用于只需要單向傳遞信息的場合， 例如上級向下級傳達政策等場合。移動終端是在桌面型終端的基礎(chǔ)上，配上無線接入卡和 無線發(fā)射裝置，可以在一定地區(qū)范圍內(nèi)移動加入會議。會議終端配置在視頻會議中的本地 會議場點和各分會場點。在傳統(tǒng)的會議電視中，通過MCU和終端系統(tǒng)的密切配合，以分屏方式實現(xiàn)多畫面 的同時輸出。從4、9、16的對稱分屏到1+5、1+7、3+4、2+8、1+12等不對稱分屏，從1+1,1+2 等畫中畫到6、2+4等16 9寬屏顯示，多種不同的分屏組合方式，滿足用戶任意的顯示要 求。以下結(jié)合圖1描述傳統(tǒng)的會議電視顯示的多畫面布局。該布局為9個畫面，每個畫 面大小相同，為整個畫面大小的1/9。傳統(tǒng)會場不要求真身大小，更期望能夠看到更多會場 信息。9個畫面每排3個小畫面可以顯示一個多流會場，9個畫面能夠顯示3個多流會場。由此可知，用戶雖然可以看到盡可能多的會場，但是，用戶觀看的畫面無法保持其 顯示場景的真身大小、也難以有效進行眼神交流，因此降低了用戶臨場感體驗。

發(fā)明內(nèi)容
針對相關(guān)技術(shù)中無法在盡可能多地合成多個場景時，還保持場景的真身大小的問 題，本發(fā)明的主要目的在于提供一種多畫面合成方法、系統(tǒng)及媒體處理裝置，以解決上述問題至少之一。 根據(jù)本發(fā)明的一個方面，提供了一種多畫面合成方法。根據(jù)本發(fā)明的多畫面合成方法，應(yīng)用于視頻會議系統(tǒng)，該方法包括獲取多路媒體 碼流，其中，每路媒體碼流用于顯示場景的一個畫面；按照布局將多路媒體碼流合成為一組 多畫面，其中，布局中的至少一個畫面的大小等于所顯示場景的真實大小。根據(jù)本發(fā)明的另一方面，提供了一種多畫面合成系統(tǒng)。根據(jù)本發(fā)明的多畫面合成系統(tǒng)包括接入模塊，用于獲取多路媒體碼流，其中，每 路媒體碼流用于顯示場景的一個畫面；媒體處理模塊，用于按照布局將多路媒體碼流合成 為一組多畫面，其中，布局中的至少一個畫面的大小等于所顯示場景的真實大小。根據(jù)本發(fā)明的又一方面，提供了 一種媒體處理裝置。根據(jù)本發(fā)明的媒體處理裝置包括接收模塊，用于接收多路媒體碼流，其中，每路 媒體碼流用于顯示場景的一個畫面；處理模塊，用于按照布局將接收到的多路媒體碼流合 成為一組多畫面，其中，布局中的至少一個畫面的大小等于所顯示場景的真實大小。輸出模 塊，用于將合成后的一組多畫面輸出。通過本發(fā)明，按照預(yù)定的布局將多路媒體碼流合成為一組多畫面，其中，該布局中 的至少一個畫面的大小等于所顯示場景的真實大小，解決了相關(guān)技術(shù)中無法在盡可能多地 合成多個場景時，還保持場景的真身大小的問題，進而可以在盡可能地合成多個會場信息 夕卜，還能保持畫面顯示場景的真實大小，有效提高了用戶臨場感體驗。


此處所說明的附圖用來提供對本發(fā)明的進一步理解，構(gòu)成本申請的一部分，本發(fā) 明的示意性實施例及其說明用于解釋本發(fā)明，并不構(gòu)成對本發(fā)明的不當(dāng)限定。在附圖中圖1是傳統(tǒng)的會議電視顯示的多畫面布局；圖2是視頻會議系統(tǒng)的結(jié)構(gòu)示意圖；圖3是根據(jù)本發(fā)明實施例的多畫面合成方法的流程圖；圖4是根據(jù)本發(fā)明優(yōu)選實施例一的多畫面布局的示意圖；圖5是根據(jù)本發(fā)明優(yōu)選實施例二的多畫面布局的示意圖；圖6是根據(jù)本發(fā)明優(yōu)選實施例三的多組多畫面布局的示意圖；圖7是根據(jù)本發(fā)明優(yōu)選實施例的多畫面合成方法的流程圖；圖8是根據(jù)本發(fā)明實施例的多畫面合成系統(tǒng)的結(jié)構(gòu)框圖；圖9是根據(jù)本發(fā)明優(yōu)選實施例的多畫面合成系統(tǒng)的結(jié)構(gòu)框圖；圖10是根據(jù)本發(fā)明優(yōu)選實施例的媒體處理裝置的結(jié)構(gòu)框圖。
具體實施例方式下文中將參考附圖并結(jié)合實施例來詳細(xì)說明本發(fā)明。需要說明的是，在不沖突的 情況下，本申請中的實施例及實施例中的特征可以相互組合。圖2是視頻會議系統(tǒng)的結(jié)構(gòu)示意圖。如圖2所示，該視頻會議系統(tǒng)包括單、多視 頻流會場和多點控制單元(Multipoint (011廿01此行，簡稱為]\ ^)13。其中，111、112、113 為多流會場，121、122、123為單流會場。其中，111會場為廣播源會場，其他會場都看111會場；111所看會場為113會場。單流會場121、122、123只能選看111會場中多流的一路碼 流，存在信息不完備的缺陷，因此需要媒體處理模塊把多路碼流合成為一路碼流。111會場 雖然是多流會場，但是也只能看一個多流會場，也需要媒體處理模塊把其他會場碼流合成
一路碼流。 在上述視頻會議系統(tǒng)中，如果用戶需要盡可能地看到多個會場信息，還能看到畫 面顯示的會場場景的真實大小，則需要提供一種新的多畫面合成方法，以下結(jié)合圖3進行 描述。圖3是根據(jù)本發(fā)明實施例的多畫面合成方法的流程圖。如圖3所示，該多畫面合 成方法包括以下處理步驟S302 獲取多路媒體碼流，其中，每路媒體碼流用于顯示場景的一個畫面；步驟S304 按照布局將多路媒體碼流合成為一組多畫面，其中，布局中的至少一 個畫面的大小等于所顯示場景的真實大小。采用上述方法，由于上述布局中的至少一個畫面的大小等于所顯示場景的真實大 小，用戶觀看的畫面可以保持其顯示場景的真身大小、也能夠有效進行眼神交流，因此提高 了用戶臨場感體驗。優(yōu)選地，上述多畫面中還可以有至少一個小畫面，其中，每個小畫面的大小小于所 顯示場景的真實大小。以下結(jié)合圖4和圖5描述上述優(yōu)選實施過程。圖4是根據(jù)本發(fā)明優(yōu)選實施例一的多畫面布局的示意圖；如圖4所示，該布局由4 個畫面組合而成，其中414對應(yīng)是大畫面，并在其底部中間疊加411、412、413共3個長寬比 16 9的小畫面，小畫面的面積在大畫面的1/36至1/16之間。411、412、413媒體源來自 同一多流會場或者多個單流會場?？梢?，414保持了真身大小，不影響眼神交流，411、412、 413又能夠看到其他會場的圖像信息。圖5是根據(jù)本發(fā)明優(yōu)選實施例二的多畫面布局的示意圖；如圖5所示，該布局與圖 4的區(qū)別主要在于小畫面疊加在頂部中間。與圖4 一樣，大畫面52保持了真身大小，不影響 眼神交流，511、512、513又能夠看到其他會場的圖像信息。優(yōu)選地，根據(jù)會議狀態(tài)，可以動態(tài)確定需要合成的多畫面組數(shù)，每組多畫面用一個
屏幕顯示。在優(yōu)選實施過程中，上述多組多畫面中，也可以采用傳統(tǒng)的多畫面布局，具體可以 參見圖1。以下結(jié)合圖6描述上述優(yōu)選實施過程。圖6是根據(jù)本發(fā)明優(yōu)選實施例三的多組多畫面布局的示意圖；本實施例以圖2為 例，給出不同會場所看多畫面合成后的圖像信息。611為111左屏所看碼流示意圖，其圖像 分別來自113左席和121、122、123會場。612為111中屏所看碼流示意圖，其圖像分別來 自113中席和112會場圖像。613為111右屏所看碼流示意圖，其圖像來自113右席圖像。 可見111所看會場大畫面圖像信息來自113，其大小保持真身大小，此外還疊加了 112，121、 122、123會場圖像。621，622，623為113所看圖像信息，其大畫面媒體源為111會場，并在 622上合成多畫面疊加112會場信息，因此113能夠同時看到111和112會場視頻。63為 121、122、123單流會場所看的9個畫面圖像，其媒體碼流分別來自111、112、113三個會場。優(yōu)選地，該方法還可以包括以下處理在會議中根據(jù)會議狀態(tài)，確定更改當(dāng)前布局；根據(jù)更改后的布局，將多路媒體碼流合成為一組多畫面。優(yōu)選地，該方法還可以包括以下處理在會議中根據(jù)會議狀態(tài)，確定更改碼流源； 從新的碼流源獲取新的多路媒體碼流；按照布局將新的多路媒體碼流合成為一組多畫面。以下結(jié)合圖7描述上述優(yōu)選實施過程。圖7是根據(jù)本發(fā)明優(yōu)選實施例的多畫面合成方法的流程圖。如圖7所示，該多畫 面合成方法包括以下處理步驟S702 在會議召開過程中，根據(jù)MCU圖像合成能力和與會終端特點來決定合 成幾組多畫面，每組多畫面采用何種布局。其中，MCU圖像合成能力指的是能夠合成多少個多畫面，還包括不同協(xié)議不同速率 間轉(zhuǎn)碼能力。當(dāng)能力有限時，首先保證主席會場的多畫面合成。多畫面采用的布局，可以根 據(jù)實際情況選擇圖1、圖4、圖5所示布局。普通會場一般采用圖1布局，網(wǎng)真會場一般采用 圖4或圖5布局。此外，布局和畫面數(shù)還可以在會議中動態(tài)調(diào)整。步驟S704 會議中根據(jù)會議狀態(tài)隨時改變多畫面由哪些終端碼流合成(相當(dāng)于上 述在會議中根據(jù)會議狀態(tài)，確定更改碼流源)。會議中可能發(fā)生廣播源改變，則每組多畫面 所合成的媒體碼流要隨之變化。圖4、圖5布局中大畫面選擇廣播源會場碼流或者廣播源所 看會場碼流，小畫面選擇其他會場碼流并按次序填充。圖1布局中媒體碼流可由用戶指定， 或者顯示最近有發(fā)言的多個會場。步驟S706 根據(jù)每個會場特點選擇不同的媒體碼流傳輸給該會場。該會場通過多 路碼流能夠直接看到其他會場的場景，或者其他會場合成后的多畫面，具體可以根據(jù)實際 情況而定。在優(yōu)選實施過程中，可以實時調(diào)整以下至少之一多畫面組數(shù)、多畫面的布局、媒 體源。具體地，系統(tǒng)可以根據(jù)預(yù)定配置動態(tài)調(diào)整，也可以響應(yīng)用戶的調(diào)整指令進行動態(tài)調(diào)整。圖8是根據(jù)本發(fā)明實施例的多畫面合成系統(tǒng)的結(jié)構(gòu)框圖。如圖8所示，該多畫面 合成系統(tǒng)，應(yīng)用于視頻會議系統(tǒng)，包括接入模塊80、媒體處理模塊82。接入模塊80，用于獲取多路媒體碼流，其中，每路媒體碼流用于顯示場景的一個畫 面；媒體處理模塊82，用于按照布局將多路媒體碼流合成為一組多畫面，其中，布局中 的至少一個畫面的大小等于所顯示場景的真實大小。采用上述系統(tǒng)，由于上述布局中的至少一個畫面的大小等于所顯示場景的真實大 小，用戶觀看的畫面可以保持其顯示場景的真身大小、也能夠有效進行眼神交流，因此提高 了用戶臨場感體驗。優(yōu)選地，上述接入模塊80，還用于將媒體處理模塊處理后的一組多畫面輸出至終端。優(yōu)選地，如圖9所示，如果接入模塊和媒體處理模塊均為多個，則系統(tǒng)還可以包 括媒體交換模塊84，用于將接入模塊獲取的媒體碼流轉(zhuǎn)發(fā)至該接入模塊對應(yīng)的媒體處理 模塊，將媒體處理模塊處理后的多畫面輸出至該媒體處理模塊對應(yīng)的接入模塊。需要注意的是，上述多畫面合成系統(tǒng)中各個模塊相互結(jié)合的優(yōu)選實施方式可以參 見圖3至圖7中的描述，此處不再贅述。
圖10是根據(jù)本發(fā)明優(yōu)選實施例的媒體處理裝置的結(jié)構(gòu)框圖。如圖10所示，該媒 體處理裝置主要包括接收模塊10、處理模塊12、以及輸出模塊14。接收模塊10，用于接收多路媒體碼流，其中，每路媒體碼流用于顯示場景的一個畫 面；在優(yōu)選實施過程中，接收模塊10接收終端碼流，其中，該終端碼流通過網(wǎng)絡(luò)和MCU 接入模塊進入到MCU內(nèi)部。處理模塊12，用于按照布局將接收到的多路媒體碼流合成為一組多畫面，其中，該 布局中的至少一個畫面的大小等于所顯示場景的真實大小。在優(yōu)選實施過程中，處理模塊12 根據(jù)畫面布局和多畫面填充碼流信息合成多畫 面。其中，該處理模塊12還用于進行碼流協(xié)議處理和速率轉(zhuǎn)換。輸出模塊14，用于將合成后的一組多畫面輸出。上述媒體處理裝置可以按照預(yù)定的布局將接收到的多路媒體碼流合成為一組多 畫面，其中，上述布局中的至少一個畫面的大小等于所顯示場景的真實大小，因而經(jīng)過媒體 處理裝置處理后的圖像能夠保持真身大小，不影響眼神交流，有效提高了用戶體驗。優(yōu)選地，多畫面中還可以有至少一個小畫面，其中，每個小畫面的大小小于所顯示 場景的真實大小。該多畫面的布局具體可以參見圖4和圖5。通過上述處理，可以使用戶盡可能地看到多個場景的畫面，有效提高了用戶的觀 看體驗。綜上所述，借助本發(fā)明提供的上述實施例，可以在盡可能地合成多個會場信息外， 還能保持畫面顯示場景的真實大小，便于用戶之間進行眼神交流，有效提高了用戶臨場感 體驗。顯然，本領(lǐng)域的技術(shù)人員應(yīng)該明白，上述的本發(fā)明的各模塊或各步驟可以用通用 的計算裝置來實現(xiàn)，它們可以集中在單個的計算裝置上，或者分布在多個計算裝置所組成 的網(wǎng)絡(luò)上，可選地，它們可以用計算裝置可執(zhí)行的程序代碼來實現(xiàn)，從而，可以將它們存儲 在存儲裝置中由計算裝置來執(zhí)行，并且在某些情況下，可以以不同于此處的順序執(zhí)行所示 出或描述的步驟，或者將它們分別制作成各個集成電路模塊，或者將它們中的多個模塊或 步驟制作成單個集成電路模塊來實現(xiàn)。這樣，本發(fā)明不限制于任何特定的硬件和軟件結(jié)合。以上所述僅為本發(fā)明的優(yōu)選實施例而已，并不用于限制本發(fā)明，對于本領(lǐng)域的技 術(shù)人員來說，本發(fā)明可以有各種更改和變化。凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修 改、等同替換、改進等，均應(yīng)包含在本發(fā)明的保護范圍之內(nèi)。
權(quán)利要求
一種多畫面合成方法，應(yīng)用于視頻會議系統(tǒng)，其特征在于，包括獲取多路媒體碼流，其中，每路媒體碼流用于顯示場景的一個畫面；按照布局將所述多路媒體碼流合成為一組多畫面，其中，所述布局中的至少一個畫面的大小等于所顯示場景的真實大小。
2.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述多畫面中有至少一個小畫面，其中， 每個小畫面的大小小于所顯示場景的真實大小。
3.根據(jù)權(quán)利要求1或2所述的方法，其特征在于，還包括根據(jù)會議狀態(tài)，確定需要合成的多畫面組數(shù)，每組所述多畫面用一個屏幕顯示。
4.根據(jù)權(quán)利要求1所述的方法，其特征在于，還包括 在會議中根據(jù)會議狀態(tài)，確定更改所述布局；根據(jù)所述更改后的布局，將所述多路媒體碼流合成為一組多畫面。
5.根據(jù)權(quán)利要求1所述的方法，其特征在于，還包括 在會議中根據(jù)會議狀態(tài)，確定更改碼流源；從所述新的碼流源獲取新的多路媒體碼流； 按照布局將所述新的多路媒體碼流合成為一組多畫面。
6.一種多畫面合成系統(tǒng)，應(yīng)用于視頻會議系統(tǒng)，其特征在于，包括接入模塊，用于獲取多路媒體碼流，其中，每路媒體碼流用于顯示場景的一個畫面； 媒體處理模塊，用于按照布局將所述多路媒體碼流合成為一組多畫面，其中，所述布局 中的至少一個畫面的大小等于所顯示場景的真實大小。
7.根據(jù)權(quán)利要求6所述的系統(tǒng)，其特征在于，所述接入模塊，還用于將所述媒體處理模塊處理后的所述一組多畫面輸出至終端。
8.根據(jù)權(quán)利要求7所述的系統(tǒng)，其特征在于，所述接入模塊和所述媒體處理模塊均為 多個，所述系統(tǒng)還包括媒體交換模塊，用于將所述接入模塊獲取的媒體碼流轉(zhuǎn)發(fā)至該接入模塊對應(yīng)的媒體 處理模塊，將所述媒體處理模塊處理后的所述多畫面輸出至該媒體處理模塊對應(yīng)的接入模 塊。
9.一種媒體處理裝置，應(yīng)用于視頻會議系統(tǒng)，其特征在于，包括接收模塊，用于接收多路媒體碼流，其中，每路媒體碼流用于顯示場景的一個畫面； 處理模塊，用于按照布局將接收到的所述多路媒體碼流合成為一組多畫面，其中，所述 布局中的至少一個畫面的大小等于所顯示場景的真實大小。 輸出模塊，用于將合成后的所述一組多畫面輸出。
10.根據(jù)權(quán)利要求9所述的裝置，其特征在于，所述多畫面中有至少一個小畫面，其中， 每個小畫面的大小小于所顯示場景的真實大小。
全文摘要
本發(fā)明公開了一種多畫面合成方法、系統(tǒng)及媒體處理裝置，應(yīng)用于視頻會議系統(tǒng)，上述多畫面合成方法包括獲取多路媒體碼流，其中，每路媒體碼流用于顯示場景的一個畫面；按照布局將多路媒體碼流合成為一組多畫面，其中，布局中的至少一個畫面的大小等于所顯示場景的真實大小。根據(jù)本發(fā)明提供的上述技術(shù)方案，可以在盡可能地合成多個會場信息外，還能保持畫面顯示場景的真實大小，有效提高了用戶臨場感體驗。
文檔編號H04N7/15GK101860715SQ20101018044
公開日2010年10月13日 申請日期2010年5月14日 優(yōu)先權(quán)日2010年5月14日
發(fā)明者吳衍平, 孫波, 田智平, 黃書平 申請人:中興通訊股份有限公司