多屏視頻會議中對與會者圖像顯示進行調整的方法及裝置制造方法
【專利摘要】本發(fā)明實施例提供一種多屏視頻會議中對與會者圖像顯示進行調整的方法及裝置，其中對與會者圖像顯示進行調整的方法包括按照當前會議中與會者音量從大到小的順序，從音量最大的與會者開始，依次確定預定個數(shù)的待顯示的與會者；確定第一會場中預定個數(shù)的當前顯示的與會者對應的屏幕作為需要切換圖像的屏幕；控制所述需要切換圖像的屏幕所顯示的圖像切換為所述預定個數(shù)的待顯示與會者的圖像。采用本發(fā)明提供的技術方案，能夠使第一會場中的與會者看到參與討論的與會者圖像。
【專利說明】多屏視頻會議中對與會者圖像顯示進行調整的方法及裝置
【技術領域】
[0001]本發(fā)明涉及通信【技術領域】，特別涉及一種多屏視頻會議中對與會者圖像顯示進行調整的方法及裝置。
【背景技術】
[0002]視訊會議業(yè)務是一種多媒體通信業(yè)務，其利用視訊終端和通信網絡召開會議，可以同時實現(xiàn)兩地或多個地點之間的圖像、語音、數(shù)據(jù)的交互。會場中的終端將本地攝像機拍攝的圖像信號、與會者區(qū)域中的麥克風拾取的與會者的聲音信號進行壓縮編碼，經過傳輸網絡傳至遠方會場。同時，通過傳輸網絡接收遠方會場傳來的數(shù)字信號，對數(shù)字信號進行解碼得到遠方會場與會者的圖像和信號。隨著視頻會議的發(fā)展，會場已經由以前的一個攝像機、一個顯示器、一個與會者區(qū)域發(fā)展到多個攝像機、多個顯示器、多個與會者區(qū)域，這些在同一會場的多個攝像機、多個顯示器、多個與會者區(qū)域通過物理的或者邏輯的關系進行關聯(lián)。
[0003]現(xiàn)有技術提供一種按會場的聲控切換方法，通信網絡中的多點控制服務器(以MCU,Multipoint Control Unit,即多點控制單元為例)識別當前聲音最大的發(fā)言者,將當前聲音最大的發(fā)言者所在會場的各與會者的圖像都切換到目標會場中，其中目標會場是會議中除最大發(fā)言者所在會場以外的各會場。
[0004]現(xiàn)有技術具有如下缺點:
[0005]現(xiàn)有技術中目標會場只能顯示同一會場的各與會者圖像，即只能顯示聲音最大的與會者所在會場的各與會者圖像，這樣，如果當前參與討論的與會者是不同會場的與會者時，目標會場中的與會者就不能看到當前參與討論的與會者圖像。

【發(fā)明內容】

[0006]本發(fā)明實施例提供一種多屏視頻會議中對與會者圖像顯示進行調整的方法及裝置，能夠靈活的進行按屏幕聲控切換，提高與會者的體驗。
[0007]有鑒于此，本發(fā)明實施例提供:
[0008]一種多屏視頻會議中對與會者圖像顯示進行調整的方法，包括:
[0009]按照當前會議中與會者音量從大到小的順序，從音量最大的與會者開始，依次確定預定個數(shù)的待顯示的與會者；
[0010]確定第一會場中預定個數(shù)的當前顯示的與會者對應的屏幕作為需要切換圖像的屏眷;
[0011]控制所述需要切換圖像的屏幕所顯示的圖像切換為所述預定個數(shù)的待顯示與會者的圖像。
[0012]一種網絡側媒體處理設備，包括:
[0013]與會者選擇單元，用于按照當前會議中與會者音量從大到小的順序，從音量最大的與會者開始，依次確定預定個數(shù)的待顯示的與會者；[0014]屏幕選擇單元，用于確定第一會場中預定個數(shù)的當前顯示的與會者對應的屏幕作為需要切換圖像的屏幕；
[0015]第一控制切換單元，用于控制所述需要切換圖像的屏幕所顯示的圖像切換為所述預定個數(shù)的待顯示與會者的圖像。
[0016]本發(fā)明實施例確定第一會場中預定個數(shù)的當前顯示的與會者對應的屏幕作為需要切換圖像的屏幕，然后將需要切換圖像的屏幕中的圖像切換為根據(jù)會議中各與會者音量從大到小的順序而確定的待顯示與會者的圖像。由于所選擇的待顯示的與會者是按照當前會議中與會者音量從大到小的順序而確定的，所以可以顯示當前參與討論、且位于不同會場的與會者，能夠使第一會場中的與會者看到參與討論的與會者圖像，提高與會者的體驗。
【專利附圖】

【附圖說明】
[0017]為了更清楚地說明本發(fā)明實施例的技術方案，下面將對實施例中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實施例，對于本領域普通技術人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他的附圖。
[0018]圖1是多屏會場的結構示意圖；
[0019]圖2A是本發(fā)明一實施例提供的多屏視頻會議中對與會者圖像顯示進行調整的方法流程圖；
[0020]圖2B是本發(fā)明另一實施例提供的多屏視頻會議中對與會者圖像顯示進行調整的方法流程圖；
[0021]圖2C是本發(fā)明又一實施例提供的多屏視頻會議中對與會者圖像顯示進行調整的方法流程圖；
[0022]圖2D是本發(fā)明又一實施例提供的多屏視頻會議中對與會者圖像顯示進行調整的方法流程圖；
[0023]圖3是本發(fā)明實施例提供的一種基于最近發(fā)言者列表對與會者圖像顯示進行調整的方法流程圖；
[0024]圖4是本發(fā)明實施例提供的另一種基于最近發(fā)言者列表對與會者圖像顯示進行調整的方法流程圖；
[0025]圖5是本發(fā)明實施例提供的又一種基于最近發(fā)言者列表對與會者圖像顯示進行調整的方法流程圖；
[0026]圖6A是本發(fā)明實施例提供的采用圖3、4或者5的方法切換三屏會場屏幕的圖像的不意圖；
[0027]圖6B是本發(fā)明實施例提供的采用圖3、4或者5的方法切換兩屏會場屏幕的圖像的不意圖；
[0028]圖6C是本發(fā)明實施例提供的采用指定顯示最大發(fā)言者圖像的屏幕的方法切換三屏會場屏幕的圖像的示意圖；
[0029]圖6D是本發(fā)明實施例提供的采用指定顯示最大發(fā)言者圖像的屏幕的方法切換兩屏會場屏幕的圖像的示意圖；
[0030]圖7是本發(fā)明實施例提供的一種考慮會場中屏幕的位置對與會者圖像顯示進行調整的方法流程圖；[0031]圖8是本發(fā)明實施例提供的會場將多畫面圖像疊加顯示在聲音最大的發(fā)言者圖像上的示意圖；
[0032]圖9是本發(fā)明實施例提供的會場中的放音設備播放混音(遠端會場的多個與會者聲音)的不意圖；
[0033]圖10是本發(fā)明實施例提供的顯示聲音最大的與會者圖像的同時顯示多畫面的示意圖；
[0034]圖11是本發(fā)明實施例提供的一種網絡側媒體處理設備結構圖；
[0035]圖12、圖13分別為屏幕選擇單元結構圖；
[0036]圖14為視頻源控制單元結構圖。
【具體實施方式】
[0037]為使本發(fā)明實施例的目的、技術方案和優(yōu)點更加清楚，下面將結合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例是本發(fā)明一部分實施例，而不是全部的實施例?；诒景l(fā)明中的實施例，本領域普通技術人員在沒有作出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。
[0038]參閱圖2A，本發(fā)明實施例提供一種多屏視頻會議中對與會者圖像顯示進行調整的方法，該方法具體包括:
[0039]201A、按照當前會議中與會者音量從大到小的順序,從音量最大的與會者開始,依次確定預定個數(shù)的待顯示的與會者。
[0040]其中，與會者的音量從大到小的順序，在需要對與會者的圖像顯示進行調整時，對與會者的一段時間講話的音量能量值進行統(tǒng)計，所述的一段時間可以為需要對與會者的圖像進行調整的時刻之前的一段時間，該一段時間的時長可以由用戶設定；其中，預定個數(shù)可以是一個，此時所確定的與會者為聲音最大的與會者；或者，預定個數(shù)為多個，具體可以由網絡側媒體處理設備設置的，也可以是網絡側業(yè)務管理平臺或者網絡側設備管理平臺設置的，還可以是由終端設置并發(fā)送給網絡側媒體處理設備，比如，主席會場的終端設置后發(fā)送給網絡側媒體處理設備。
[0041]202A、確定第一會場中預定個數(shù)的當前顯示的與會者對應的屏幕作為需要切換圖
像的屏幕。
[0042]具體的，可以根據(jù)用戶的自定義選擇，也可以根據(jù)會議過程中管理員的指定，還可以根據(jù)第一會場的屏幕當前顯示的與會者的排序結果，來確定第一會場中預定個數(shù)的當前顯示的與會者對應的屏幕作為需要切換圖像的屏幕。其中，第一會場的屏幕當前顯示的與會者的排序結果是按照如下排序條件進行的，所述排序條件包括如下條件之一:當前顯示的與會者的聲音大小、當前顯示的與會者的發(fā)言時間點遠近、當前顯示的與會者的發(fā)言時長、第一會場的屏幕當前顯示的與會者的發(fā)言次數(shù)和第一會場的屏幕當前顯示的與會者所對應的屏幕是否為主屏。其中，排序結果可以是按照如下方式之一進行排序:當前顯示的與會者按照聲音從大到小的順序；當前顯示的與會者的發(fā)言時間點按照從近到遠的順序；當前顯示的與會者的發(fā)言時長按照從長到短的順序；第一會場的屏幕當前顯示的與會者的發(fā)言次數(shù)按照從多到少的順序；此外，第一會場的屏幕當前顯示的與會者所對應的屏幕是否為主屏可以作為附加的排序條件，屏幕為主屏的第一會場的當前顯示的與會者的排序順序位于屏幕為非主屏的第一會場的當前顯示的與會者的排序順序之前。
[0043]在視訊會議中，一般聲音最小的與會者是沒有參與討論的與會者,聲音較大的與會者是參與討論的與會者，所以為了能選擇到沒有參與討論的與會者所在屏幕作為待切換的屏幕，所以將當前顯示的與會者的聲音大小作為排序條件之一；在視訊會議中，一般發(fā)言時間點較近的與會者再次發(fā)言的概率比較大，發(fā)言時間點較遠的與會者再次發(fā)言的概率比較小，所以將當前顯示的與會者的發(fā)言時間點遠近作為排序條件之一；在視訊會議中，一般發(fā)言時間長的與會者再次發(fā)言的概率比較大，發(fā)言時長短的與會者再次發(fā)言的概率比較小，所以將當前顯示的與會者的發(fā)言時長作為排序條件之一；在視訊會議中，一般經常發(fā)言的人其再次發(fā)言的概率就會更高，為了更好的統(tǒng)計與會者發(fā)言的概率，所以可以將與會者的發(fā)言次數(shù)作為排序條件之一；另外，在視訊會議中，對于奇數(shù)個顯示屏幕的會場，中間的屏幕對應的主屏；對于偶數(shù)個顯示屏幕的會場，中軸線相鄰的兩個屏幕對應的是主屏，而主屏一般呈現(xiàn)會議主席等會議主要參與者的圖像，因此，為了更好的統(tǒng)計主屏呈現(xiàn)的與會者，所以可以將第一會場的屏幕當前顯示的與會者所對應的屏幕是否為主屏主屏作為排序條件。
[0044]對于不同的排序條件可以按照相應的重要性設定對應的權重(作為舉例:所有的排序條件分配的權重之和歸一化為1，當然，也可以設計權重之和不為I的情況)，并對各個排序條件的因素按照其特征定義取值范圍，然后通過計算這些因素的加權和作為排序參考值；
[0045]如下舉例說明:假定與會者聲音大小的權重為0.1、發(fā)言時間點遠近的權重為
0.4、發(fā)言時長的權重為0.2、發(fā)言次數(shù)多少的權重為0.2、與會者所在屏幕是否為主屏的權重為0.1,所有這些因素的權重之和為I。而且，所有這些因素都有自己的值，比如，與會者聲音大小的取值范圍為I?10，其中，聲音越大，取值越大，聲音越小，取值越小，其中，各與會者聲音的大小為最近發(fā)言時間點的各與會者聲音的大小；發(fā)言時間點的取值范圍為I?1000，各與會者發(fā)言時間點為各與會者最近一次發(fā)言的時間點，其中，可以假定會議開始時記為1，然后過I分鐘，就加I ;發(fā)言時長取值范圍I?500，以分鐘為單位，其可以是與會者最近一次發(fā)言的時長，也可以是與會者特定時間段內發(fā)言時長的累加值，比如與會者在I小時之內發(fā)言的總時長；發(fā)言次數(shù)取值范圍為I?100，其可以為特定時間段內的發(fā)言次數(shù)，比如I小時之內的發(fā)言次數(shù)，也可以是從會議開始算起得到的總發(fā)言次數(shù)；與會者所在屏幕取值為O或者1，即與會者所在屏幕為主屏時，則取值為1，否則取值為0，對于三屏或者五屏會場，中間的屏幕為主屏，對于四屏會場，可以認為中間的兩個為主屏。然后按照以下公式計算各與會者的排序參考值:
[0046]與會者的排序參考值=與會者的聲音X與會者聲音大小權重+與會者的發(fā)言時間點X發(fā)言時間點權重+與會者的發(fā)言時長X發(fā)言時長權重+與會者的發(fā)言次數(shù)X發(fā)言次數(shù)權重+與會者的與會者所在屏幕X與會者所在屏幕權重。
[0047]然后，按照排序參考值從大到小的順序對各與會者進行排序，選擇排序結果靠后的預定個數(shù)的與會者所對應的屏幕作為需要切換圖像的屏幕。
[0048]其中，需要說明的是，在對第一會場的屏幕當前顯示的與會者進行排序時，可以僅考慮各與會者聲音的大小，此時按照與會者的聲音從大到小的順序進行排序；也可以僅考慮各與會者發(fā)言時間點的遠近，此時按照與會者的發(fā)言時間點從近到遠的順序進行排序；也可以僅考慮各與會者的發(fā)言時長，此時按照與會者的發(fā)言時長從長到短的順序進行排序；也可以僅考慮各與會者聲音的大小和各與會者發(fā)言時間點的遠近，而不考慮其他條件，假定與會者聲音的權重為0.4、發(fā)言時間點的權重為0.6,可以假定與會者聲音大小的取值范圍為I?10，其中，聲音越大，取值越大，聲音越小，取值越小，其中，各與會者聲音的大小為最近發(fā)言時間點的各與會者聲音的大小，發(fā)言時間點的取值范圍為I?1000，各與會者發(fā)言時間點為各與會者最近一次發(fā)言的時間點，此時，按照以下公式計算各與會者的排序參考值:與會者的排序參考值=與會者的聲音X與會者聲音大小權重+與會者的發(fā)言時間點X發(fā)言時間點權重，然后，按照排序參考值從大到小的順序對各與會者進行排序；或者，也可以僅考慮各與會者的發(fā)言時長和各與會者發(fā)言時間點的遠近，而不考慮其他條件，不影響本發(fā)明的實現(xiàn)。
[0049]203A、控制所述需要切換圖像的屏幕所顯示的圖像切換為所述預定個數(shù)的待顯示與會者的圖像。
[0050]假定預定個數(shù)為兩個，而排序條件為按照聲音從大到小的方式進行排序，則該步驟是選擇聲音最大的與會者和聲音次大的與會者，確定聲音最大的與會者和聲音次大的與會者對應的屏幕作為需要切換圖像的屏幕。
[0051]需要說明的，上述步驟201A、與步驟202A沒有執(zhí)行上的先后順序，可以先執(zhí)行步驟20IA再執(zhí)行步驟202A，也可以先執(zhí)行步驟202A再執(zhí)行步驟201A，也可以同時執(zhí)行。其中，所述預定個數(shù)可以為第一會場的與會者提前指定，可以為會議管理臺的管理員提前指定，還可以為會議的主席終端的與會者提前指定，還可以由多媒體控制服務器預先設定。
[0052]需要說明的是，上述預定個數(shù)可以為一個，也可以為多個，當預定個數(shù)為一個時，步驟201A中就選擇了當前聲音最大的與會者，此時，步驟203A可以采用如下方式實現(xiàn):根據(jù)第一會場的屏幕當前顯示的與會者的排序結果，選擇排在最后的當前顯示的與會者，判斷所述排在最后的當前顯示的與會者所在的屏幕是否是第一特定屏幕，如果否，確定需要切換圖像的屏幕為所述排在最后的當前顯示的與會者所在的屏幕；如果是，選擇所述排在最后的當前顯示的與會者的前一個當前顯示的與會者，確定需要切換圖像的屏幕為所述排在最后的當前顯示的與會者的前一個當前顯示的與會者所在的屏幕；其中，所述第一特定屏幕與第二特定屏幕關于屏幕中心線對稱，所述第二特定屏幕是能和聲音最大的發(fā)言者圖像達到眼對眼效果的第一會場的屏幕，屏幕中心線為所述第一會場中各屏幕依次連接所形成的屏幕組的幾何中心線。
[0053]其中，由于第二特定屏幕是能和聲音最大的發(fā)言者圖像達到眼對眼效果的第一會場的屏幕，而第一特定屏幕與第二特定屏幕關于屏幕中心線對稱的屏幕，這樣，如果聲音最大的發(fā)言者圖像在第一特定屏幕上顯示，則該聲音最大的發(fā)言者與第一會場中的與會者達不到較好的眼對眼效果，因此，當排在最后的與會者所在的屏幕是第一特定屏幕時，就選擇所述排在最后的與會者的前一個與會者所在的屏幕作為需要切換圖像的屏幕。
[0054]為了使上述描述更加清楚，如下以三屏會場為例進行詳細說明，假定有兩個三屏會場，一個會場中攝像機I拍攝的區(qū)域I的與會者圖像缺省在另一會場中的屏幕I或者3呈現(xiàn)(如果對圖像未采用鏡像處理技術，則一會場區(qū)域I的與會者圖像缺省在另一會場的屏幕3呈現(xiàn)；如果對拍攝圖像采用鏡像處理技術，則區(qū)域I的與會者圖像缺省在另一會場的屏幕I呈現(xiàn))；一個會場中的攝像機2拍攝的區(qū)域2的與會者圖像缺省在另一會場的屏幕2呈現(xiàn)，一個會場中的攝像機3拍攝的區(qū)域3的與會者圖像缺省在另一會場的屏幕I或者3呈現(xiàn)(同一會場的區(qū)域I的與會者圖像在另一會場的呈現(xiàn)方式類似)。上述一個會場的與會者圖像缺省在另一會場的屏幕上呈現(xiàn)時，能夠使該與會者圖像在另一會場中顯示時，該與會者與另一會場中的與會者達到眼對眼的效果。圖1示出了未采用鏡像處理技術時，會場I中的與會者在會場2中的缺省呈現(xiàn)的方式，假定兩個會場中區(qū)域I中的與會者為與會者1，區(qū)域2中的與會者為與會者2，區(qū)域3中的與會者為與會者3。利用本發(fā)明實施例提供的技術方案，假定會場I中的與會者I是當前聲音最大的與會者，則第二特定屏幕為會場2中的屏幕3，會場2中的屏幕3關于屏幕中心線對稱的屏幕為會場2中的屏幕I，此時會場2中的屏幕I為第一特定屏幕，即會場I中的與會者I的圖像不能在會場2中的屏幕I顯示。當采用鏡像處理技術時，假定會場I中的與會者I是當前聲音最大的與會者，則第二特定屏幕為會場2中的屏幕1，會場2中的屏幕I關于屏幕中心線對稱的屏幕為會場2中的屏幕3，此時會場2中的屏幕3為第一特定屏幕，即會場I中的與會者I的圖像不能在會場2中的屏幕3顯示。其中，需要說明的是，屏幕數(shù)目為奇數(shù)的會場，如果聲音最大的發(fā)言者圖像所對應的屏幕為中間屏幕時，則不會存在第一特定屏幕了，可以直接確定需要切換圖像的屏幕為排在最后的與會者所在的屏幕。
[0055]需要說明的是，當預定個數(shù)為I個時，則步驟201A確定的與會者為聲音最大的與會者，當該聲音最大的與會者已經在第一會場的屏幕上顯示時，則不再執(zhí)行步驟202A和步驟 203A。
[0056]其中，上述方法實施例中的第一會場的屏幕為第一會場中能進行圖像切換的屏幕，第一會場中能切換圖像的屏幕為第一會場中所有的屏幕或者除預定屏幕以外的屏幕。所述預定屏幕為預定的不能切換圖像的屏幕，比如顯示會議數(shù)據(jù)資料的屏幕(即:輔流屏幕)，或者指定顯示會議主席的屏幕，或者指定顯示多畫面的屏幕。
[0057]需要說明的，上述各步驟可以由網絡側媒體處理設備執(zhí)行，網絡側媒體處理設備可以是多點控制服務器(以MCU為例)，也可以是具有上述媒體控制功能的終端設備(譬如:集成媒體控制功能的視訊會議終端)，還可以是其他網絡設備；或者，步驟201A由網絡側媒體處理設備執(zhí)行，而步驟202A由第一會場的終端執(zhí)行，具體的:第一會場的終端根據(jù)第一會場的屏幕當前顯示的與會者的排序結果，選擇預定個數(shù)的與會者，確定所選擇的與會者所對應的屏幕作為需要切換圖像的屏幕，然后將所選擇的預定個數(shù)的屏幕的編號通知網絡側媒體處理設備，此時，預定個數(shù)可以為第一會場的與會者提前指定。
[0058]需要說明的是，該實施例是以假定預定個數(shù)小于或者等于第一會場能切換圖像的屏幕個數(shù)，如果預定個數(shù)大于第一會場能切換圖像的屏幕個數(shù)，則按照當前會議中與會者音量從大到小的順序，從音量最大的與會者開始，選擇與第一會場能切換圖像的屏幕數(shù)目相同的待顯示的與會者，控制第一會場能切換圖像的屏幕所顯示的圖像切換為所選擇的待顯示與會者的圖像。
[0059]另外，如果會議中規(guī)定某一會場的一個特定與會者在第一會場的某一特定屏幕上顯示時，則步驟201A需要對除所述特定與會者以外的與會者按照音量從大到小的順序，從音量最大的與會者開始，依次確定預定個數(shù)的待顯示的與會者，且在步驟202A中需要在除上述特定屏幕以外的第一會場能切換圖像的的屏幕中確定需要切換圖像的屏幕。
[0060]本發(fā)明實施例確定第一會場中預定個數(shù)的當前顯示的與會者對應的屏幕作為需要切換圖像的屏幕，然后將需要切換圖像的屏幕切換為根據(jù)會議中各與會者音量從大到小的順序而確定的待顯示與會者的圖像，由于所選擇的待顯示的與會者是按照當前會議中與會者音量從大到小的順序而確定的，所以可以顯示當前參與討論、且位于不同會場的與會者，能夠使第一會場中的與會者看到參與討論的與會者圖像，提高與會者的體驗。
[0061]參閱圖2B，本發(fā)明實施例提供一種多屏視頻會議中對與會者圖像顯示進行調整的方法，該方法中網絡側媒體處理設備具體為MCU，MCU先選擇當前會議中聲音較大的與會者，再選擇第一會場中需要切換圖像的屏幕，然后控制需要切換圖像的屏幕所顯示的圖像切換為聲音較大的待顯示的與會者的圖像，該方法具體包括:
[0062]201B、各個會場將采集到的與會者的聲音和拍攝得到的與會者的圖像都發(fā)給MCU。
[0063]202B、MCU啟動聲控切換。
[0064]其中，該步驟中MCU啟動聲控切換是指MCU可以進行聲控切換了。
[0065]203B、MCU按照當前會議中與會者音量從大到小的順序，從音量最大的與會者開始，依次選擇預定個數(shù)的待顯示的與會者。
[0066]該步驟中MCU選擇預定個數(shù)的待顯示的與會者表示MCU要開始聲控切換了。
[0067]其中，預定個數(shù)可以為I個或者為多個，當預定個數(shù)為多個，具體可以是由MCU設置的，也可以是網絡側業(yè)務管理平臺或者網絡側設備管理平臺設置的，還可以是由終端設置并發(fā)送給MCU的，比如，主席會場的終端設置后發(fā)送給網絡側媒體處理設備。
[0068]204B、MCU按照排序條件對第一會場的屏幕當前顯示的與會者進行排序，得到第一會場的屏幕當前顯示的與會者的排序結果。
[0069]具體的，可以是在周期時間到達時進行排序，或者隨機進行排序，或者按需進行排序，其中，按需進行排序可以是在MCU要開始進行聲控切換的時候進行排序。
[0070]其中，具體的排序方式與步驟202A中的相應描述相同，在此不再贅述。
[0071]205B、MCU根據(jù)第一會場的屏幕當前顯示的與會者的排序結果，選擇預定個數(shù)的當前顯示的與會者，確定所選擇的當前顯示的與會者所對應的屏幕作為需要切換圖像的屏眷。
[0072]206B、MCU控制所述需要切換圖像的屏幕所顯示的圖像切換為所述預定個數(shù)的待顯示與會者的圖像。
[0073]其中，當所述預定個數(shù)的待顯示的與會者的圖像中存在至少兩個待顯示的與會者的圖像來自于同一會場(假定為第二會場)時，控制所述需要切換圖像的屏幕中至少兩個屏幕所顯示的圖像切換為所述至少兩個待顯示的與會者的圖像，使得在所述第一會場中顯示的所述至少兩個待顯示的與會者的圖像的方向順序與所述至少兩個待顯示的與會者在所述第二會場中的物理位置的順序相同。其中，第一會場中顯示第二會場的區(qū)域I對應的與會者的圖像、區(qū)域2對應的與會者的圖像的方向順序為該會場中顯示第二會場的區(qū)域I與會者圖像的屏幕、區(qū)域2與會者圖像的屏幕的方向順序。
[0074]采用這種圖像切換方式，使得切換后的至少兩個待顯示的與會者的圖像，能夠保持該至少兩個待顯示的與會者在原會場的物理位置的順序相同，使得在第一會場顯示的至少兩個待顯示的與會者能夠更好的保持在原會場的物理位置不變。
[0075]如下舉實例說明:假定2個五屏會場(會場A、會場B)，會場A中區(qū)域I的與會者缺省對應的屏幕為屏幕1，區(qū)域2/3/4/5的與會者缺省對應的屏幕分別為屏幕2/3/4/5，如果A會場的區(qū)域1、區(qū)域2的與會者圖像都在B會場中顯示，則MCU可以調整第一會場中屏幕顯示的圖像，使第一會場中的屏幕的顯示包括但不限于如下幾種方式:
[0076]I)、顯示A會場的區(qū)域I的與會者圖像、區(qū)域2的與會者圖像的屏幕分別為B會場
的屏幕1、屏幕2。
[0077]2)、顯示A會場的區(qū)域I的與會者圖像、區(qū)域2的與會者圖像的屏幕分別為B會場
的屏幕2、屏幕3。
[0078]3)、顯示A會場的區(qū)域I的與會者圖像、區(qū)域2的與會者圖像的屏幕分別為B會場
的屏幕1、屏幕3。
[0079]也就是說顯示A會場區(qū)域1、2的與會者圖像的屏幕的方向順序是按照1/2/3/4/5這個方向排序的(即如果以上面描述的缺省對應的方式，那么顯示區(qū)域I與會者圖像的屏幕編號一定比顯示區(qū)域2與會者圖像的屏幕編號小)。
[0080]本發(fā)明實施例中MCU根據(jù)第一會場中屏幕顯示的與會者的排序結果，選擇需要切換圖像的屏幕，然后將需要切換圖像的屏幕切換為根據(jù)會議中各與會者音量從大到小的順序而選擇的與會者的圖像，由于排序結果是根據(jù)第一會場中屏幕顯示的與會者聲音大小、發(fā)言時間點遠近、發(fā)言時長中至少一個條件進行排序的排序結果，所以能夠保證當前不斷講話的與會者的圖像都可能在第一會場的屏幕中顯示，能夠使第一會場中的與會者看到當前參與討論的與會者圖像，提高與會者的體驗。
[0081]參閱圖2C，本發(fā)明實施例提供一種多屏視頻會議中對與會者圖像顯示進行調整的方法，該方法中網絡側媒體處理設備為MCU，MCU先選擇第一會場中需要切換圖像的屏幕，再選擇當前會議中聲音較大的待顯示的與會者，然后控制需要切換圖像的屏幕所顯示的圖像切換為聲音較大的待顯示的與會者的圖像，該方法具體包括:
[0082]201C、各個會場將采集到的與會者的聲音和拍攝得到的與會者的圖像都發(fā)給MCU。
[0083]202C、MCU啟動聲控切換。
[0084]其中，該步驟中MCU啟動聲控切換是指MCU可以進行聲控切換了。
[0085]203C、MCU按照排序條件對第一會場的屏幕當前顯示的與會者進行排序，得到第一會場的屏幕當前顯示的與會者的排序結果。
[0086]其中，具體的排序方式和排序時間可以參考步驟204B的相應描述，在此不再贅述。
[0087]204C、MCU根據(jù)第一會場的屏幕當前顯示的與會者的排序結果，選擇預定個數(shù)的當前顯示的與會者，確定所選擇的預定個數(shù)的當前顯示的與會者所對應的屏幕作為需要切換圖像的屏幕。
[0088]205C、MCU按照當前會議中與會者音量從大到小的順序，從音量最大的與會者開始，依次選擇預定個數(shù)的待顯示的與會者。
[0089]該步驟中MCU選擇預定個數(shù)的待顯示的與會者表示MCU要開始進行聲控切換了。其中，預定個數(shù)可以為I個或者為多個，當預定個數(shù)為多個，具體可以是有由MCU設置的，也可以是網絡側業(yè)務管理平臺或者網絡側設備管理平臺設置的，還可以是由終端設置并發(fā)送給MCU的，比如，主席會場的終端設置后發(fā)送給網絡側媒體處理設備。
[0090]206C、MCU控制所述需要切換圖像的屏幕所顯示的圖像切換為所述預定個數(shù)的待顯示的與會者的圖像。[0091]本發(fā)明實施例中MCU根據(jù)第一會場中屏幕當前顯示的與會者的排序結果，選擇需要切換圖像的屏幕，然后將需要切換圖像的屏幕切換為根據(jù)會議中各與會者音量從大到小的順序而選擇的當前顯示的與會者的圖像，由于排序結果是根據(jù)第一會場中屏幕顯示的與會者聲音大小、發(fā)言時間點遠近、發(fā)言時長中至少一個條件進行排序的排序結果，所以能夠保證當前不斷講話的與會者的圖像都可能在第一會場的屏幕中顯示，能夠使第一會場中的與會者看到當前參與討論的與會者圖像，提高與會者的體驗。
[0092]參閱圖2D，本發(fā)明實施例提供一種多屏視頻會議中對與會者圖像顯示進行調整的方法，該方法與上述兩個實施例的區(qū)別在于:第一會場的終端根據(jù)第一會場的屏幕當前顯示的與會者的排序結果，選擇需要切換圖像的屏幕然后通知MCU，由MCU控制第一會場中屏幕顯示圖像的切換，該方法具體包括:
[0093]201D、各個會場將采集到的與會者的聲音和拍攝得到的與會者的圖像都發(fā)給MCU。
[0094]202D、MCU啟動聲控切換。
[0095]203D、第一會場的終端按照排序條件對第一會場的屏幕當前顯示的與會者進行排序，得到第一會場的屏幕當前顯示的與會者的排序結果。
[0096]其中，具體的排序方式和排序時間可以參考步驟204B的相應描述，在此不再贅述。
[0097]204D、第一會場的終端根據(jù)第一會場的屏幕當前顯示的與會者的排序結果，選擇預定個數(shù)的當前顯示的與會者，確定所選擇的與會者所對應的屏幕作為需要切換圖像的屏眷。
[0098]205D、第一會場的終端向MCU發(fā)送第一會場中需要切換圖像的屏幕的編號。
[0099]206D、MCU按照當前會議中與會者音量從大到小的順序，從音量最大的與會者開始，依次確定預定個數(shù)的待顯示的與會者。
[0100]其中，預定個數(shù)可以為I個或者為多個，當預定個數(shù)為多個，具體可以是由終端設置并發(fā)送給MCU。
[0101]207D、MCU控制所述需要切換圖像的屏幕所顯示的圖像切換為預定個數(shù)的待顯示的與會者的圖像。
[0102]本發(fā)明實施例中第一會場的終端根據(jù)第一會場中屏幕顯示的與會者的排序結果，選擇需要切換圖像的屏幕，然后由MCU控制需要切換圖像的屏幕切換為根據(jù)會議中各與會者音量從大到小的順序而選擇出的與會者圖像，由于排序結果是根據(jù)第一會場中屏幕顯示的與會者聲音大小、發(fā)言時間點遠近、發(fā)言時長中至少一個條件進行排序的排序結果，所以能夠保證當前不斷講話的與會者的圖像都可能在第一會場的屏幕中顯示，能夠使第一會場中的與會者看到參與討論的與會者圖像，提高與會者的體驗。
[0103]參閱圖3，本發(fā)明實施例提供一種多屏視頻會議中對與會者圖像顯示進行調整的方法，該方法中網絡側媒體處理設備為MCU，MCU先選擇當前聲音最大的與會者對應的圖像作為待顯示的圖像，然后根據(jù)第一會場中屏幕顯示的與會者的聲音大小，選擇需要切換圖像的屏幕，該方法具體包括:
[0104]301、各個會場將采集到的與會者的聲音和拍攝得到的與會者的圖像都發(fā)給MCU。
[0105]302、MCU啟動聲控切換。
[0106]303、MCU確定當前聲音最大的與會者，該聲音最大的與會者為待顯示的與會者。[0107]304、MCU判斷是否滿足切換條件，如果是，執(zhí)行305，如果否，結束本流程。
[0108]具體的，可以是判斷當前聲音最大的與會者的聲音是否持續(xù)一個預設時間段，如果是，則滿足切換條件，否則不具備切換條件。
[0109]305、MCU判斷第一會場中能切換圖像的屏幕當前顯示的與會者是否有最近發(fā)言者列表中的與會者，如果否，則執(zhí)行306，如果是，則執(zhí)行307。
[0110]306、MCU根據(jù)第一會場的能切換圖像的屏幕當前顯示的與會者的聲音大小，確定聲音最小的與會者的圖像所在的屏幕為需要切換圖像的屏幕，控制該屏幕顯示的圖像從聲音最小的與會者圖像切換為當前聲音最大的與會者的圖像，結束本流程。
[0111]其中，第一會場中能切換圖像的屏幕為第一會場中所有的屏幕或者除預定屏幕以外的屏幕，所述預定屏幕為預置的不能進行圖像切換的屏幕。所述預定屏幕為預定的不能切換圖像的屏幕，比如顯示會議數(shù)據(jù)資料的屏幕，或者指定顯示會議主席的屏幕，或者指定顯示多畫面的屏幕。
[0112]需要說明的是，本實施例及后續(xù)各實施例中，可以將多畫面圖像作為聲音最小的與會者圖像，這樣在聲控切換啟動后，第一次進行圖像切換時就可以將該多畫面圖像切換為當前聲音最大的與會者圖像。
[0113]307、MCU判斷第一會場能切換圖像的屏幕當前顯示的與會者是否都屬于最近發(fā)言者列表，如果是，執(zhí)彳了 308，如果否，則執(zhí)彳了 309。
[0114]308、MCU按照最近發(fā)言者列表中與會者的排序結果，選擇排序結果靠后的與會者所在的屏幕為需要切換圖像的屏幕，則控制該屏幕顯示的圖像切換為聲音最大的與會者的圖像，結束本流程。
[0115]其中，最近發(fā)言者列表中與會者的排序方式和排序時間與上述實施例中所描述的第一會場的屏幕當前顯示的與會者的排序方式相同，在此不再贅述。其中，最近發(fā)言者列表也可以是圖像列表，即近期發(fā)言的與會者的圖像的列表。
[0116]309、MCU從不屬于最近發(fā)言者列表的當前顯示的與會者中選擇聲音最小的與會者，將所選擇的與會者所在的屏幕作為需要切換圖像的屏幕，MCU控制將該屏幕顯示的圖像切換為聲音最大的與會者的圖像。
[0117]具體的，可以從不屬于最近發(fā)言者列表的當前顯示的與會者中選擇聲音最小的與會者，則該聲音最小的與會者所在的屏幕為需要切換圖像的屏幕，控制該屏幕顯示的圖像切換為聲音最大的與會者的圖像。
[0118]本發(fā)明實施例在考慮最近發(fā)言列表時，從不屬于最近發(fā)言者列表的與會者中選擇待切換的與會者，或者，根據(jù)最近發(fā)言者列表中與會者的排序結果，選擇排序結果靠后的與會者作為待切換圖像，這種聲控切換方法，能夠避免最近經常發(fā)言的與會者被切換掉，使會場中的用戶能夠看到參與討論的與會者圖像，提高與會者的體驗；進一步，只要聲音最大的發(fā)言者的聲音滿足切換條件，則可以將聲音最大的發(fā)言者的圖像切換到會場中，使會場中的用戶即時看到聲音最大的與會者的圖像，提高與會者的體驗。
[0119]參閱圖4，本發(fā)明實施例提供一種多屏視頻會議中對與會者圖像顯示進行調整的方法，該方法中與圖3所示實施例的區(qū)別在于:MCU先根據(jù)第一會場中屏幕顯示的與會者的聲音大小，選擇需要切換圖像的屏幕，然后再選擇當前聲音最大的與會者，該方法具體包括:[0120]401、各個會場將采集得到的與會者的聲音和獲取得到的與會者的圖像都發(fā)給MCU。
[0121]402、MCU啟動聲控切換。
[0122]403、周期時間到達時，MCU判斷第一會場中能切換圖像的屏幕當前顯示的與會者是否有最近發(fā)言者列表中的與會者，如果否，則執(zhí)行404，如果是，則執(zhí)行405。
[0123]具體的，可以預先設定周期時間，比如一個周期為2s，這樣每隔兩秒就會執(zhí)行步驟403。
[0124]404、MCU根據(jù)第一會場的能切換圖像的屏幕當前顯示的與會者的聲音大小，選擇聲音最小的與會者的圖像所在的屏幕作為需要切換圖像的屏幕。
[0125]其中，第一會場中能切換圖像的屏幕的定義與圖3所示實施例相應部分的描述相同，在此不再贅述。
[0126]405、MCU判斷第一會場能切換圖像的屏幕當前顯示的與會者是否都屬于最近發(fā)言者列表，如果是，執(zhí)彳了 406，如果否，則執(zhí)彳了 407 ο
[0127]406、MCU按照最近發(fā)言者列表中與會者的排序結果，選擇排序結果靠后的與會者所在的屏幕為需要切換圖像的屏幕。
[0128]其中，最近發(fā)言者列表中與會者的排序方式和排序時間與上述實施例中所描述的第一會場的屏幕當前顯示的與會者的排序方式相同，在此不再贅述。其中，最近發(fā)言者列表也可以是圖像列表，即近期發(fā)言的與會者的圖像的列表。
[0129]407、MCU從不屬于最近發(fā)言者列表的當前顯示的與會者中選擇聲音最小的與會者，將所選擇的與會者所在的屏幕作為需要切換圖像的屏幕。
[0130]408、MCU確定當前聲音最大的發(fā)言者,該聲音最大的與會者為待顯示的與會者。
[0131]409、MCU判斷是否具備切換條件，如果是，執(zhí)行410，如果否，不進行處理，返回執(zhí)行步驟403。
[0132]410、MCU控制需要切換圖像的屏幕顯示的圖像切換為聲音最大的與會者的圖像。
[0133]本發(fā)明實施例在考慮最近發(fā)言列表時，在不屬于最近發(fā)言者列表的當前顯示的與會者中選擇待切換的與會者，或者，根據(jù)最近發(fā)言者列表中與會者的排序結果，選擇排序結果靠后的與會者作為待切換的與會者，這種聲控切換方法，能夠避免最近經常發(fā)言的與會者圖像被切換掉，使會場中的用戶能夠看到參與討論的與會者圖像，提高與會者的體驗。
[0134]參閱圖5，本發(fā)明實施例提供一種多屏視頻會議中對與會者圖像顯示進行調整的方法，該方法中與圖3、圖4所示實施例的區(qū)別在于:第一會場的終端根據(jù)第一會場中屏幕顯示的與會者的聲音大小，選擇需要切換圖像的屏幕然后通知MCU，該方法具體包括:
[0135]501、各個會場將與會者的聲音和與會者的圖像都發(fā)給MCU。
[0136]502、MCU啟動聲控切換。
[0137]503、周期時間到達時，第一會場的終端判斷第一會場中能切換圖像的屏幕當前顯示的與會者是否有最近發(fā)言者列表中的與會者，如果否，則執(zhí)行504，如果是，則執(zhí)行505。
[0138]具體的，可以預先設定周期時間，比如一個周期為2s，這樣每隔兩秒就會執(zhí)行步驟503。
[0139]504、第一會場的終端根據(jù)第一會場能切換圖像的屏幕當前顯示的與會者的聲音大小，選擇聲音最小的與會者的圖像所在的屏幕作為需要切換圖像的屏幕。[0140]其中，第一會場中能切換圖像的屏幕的定義與圖3所示實施例相應部分的描述相同，在此不再贅述。
[0141]505、第一會場的終端判斷第一會場能切換圖像的屏幕當前顯示的與會者是否都屬于最近發(fā)言者列表，如果是，執(zhí)行506，如果否，則執(zhí)行507。
[0142]506、第一會場的終端按照最近發(fā)言者列表中與會者的排序結果，選擇排序結果靠后的與會者所在的屏幕為需要切換圖像的屏幕。
[0143]其中，最近發(fā)言者列表中與會者的排序方式和排序時間與上述實施例中所描述的第一會場的屏幕當前顯示的與會者的排序方式相同，在此不再贅述。其中，最近發(fā)言者列表也可以是圖像列表，即近期發(fā)言的與會者的圖像的列表。
[0144]507、第一會場的終端從不屬于最近發(fā)言者列表的當前顯不的與會者中選擇聲音最小的與會者，將所選擇的與會者所在的屏幕作為需要切換圖像的屏幕。
[0145]508、第一會場的終端向MCU發(fā)送需要切換圖像的屏幕的編號。
[0146]509、MCU確定當前聲音最大的發(fā)言者,該聲音最大的發(fā)言者為待顯示的與會者。
[0147]510、MCU判斷是否具備切換條件，如果是，執(zhí)行511，如果否，不進行處理，結束本流程。
[0148]511、MCU控制需要切換圖像的屏幕顯示的圖像切換為聲音最大的與會者的圖像。
[0149]本發(fā)明實施例在考慮最近發(fā)言列表時，在不屬于最近發(fā)言者列表的與會者中選擇待切換的與會者，或者，根據(jù)最近發(fā)言者列表中與會者的排序結果，選擇排序結果靠后的與會者作為待切換的與會者，這種聲控切換方法，能夠避免最近經常發(fā)言的與會者圖像被切換掉，使會場中的用戶能夠看到參與討論的與會者圖像，提高與會者的體驗。進一步，由第一會場的終端選擇需要切換圖像的屏幕，減少了 MCU的工作，降低了對MCU的要求。
[0150]如下對最近發(fā)言者列表進行詳細介紹:
[0151]1、關于與會者的排序方式參見步驟202A的詳細描述，在此不再贅述。
[0152]2、當最近發(fā)言者列表為圖像列表時，可以控制會議主席圖像一直位于發(fā)言者圖像列表中，多畫面圖像一直位于發(fā)言者圖像列表中。其中，會議主席圖像可以在會議一開始就進入最近發(fā)言者列表，也可以在會議主席講話后切入最近發(fā)言者列表中，具體的，若當前聲音最大的發(fā)言者為會議主席時，將該會議主席圖像放入最近發(fā)言者列表中。
[0153]3、關于最近發(fā)言者列表的更新，有如下幾種更新方式:
[0154]I)、可以將當前聲音最大的發(fā)言者放入最近發(fā)言者列表中，具體的，可以在將當前聲音最大的發(fā)言者圖像切換到屏幕上顯示之后，將當前聲音最大的發(fā)言者放入最近發(fā)言者列表，也可以在切換之前，將當前聲音最大的發(fā)言者放入最近發(fā)言者列表。
[0155]2)、在啟動聲控切換時，將會場中當前各屏幕顯示的與會者放入最近發(fā)言者列表中。
[0156]3)、當最近發(fā)言者列表中與會者的個數(shù)大于會場中屏幕的個數(shù)時，根據(jù)最近發(fā)言者列表的排序結果，將在最近發(fā)言者列表中的排序位數(shù)超過會場中屏幕的個數(shù)的與會者刪除；或者，當最近發(fā)言者列表中與會者的個數(shù)大于會場中屏幕的個數(shù)時，清空最近發(fā)言者列表。
[0157]4)、當最近發(fā)言者列表中有預定時間段內沒有發(fā)言的與會者時，將所述預定時間段內沒有發(fā)言的與會者從最近發(fā)言者列表中刪除。[0158]5)、最近發(fā)言者列表中與會者的個數(shù)大于會場中除特定屏幕以外的屏幕個數(shù)時，將在最近發(fā)言者列表中的排序位數(shù)超過除特定屏幕以外的屏幕個數(shù)的與會者刪除，或者，將最近發(fā)言者列表清空，其中特定屏幕是不能進行圖像切換的屏幕，比如專用于顯示會議輔助資料的屏幕等。
[0159]4、當已確定最近發(fā)言者列表中的與會者所在的屏幕需要進行圖像切換時，也可以采用下面這幾種特殊策略:
[0160]第一、選擇能和當前聲音最大的與會者達到眼對眼效果的屏幕顯示該當前聲音最大的與會者的圖像，或者，選擇與能和當前聲音最大的與會者達到眼對眼效果的屏幕相鄰的屏幕來顯示該聲音最大的與會者的圖像。例如，當前聲音最大與會者為A會場左側的與會者，假定能和當前聲音最大的與會者達到眼對眼效果的屏幕為B會場左側的屏幕，則選擇B會場左側的屏幕作為需要切換圖像的屏幕，或者，選擇B會場的中間屏幕作為需要切換圖像的屏幕。
[0161]第二、如果當前聲音最大與會者與最近發(fā)言者列表中的某個與會者為同一會場中的發(fā)言者時，選擇在同一會場的與會者圖像所在屏幕的附近屏幕顯示該當前聲音最大的與會者圖像。
[0162]第三、優(yōu)先切換主屏幕的圖像。
[0163]第四、不切換本會場中的第一特定屏幕或者第一特定屏幕外側的屏幕的圖像，其中，對第一特定屏幕的描述請參見第一個實施例步驟202A中的相關描述，在此不再贅述。第一特定屏幕外側的屏幕為第一特定屏幕背向幾何中心線一側的屏幕，比如一個五屏會場，如果第一特定屏幕為屏幕4，則第一特定屏幕外側的屏幕為屏幕5，如果第一特定屏幕為屏幕2，則第一特定屏幕外側的屏幕為屏幕3。
[0164]第五、將最近發(fā)言者列表中聲音最小的與會者的圖像切換掉。
[0165]5、對于多屏會場，每個攝像機拍攝一組與會者，這組與會者共享一個或者多個MIC (麥克風,簡稱麥克)，這組MIC的聲音代表該會場聲音的一個方位(比如左、中、右中的左方位)，各會場把不同方位的MIC的聲音發(fā)送給MCU，MCU在聲控切換時，會把聲音最大的那組MIC(這組MIC對應了一個會場中的一個方位)的對應的圖像進行顯示切換；或者多個攝像機拍攝一組與會者甚至整個會場的圖像，這組與會者共享一組MIC，這組MIC的聲音代表一個聲音方位或者整個會場的聲音(比如單聲音道語音協(xié)議的情況下，就是代表整個會場)，各會場把不同方位的MIC的聲音發(fā)送給MCU,MCU在聲控切換時,會把聲音最大的那組MIC(這組MIC對應了一個會場中的一個方位或者一個會場)對應的圖像(多個攝像機所拍攝的一組與會者的圖像或者整個會場的圖像)進行顯示切換；對于上述兩種情況，還可以有另外一種處理方式，即各會場從本會場各組MIC對應的方位聲音中選出前幾大聲音，即選出幾組MIC的聲音，把選出的聲音發(fā)送MCU，MCU再從整個會議中選出聲音最大那組MIC，把其對應的圖像進行顯示切換。
[0166]為了使本發(fā)明上述實施例更加清楚明白，參閱圖6A，如下以三屏會場為例，詳細說明本發(fā)明實施例提供的多屏視頻會議中對與會者圖像顯示進行調整的方法，圖中，A會場、B會場、C會場、D會場都為3屏會場，E會場、F會場、G會場都為2屏會場，J會場、K會場都為單屏會場，具體的，在啟動聲控切換之前，A會場的屏幕1、2、3分別顯示E會場中攝像機El拍攝的圖像，J會場中攝像機Jl拍攝的圖像，G會場中攝像機G2拍攝的圖像；啟動聲控切換之后，當前與會者聲音不斷變化，則會場A的圖像切換過程包括:
[0167]I)當前攝像機El拍攝的圖像中的與會者聲音最小，攝像機F2拍攝的圖像中的與會者聲音最大，則控制A會場的屏幕I顯示的圖像從攝像機El拍攝的圖像切換為攝像機F2拍攝的圖像，將攝像機F2拍攝的與會者放入最近發(fā)言者列表中；
[0168]2)、然后，攝像機F2拍攝的圖像中的與會者聲音最小，攝像機Jl拍攝的圖像中的與會者聲音次小，攝像機C2拍攝的圖像的與會者聲音最大，由于攝像機F2拍攝的與會者已經在最近發(fā)言者列表中，所以選擇聲音次小的與會者的圖像進行切換，此時，控制A會場的屏幕2顯示的圖像從攝像機Jl拍攝的圖像切換成攝像機C2拍攝的圖像，將攝像機C2拍攝的與會者放入最近發(fā)言者列表；
[0169]3)、然后，攝像機G2拍攝的圖像中與會者聲首最小，攝像機Kl拍攝的圖像中與會者聲音最大，控制A會場的屏幕3顯示的圖像從攝像機G2拍攝的圖像切換成攝像機Kl拍攝的圖像，將攝像機Kl拍攝的與會者放入最近發(fā)言者列表中；
[0170]4)、然后，攝像機F2拍攝的圖像中與會者聲首最小，攝像機Kl拍攝的圖像中與會者聲音最大，由于攝像機Kl拍攝的圖像已經在屏幕3上顯示，所以不做處理；
[0171 ] 5)、然后，當如攝像機Kl拍攝的圖像的與會者聲首最小，攝像機F2拍攝的圖像的與會者聲音次小，攝像機C3拍攝的圖像的與會者聲音最大，由于按照發(fā)言時間點從近到遠的順序，攝像機F2拍攝的與會者在最近發(fā)言者列表的最后位置，因此，控制屏幕I顯示的圖像從攝像機F2拍攝的圖像切換為攝像機C3拍攝的圖像，由于攝像機C2和C3都屬于冋一會場，調換攝像機C2和C3顯示的屏幕，控制屏幕I顯示攝像機C2拍攝的圖像，控制屏幕2顯不攝像機C3拍攝的圖像。
[0172]參閱圖6B，如下以兩屏會場為例，詳細說明本發(fā)明實施例提供的多屏視頻會議中對與會者圖像顯示進行調整的方法，圖中，A會場、B會場、C會場、D會場都為3屏會場，E會場、F會場、G會場都為2屏會場，J會場、K會場都為單屏會場，具體的，在啟動聲控切換之前，E會場的屏幕1、2分別顯示E會場中攝像機E2拍攝的圖像，J會場中攝像機Jl拍攝的圖像，啟動聲控切換之后，當前與會者聲音不斷變化，則會場E的圖像切換過程包括:1)、當前攝像機Jl拍攝的圖像的與會者聲音最小，攝像機F2拍攝的圖像的與會者聲音最大，控制屏幕2顯示的圖像從攝像機Jl拍攝的圖像切換成攝像機F2拍攝的圖像，將攝像機F2拍攝的與會者放入最近發(fā)言者列表；
[0173]2)然后，攝像機E2拍攝的圖像與會者聲音最小，攝像機C2拍攝的圖像與會者聲音最大，控制屏幕I顯示的圖像從攝像機E2拍攝的圖像切換成攝像機C2拍攝的圖像，將攝像機C2拍攝的與會者放入最近發(fā)言者列表；
[0174]3)然后，攝像機C2拍攝的圖像與會者聲首最小,攝像機Kl拍攝的圖像與會者聲首最大，按照最近發(fā)言者列表中與會者聲音從大到小的順序，則攝像機C2拍攝的與會者位于最近發(fā)言者列表的最后位置，因此，控制屏幕I顯示的圖像從攝像機C2拍攝的圖像切換成攝像機Kl拍攝的圖像，將攝像機Kl拍攝的與會者放入最近發(fā)言者列表，同時從最近發(fā)言者列表中刪除攝像機C2拍攝的與會者；
[0175]4)然后，攝像機F2拍攝的圖像中與會者聲首最小,攝像機Kl拍攝的圖像中與會者聲音最大，由于攝像機Ki拍攝的圖像已在屏幕中顯示，所以不做處理。
[0176]5)、攝像機Kl拍攝的圖像中與會者聲首最小，攝像機C3拍攝的圖像中與會者聲首最大，控制屏幕I顯示的圖像從攝像機Kl拍攝的圖像切換成攝像機C3拍攝的圖像.[0177]對于一屏會場，則控制該一屏會場中的屏幕顯示的圖像從原來的圖像切換為當前聲音最大的圖像。
[0178]參閱圖7，本發(fā)明實施例提供一種多屏視頻會議中對與會者圖像顯示進行調整的方法，該方法與上述圖3、4、5所示實施例的區(qū)別在于:MCU在考慮第一會場中能切換圖像的屏幕當前顯示的與會者的排序的同時，考慮了第一會場中屏幕的物理位置，該方法具體包括:
[0179]701、各個會場將與會者的聲音和與會者的圖像都發(fā)給MCU。
[0180]702、MCU啟動聲控切換。
[0181]703、MCU確定當前聲音最大的與會者，該聲音最大的與會者為待顯示的與會者。
[0182]704、MCU判斷是否滿足切換條件，如果是，執(zhí)行705，如果否，結束本流程。
[0183]具體的，可以是判斷當前聲音最大的與會者的聲音是否持續(xù)一個預設時間段，如果是，則滿足切換條件，否則不具備切換條件。
[0184]705、MCU根據(jù)第一會場的屏幕當前顯示的與會者的排序結果，選擇排在最后的與
A去
[0185]在該步驟之前，MCU會按照排序條件對第一會場的屏幕當前顯示的與會者進行排序，得到第一會場的屏幕當前顯示的與會者的排序結果。其中，具體的排序方式和排序時間參見步驟204B和步驟202A的相應描述，在此不再贅述。
[0186]706、MCU判斷所述排在最后的與會者所在的屏幕是否是第一特定屏幕，如果否，執(zhí)行707 ;如果是，執(zhí)行708。
[0187]其中，關于第一特定屏幕的描述請參見步驟202A中的相關描述，在此不再贅述。
[0188]707、MCU確定需要切換圖像的屏幕為所述排在最后的與會者所在的屏幕。
[0189]708、MCU選擇所述排在最后的與會者的前一個與會者，確定需要切換圖像的屏幕為所述排在最后的與會者的前一個與會者所在的屏幕。
[0190]709、MCU控制需要切換圖像的屏幕切換為當前聲音最大的與會者圖像。
[0191]當?shù)谝粫鲋杏腥齻€以下屏幕(包括三個屏幕)時，則步驟706中是判斷排在最后的與會者所在的屏幕是否是第一特定屏幕，當?shù)谝粫鲋杏兴膫€屏幕、五個屏幕、或者更多個數(shù)的屏幕時，該步驟中是判斷所述排在最后的與會者所在的屏幕是否是第一特定屏幕或者第一特定屏幕外側的屏幕，第一特定屏幕外側的屏幕為第一特定屏幕背向屏幕中心線一側的屏幕。比如，一個五屏會場，第一特定屏幕為屏幕4，則第一特定屏幕外側的屏幕為屏幕5 ;再如一個四屏幕，第一特定屏幕為屏幕3，則第一特定屏幕外側的屏幕為屏幕4。且，當?shù)谝粫鲋杏形鍌€屏幕時，在步驟708中查找到所述排在最后的與會者的前一個與會者之后，會繼續(xù)判斷所述排在最后的與會者的前一個與會者所在的屏幕是否是第一特定屏幕或者第一特定屏幕外側的屏幕，如果否，則確定需要切換圖像的屏幕為所述排在最后的與會者的前一個與會者所在的屏幕，如果是，根據(jù)排序結果，查找位于倒數(shù)第三位的與會者，確定需要切換圖像的屏幕為該與會者所在的屏幕。比如，對于一個五屏會場，假定第一特定屏幕為屏幕4，當所述排在最后的與會者位于屏幕4時，則查找所述排在最后的與會者的前一個與會者，如果位于屏幕5，則查找位于倒數(shù)第三位的與會者，確定需要切換圖像的屏幕為該與會者圖像所在的屏幕。[0192]本發(fā)明實施例MCU在考慮第一會場中能切換圖像的屏幕顯示的與會者的排序的同時，考慮了第一會場中屏幕的物理位置，避免聲音最大的與會者圖像切換到達不到眼對眼效果的屏幕上顯示，提高與會者的體驗。
[0193]需要說明的是，該方案也適用于MCU先選擇需要切換屏幕的場景，再選擇聲音最大的與會者的場景，同樣適用于由第一會場的終端選擇需要切換屏幕的場景。
[0194]需要說明的是，MCU可以按照上述實施例提供的方案將各會場中需要切換圖像的屏幕進行圖像切換；或者，如果會議存在主席，則先按照主席會場中各屏幕當前顯示的與會者的排序結果，在主席會場中選擇需要切換圖像的屏幕，控制所述需要切換圖像的屏幕所顯示的圖像切換為待顯示與會者的圖像，然后，根據(jù)所選屏幕在主席會場中的位置及其他會場中的屏幕在相應會場中的位置，控制待顯示的與會者圖像切換到其他會場中的相應屏幕顯示；其中，所述其他會場中的相應屏幕與所選屏幕具有相同的編號。當會議中不存在主席時，則可以先按照一個會場中各屏幕當前顯示的與會者的排序，選擇需要切換圖像的屏幕，控制所選屏幕的圖像切換為待顯示的與會者的圖像，然后，按照與上面相同的方式，控制待顯示的與會者圖像切換到其他會場中的相應屏幕顯示。
[0195]可選的，也可以指定當前聲音最大的與會者始終在遠端會場特定的屏幕上顯示，比如一個三屏會場，可以指定屏幕3顯示當前聲音最大的與會者。如圖6C所示，指定屏幕3顯示當前聲音最大的與會者的圖像；如圖6D所示，指定屏幕2顯示當前聲音最大的與會者的圖像。
[0196]具體的，可以根據(jù)策略需要可以對指定顯示聲音最大的與會者的屏幕進行改變。對于單屏會場可以看當前聲音最大的與會者的圖像，也可以看多畫面圖像(通過多個子畫面可以顯示多個與會者的圖像)，其中當前聲音最大的與會者的圖像作為其中一個子畫面的圖像。為了達到當前聲音最大的與會者與本地會場與會者更好的眼對眼，可把當前聲音最大與會者的圖像始終在主屏上顯示。再進一步，會場調整攝像機對照本會場的與會者的正面，把該圖像發(fā)送給遠端；對于一個三屏會場，也可以指定左屏顯示多畫面圖像、中屏顯示會議主席，右屏顯示當前聲音最大的與會者。
[0197]為了能在該聲音最大的與會者圖像上疊加顯示聲音最大的與會者所在會場的全景圖像，所以該方法還可以包括:MCU控制當前聲音最大的與會者的會場全景圖像經過圖像處理后，疊加到當前聲音最大的與會者的圖像的部分區(qū)域上顯示。具體的，MCU將當前聲音最大的與會者的會場全景圖像縮小，并將縮小后的會場全景圖像疊加到當前聲音最大的與會者的圖像的部分區(qū)域上顯示。如下舉實例進行說明，假定F會場是具有3個攝像機、3個屏幕、3個區(qū)域的會場，這三個攝像機分別拍攝對應區(qū)域的與會者圖像，F(xiàn)會場中的終端將各區(qū)域與會者圖像傳給MCU，假定當前攝像機Fl拍攝的與會者的聲音最大，采用前面介紹的技術方案，MCU控制A會場(假定為三屏會場)的屏幕I顯示攝像機Fl拍攝的與會者圖像(假定該與會者為聲音最大的與會者)，此時假定A會場中的三個屏幕分別顯示攝像機Fl拍攝的與會者圖像，攝像機C2拍攝的與會者圖像，攝像機G2拍攝的與會者圖像(參閱圖8)。則，該MCU將F會場中三個攝像機(F1、F2、F3)拍攝的與會者圖像(3個與會者圖像)進行拼接成一個全景圖像，將該全景圖像縮小后，控制A會場中的屏幕I將縮小后的全景圖像疊加到攝像機Fl拍攝的與會者圖像上顯示，也可以將會場名疊加到該全景圖像上顯示，或者，將會場名疊加到攝像機Fl拍攝的與會者圖像的其他區(qū)域上顯示。[0198]在上述本發(fā)明實施例提供的技術方案中，可以通過如下方式保證聲音和圖像的良好同步:
[0199]I)、多聲道技術，即語音聲道數(shù)和攝像機一樣，即可以實現(xiàn)每路攝像機的活動視頻都有自己的對應方位的聲道語音數(shù)據(jù)；
[0200]2)、帶方位信息的語音數(shù)據(jù)，即會場把發(fā)給MCU的語音數(shù)據(jù)中攜帶該語音數(shù)據(jù)與攝像機視頻數(shù)據(jù)的對應關系；MCU在處理這些數(shù)據(jù)時，根據(jù)目的會場的屏幕數(shù)量、音箱個數(shù)等，把目的會場觀看的圖像和音頻對應起來，使聲音在其圖像所顯示的屏幕附近的音箱播放。
[0201]當某個多屏會場只有一個或者幾個攝像機所拍攝的與會者圖像被遠端會場某個或者某幾個屏幕顯示出來，而該會場其他攝像機所拍攝區(qū)域中的與會者也在講話時(比如已關閉聲控切換或者該與會者的聲音不足以產生圖像切換)，控制該與會者的聲音在顯示相鄰與會者圖像的屏幕所對應的放音設備中播出。其中，相鄰與會者是同該與會者相鄰的與會者。具體的，MCU可以將該與會者的聲音混音到相鄰與會者對應的聲道中,這樣,就可以將該與會者和相鄰與會者的聲音同時在顯示相鄰與會者圖像的屏幕所對應的放音設備中播出如圖9所示。
[0202]在四屏的B會場的四個屏幕上分別顯示攝像機F2拍攝的與會者圖像、攝像機F3拍攝的與會者圖像、攝像機G2拍攝的與會者圖像、攝像機C2拍攝的與會者圖像。假定四屏的F會場的攝像機排序為Fl、F2、F3和F4，如果攝像機Fl拍攝的與會者在講話，則MCU控制Fl拍攝的與會者和F2拍攝的與會者(即與Fl拍攝的與會者相鄰的與會者)的聲音進行混音，并從顯示攝像機F2拍攝的與會者圖像的屏幕所對應的放音設備中播出，這樣，B會場的與會者通過該放音設備聽到了這兩個與會者的聲音，就能確定這兩個與會者相鄰；如果攝像機F4拍攝的與會者在講話，則MCU控制F3拍攝的與會者和F4拍攝的與會者(即與F4拍攝的與會者相鄰的與會者)的聲音進行混音，并從顯示攝像機F3拍攝的與會者圖像的屏幕所對應的放音設備中播出，B會場的與會者通過該放音設備聽到了這兩個與會者的聲音，就能確定這兩個與會者相鄰。這樣，B會場的與會者通過放音設備放出的聲音就能確定聲源的物理位置關系。
[0203]進一步，如果攝像機Fl拍攝的與會者的聲音變大，則需要將該攝像機Fl拍攝的與會者圖像顯示出來，其聲音也跟隨顯示該圖像的屏幕所對應的放音設備中播放，比如攝像機Fl拍攝的與會者圖像被切換到屏幕4顯示，該圖像的聲音應該從屏幕4所對應的放音設備中播出。
[0204]進一步，比如攝像機Fl拍攝的與會者圖像被切換到屏幕4顯示，為了不使該圖像的聲音突然從屏幕I所對應的放音設備跳躍到屏幕4所對應的放音設備，可以采用聲音過渡的方法，比如先使該圖像的聲音在屏幕I所對應的放音設備播放時衰減3db，在屏幕4所對應的放音設備播放時也衰減3db，這樣與會者聽到的該圖像的聲音大小和實際聲音大小相同，再逐步把屏幕I所對應的放音設備的聲音衰減下去，屏幕4所對應的放音設備的聲音逐步增大，聲音就過渡的到了屏幕4所對應的放音設備中。其中，過渡過程中用于調節(jié)的衰減值可根據(jù)兩個屏幕之間的位置相對關系決定。
[0205]為了保證當前聲音最大的與會者在各會場中具有相同屏幕編號的屏幕中顯示，則MCU需要控制具有相同屏幕個數(shù)的各會場同一編號的屏幕具有相同的視頻源，具體的，可以有如下幾種方式:
[0206]第一種方式:在啟動聲控切換開始時，在會場中某一與會者圖像所對應的各會場中的屏幕上配置相同的視頻源。比如，三個三屏會場，會場1、會場2和會場3，會場I中區(qū)域I的與會者圖像在各會場3號屏幕上顯示時能達到眼對眼的效果，所以各會場3號屏幕配置相同的視頻源。同理，各會場的2號屏幕也配置相同的視頻源，各會場的I號屏幕也配置相同的視頻源，這樣后續(xù)在聲控切換時，MCU針對各會場選擇的待切換的圖像都是相同的，所以每次聲控切換時都保證了聲音最大的與會者的圖像能夠切換到各個會場中同一編號的屏幕上顯示。即在各會場具有相同屏幕數(shù)目時，則為各會場中相同屏幕號的屏幕配置相同的視頻源。
[0207]第二種方式:獲取當前聲音最大的與會者的圖像，判斷會場中第二特定屏幕是否能顯示所述聲音最大的與會者的圖像，如果是，控制所述第二特定屏幕顯示所述聲音最大的與會者的圖像；如果否，按照所述會場中其他屏幕到所述第二特定屏幕的物理距離由近到遠的順序，依次判斷其他屏幕是否能顯示所述聲音最大的與會者的圖像，直到找到能顯示所述聲音最大的與會者的圖像的屏幕為止，控制找到的屏幕顯示所述當前聲音最大的與會者的圖像，其中，所述第二特定屏幕是能和聲音最大的與會者達到眼對眼效果的屏幕。其中，對第二特定屏幕的舉例說明請參見第一個實施例的相應描述，在此不再贅述。
[0208]其中，該方式中的會場是指視頻會議中的任意一個會場，對任意一個會場都采用上述方式進行處理，就能保證各會場同一編號的屏幕具有相同的視頻源。如果采用這種方式，則可以是在啟動聲控切換開始時，先按照上述第二種方式，將聲音最大的與會者圖像切換到相應的屏幕上顯示，保證具有相同屏幕個數(shù)的各會場的同一編號的屏幕具有相同的視頻源之后，再按照圖2B、圖2C、圖2D、圖3、圖4、圖5、圖7所示實施例所述的方案進行切換。
[0209]其中，判斷會場中第二特定屏幕是否能顯示所述聲音最大的與會者的圖像具體可以是:判斷會場中第二特定屏幕當前是否正在顯示會議主席圖像，如果是，則表示第二特定屏幕不能顯示當前聲音最大的與會者的圖像；判斷會場中第二特定屏幕當前是否正在顯示多畫面圖像，如果是，則表示第二特定屏幕不能顯示當前聲音最大的與會者的圖像；判斷會場中第二特定屏幕當前是否正在顯示最近發(fā)言者列表中的與會者，如果是，則表示第二特定屏幕不能顯示當前聲音最大的與會者的圖像；當會場中第二特定屏幕當前顯示的圖像既不是多畫面圖像，也不是會議主席圖像，也不是最近發(fā)言者列表中的與會者圖像時，則可以在該第二特定屏幕上顯示該聲音最大的與會者的圖像。
[0210]其中，按照所述會場中其他屏幕到所述第二特定屏幕的物理距離由近到遠的順序，依次判斷其他屏幕是否能顯示所述聲音最大的與會者的圖像具體可以是:按照所述會場中其他屏幕到所述第二特定屏幕的物理距離由近到遠的順序，依次判斷其他屏幕當前是否正在顯示會議主席圖像，如果是，則表示該屏幕不能顯示當前聲音最大的與會者的圖像；或者，依次判斷其他屏幕當前是否正在顯示多畫面圖像，如果是，則表示該屏幕不能顯示當前聲音最大的與會者的圖像；或者，依次判斷其他屏幕當前是否正在顯示最近發(fā)言者列表中的圖像，如果是，則表示該屏幕不能顯示當前聲音最大的與會者的圖像；只有所判斷的屏幕當前顯示的圖像既不是多畫面圖像，也不是會議主席圖像，也不是最近發(fā)言者列表中的圖像時，則可以在該屏幕上顯示該聲音最大的與會者的圖像。
[0211]第三種方式:如果會議存在主席，則先按照主席會場中各屏幕顯示的與會者圖像中與會者聲音的大小，采用圖3、4、5、7所示實施例中選擇需要切換圖像的屏幕的方案，選擇一個屏幕，將主席會場中該屏幕的圖像切換為該聲音最大的與會者圖像；然后，根據(jù)所選屏幕在主席會場中的位置及其他會場中的屏幕在相應會場中的位置，控制聲音最大的與會者圖像切換到其他會場中的相應屏幕顯示；其中，所述其他會場中的相應屏幕在其他會場中屏幕組中的物理位置與所選屏幕在主席會場中屏幕組的物理位置相同；或者，所述其他會場中的相應屏幕與所選屏幕具有相同的編號。當會議中不存在主席時，則可以先按照一個會場中各屏幕顯示的與會者圖像中與會者聲音的大小，采用圖3、4、5、7所示實施例中選擇需要切換圖像的屏幕的方案，選擇一個屏幕，控制該屏幕的圖像切換為該聲音最大的與會者圖像，然后，按照與上面相同的方式，控制聲音最大的與會者圖像切換到其他會場中的相應屏幕上顯示，這樣可以保證具有相同屏幕個數(shù)的各會場的同一編號的屏幕具有相同的視頻源。
[0212]第四種方式:按照各屏幕在會場中的排序，將當前聲音最大的與會者切換到相應的屏幕上，比如有三個三屏會場，在啟動聲控切換后，當聲音最大的與會者的聲音滿足切換條件時，將該聲音最大的與會者圖像切換到這三個會場中的左屏幕上顯示；各與會者的聲音在不斷變化，此時又有聲音最大的與會者的聲音滿足切換條件，則將該聲音最大的與會者的圖像切換到這三個會場中的中屏上顯示；再有聲音最大的與會者的聲音滿足切換條件時，則將該聲音最大的與會者的圖像切換到這三個會場中的右屏上顯示，這樣可以滿足三個三屏會場中具有同一編號的屏幕具有相同的視頻源。
[0213]可選的，為了實現(xiàn)聲音最大的與會者圖像在一個屏幕上全屏顯示的同時該聲音最大的與會者圖像也在多畫面中顯示，還可以包括=MCU可以控制用聲音最大的與會者的圖像替換多畫面圖像中的某一個畫面，使該聲音最大的與會者的圖像在多畫面圖像中顯示出來。這樣，就可以在同一會場中一個屏幕全屏顯不聲音最大的與會者圖像時，該聲音最大的與會者圖像同時在多畫面中顯示。具體的，假定第一會場是3屏會場，屏幕I顯示攝像機Fl拍攝的與會者圖像，屏幕2顯示攝像機C2拍攝的與會者圖像，屏幕3顯示多畫面圖像，當前攝像機C2拍攝的與會者為聲音最大的與會者，MCU將該聲音最大的與會者的圖像與其他多個圖像拼接成多畫面圖像，控制屏幕3顯示拼接后的多畫面圖像，如圖10所示。
[0214]參閱圖11，本發(fā)明實施例提供一種網絡側媒體處理設備，其包括:
[0215]與會者選擇單元100，用于按照當前會議中與會者音量從大到小的順序，從音量最大的與會者開始，依次確定預定個數(shù)的待顯示的與會者；
[0216]屏幕選擇單元300，用于確定第一會場中預定個數(shù)的當前顯示的與會者對應的屏幕作為需要切換圖像的屏幕。
[0217]第一控制切換單元400，用于控制所述需要切換圖像的屏幕所顯示的圖像切換為所述預定個數(shù)的待顯示與會者的圖像。
[0218]該設備還包括:
[0219]排序單元200，用于按照排序條件對第一會場的屏幕當前顯示的與會者進行排序，得到所述第一會場的屏幕當前顯示的與會者的排序結果，所述排序條件為如下條件之一:當前顯示的與會者的聲音大小、發(fā)言時間點遠近、發(fā)言時長、第一會場的屏幕當前顯示的與會者的發(fā)言次數(shù)和第一會場的屏幕當前顯示的與會者所對應的屏幕是否為主屏。其中，第一會場的屏幕當前顯示的與會者的具體排序方式請參見方法實施例的相應描述，在此不再贅述。
[0220]屏幕選擇單元300具體用于根據(jù)第一會場的屏幕當前顯示的與會者的排序結果，確定第一會場中預定個數(shù)的當前顯示的與會者對應的屏幕作為需要切換圖像的屏幕。
[0221]其中，預定個數(shù)可以為一個；參閱圖12，屏幕選擇單元300包括:判斷子單元3001，用于判斷所述第一會場中能切換圖像的屏幕所顯示的與會者是否屬于最近發(fā)言者列表；屏幕選擇第一子單元3002，用于當所述第一會場中能切換圖像的屏幕所顯示的各與會者中有屬于最近發(fā)言者列表的與會者時，從不屬于最近發(fā)言者列表中的與會者中選擇當前顯示的聲音最小的與會者的圖像，將所選擇的圖像所在的屏幕作為需要切換圖像的屏幕；屏幕選擇第二子單元3003，用于當所述第一會場中能切換圖像的屏幕所顯示的與會者均為最近發(fā)言者列表中的與會者時，按照最近發(fā)言者列表中與會者的排序結果，選擇排序結果靠后的當前顯示的與會者所在的屏幕為需要切換圖像的屏幕，其中，最近發(fā)言者列表中與會者的排序方式請參考方法實施例中的相應描述，在此不再贅述。
[0222]或者，預定個數(shù)為一個；參閱圖13，屏幕選擇單元300包括:第一選擇子單元3004，用于根據(jù)第一會場的屏幕當前顯示的與會者的排序結果，選擇排在最后的當前顯示的與會者所在的屏幕；特定屏幕判斷子單元3005，用于判斷所述排在最后的當前顯示的與會者所在的屏幕是否是第一特定屏幕；第二選擇子單元3006，用于當特定屏幕判斷子單元3005的判斷結果為是時，選擇所述排在最后的當前顯示的與會者的前一個當前顯示的與會者所在的屏幕；確定子單元3007，用于當特定屏幕判斷子單元3005的判斷結果為否時，確定需要切換圖像的屏幕為所述第一選擇子單元3004所選擇的屏幕；當特定屏幕判斷子單元3005的判斷結果為是時，確定需要切換圖像的屏幕為所述第二選擇子單元3006所選擇的屏幕。其中，關于第一特定屏幕、第二特定屏幕的定義和舉例描述請參考方法實施例的相應描述，在此不再贅述。
[0223]當所述預定個數(shù)為多個時，第一控制切換單元400具體用于當所述預定個數(shù)的待顯示的與會者的圖像中存在至少兩個待顯示的與會者的圖像來自于第二會場時，控制所述需要切換圖像的屏幕中至少兩個屏幕所顯示的圖像切換為所述至少兩個待顯示與會者的圖像，使得在所述第一會場中顯示的所述至少兩個待顯示的與會者的圖像的方向順序與所述至少兩個待顯示的與會者在所述第二會場中的物理位置的順序相同。
[0224]為了在顯示聲音最大的與會者圖像的同時顯示該與會者的全景圖像，該裝置還包括:控制疊加單元500，用于控制當前聲音最大的待顯示的與會者所在會場的全景圖像經過圖像處理后，疊加到當前聲音最大的待顯示的與會者的圖像的部分區(qū)域上顯示，具體的，可以是控制當前聲音最大的待顯示的與會者所在會場的全景圖像經過縮小處理后，疊加到當前聲音最大的待顯示的與會者的圖像的部分區(qū)域上顯示。
[0225]為了保證將聲音最大的與會者圖像切換到各會場相同屏幕標號的屏幕上，該裝置還包括:視頻源控制單元600，用于控制具有相同屏幕個數(shù)的各會場同一編號的屏幕具有相同的視頻源。參閱圖14，該視頻源控制單元600可以具體包括:第一確定子單元6001，用于判斷第一會場中第二特定屏幕是否能顯示當前聲音最大的待顯示的與會者的圖像；第二確定子單元6002，用于在所述第一確定子單元6001的判斷結果為否時，則確定所述第一會場中離所述第二特定屏幕的物理距離最近，且能顯示所述聲音最大的待顯示的與會者的圖像的屏幕；控制顯示子單元6003，用于在所述第一確定子單元的判斷結果為是時，控制所述第二特定屏幕顯示所述聲音最大的與會者的圖像；在所述第一確定子單元的判斷結果為否時，控制所述第二判斷子單元找到的屏幕顯示所述聲音最大的待顯示的與會者的圖像。其中，關于第二特定屏幕的定義和舉例描述請參考方法實施例的相應描述，在此不再贅述。
[0226]為了保證將聲音最大的與會者圖像切換到各會場相同屏幕標號的屏幕上，也可以先將聲音最大的與會者圖像切換到一個會場的相應屏幕上顯示，然后對其他會場采用相同的切換方式進行切換，比如，先將聲音最大的待顯示的與會者圖像切換到第一會場的相應屏幕上顯示，此時，該裝置還包括:第二控制切換單元700，還用于控制除第一會場以外的其他會場的相應屏幕顯示的圖像切換為預定個數(shù)的待顯示的與會者的圖像；其中，所述其他會場的相應屏幕與所選擇的第一會場中需要切換圖像的屏幕具有相同的編號。
[0227]為了在顯示聲音最大的與會者圖像的同時在多畫面中顯示該聲音最大的與會者，該裝置還包括:多畫面圖像控制顯示單元800，用于將聲音最大的待顯示的與會者的圖像與其他多個圖像拼接成多畫面圖像，控制所述第一會場的其他屏幕顯示所述多畫面圖像，所述其他屏幕為所述第一會場中除所選擇的需要切換圖像的屏幕以外的一個或者多個屏眷。
[0228]本發(fā)明實施例根據(jù)第一會場中屏幕顯不的與會者的聲音大小,從第一會場的屏幕中選擇預定個數(shù)的屏幕作為需要切換圖像的屏幕，然后將需要切換圖像的屏幕切換為預定個數(shù)的與會者圖像，避免了像現(xiàn)有技術那樣某一攝像機拍攝的圖像只能在遠方會場的特定屏幕(即該圖像所缺省對應的屏幕)上顯示，這種按屏幕聲控切換，能夠使會場中的用戶看到參與討論的與會者圖像，提高與會者的體驗。
[0229]以上對本發(fā)明所提供的一種多屏視頻會議中對與會者圖像顯示進行調整的方法及裝置進行了詳細介紹，對于本領域的一般技術人員，依據(jù)本發(fā)明實施例的思想，在【具體實施方式】及應用范圍上均會有改變之處，綜上所述，本說明書內容不應理解為對本發(fā)明的限制。
【權利要求】
1.一種多屏視頻會議中對與會者圖像顯示進行調整的方法，其特征在于，包括: 按照當前會議中與會者音量從大到小的順序，從音量最大的與會者開始，依次確定預定個數(shù)的待顯示的與會者； 確定第一會場中預定個數(shù)的當前顯示的與會者對應的屏幕作為需要切換圖像的屏眷; 當所述預定個數(shù)的待顯示的與會者的圖像中存在至少兩個待顯示的與會者的圖像來自于第二會場時，控制所述需要切換圖像的屏幕中至少兩個屏幕所顯示的圖像切換為所述至少兩個待顯示的與會者的圖像，使得在所述第一會場中顯示的所述至少兩個待顯示的與會者的圖像的方向順序與所述至少兩個待顯示的與會者在所述第二會場中的物理位置的順序相同。
2.根據(jù)權利要求1所述的方法，其特征在于，所述確定第一會場中預定個數(shù)的當前顯示的與會者對應的屏幕作為需要切換圖像的屏幕，具體為: 根據(jù)第一會場的屏幕當前顯示的與會者的排序結果，確定第一會場中預定個數(shù)的當前顯示的與會者對應的屏幕作為需要切換圖像的屏幕。
3.根據(jù)權利要求2所述的方法，其特征在于，所述第一會場的屏幕當前顯示的與會者的排序結果是按照如下排序條件進行的，所述排序條件包括如下條件中的至少一個:當前顯示的與會者的聲音大小、當前顯示的與會者最近一次發(fā)言的時間點的遠近、當前顯示的與會者的發(fā)言時長、第一會場的屏幕當前顯示的與會者的發(fā)言次數(shù)和第一會場的屏幕當前顯示的與會者所對應的屏幕是否為主屏。
4.根據(jù)權利要求3所述方法，其特征在于，其中，所述排序結果是按照如下方式之一進行排序的:當前顯示的與會者按照聲音從大到小的順序、當前顯示的與會者最近一次發(fā)言的時間點按照從近到遠的順序、當前顯示的與會者的發(fā)言時長按照從長到短的順序、第一會場的屏幕當前顯示的與會者的發(fā)言次數(shù)按照從多到少的順序、屏幕為主屏的第一會場的當前顯示的與會者的排序順序位于屏幕為非主屏的第一會場的當前顯示的與會者的排序順序之前。
5.根據(jù)權利要求3所述的方法，其特征在于，所述方法還包括:對不同的排序條件按照相應的重要性設定對應的權重； 所述排序結果是按照如下方式進行排序的:計算各與會者的各個排序條件的加權和作為排序參考值，按照所述排序參考值從大到小的順序對各與會者進行排序； 確定的預定個數(shù)的與會者具體為排序結果靠后的預定個數(shù)的與會者。
6.根據(jù)權利要求1-5任一權利要求所述的方法，其特征在于，該方法還包括: 控制當前聲音最大的待顯示的與會者所在會場的全景圖像經過圖像處理后，疊加到當前聲音最大的待顯示的與會者的圖像的部分區(qū)域上顯示。
7.根據(jù)權利要求1-5任一權利要求所述的方法，其特征在于，在按照當前會議中與會者音量從大到小的順序，從音量最大的與會者開始，依次確定預定個數(shù)的待顯示的與會者之前，該方法還包括: 控制具有相同屏幕個數(shù)的各會場同一編號的屏幕具有相同的視頻源。
8.根據(jù)權利要求7所述的方法，其特征在于， 所述控制具有相同屏幕個數(shù)的各會場同一編號的屏幕具有相同的視頻源包括:獲取當前聲音最大的待顯示的與會者的圖像，判斷所述第一會場中第二特定屏幕是否能顯示所述聲音最大的待顯示的與會者的圖像，如果是，控制所述第二特定屏幕顯示所述聲音最大的待顯示的與會者的圖像；如果否，則確定所述第一會場中離所述第二特定屏幕的物理距離最近，且能顯示所述聲音最大的待顯示的與會者的圖像的屏幕，控制所述確定的屏幕顯示所述當前聲音最大的待顯示的與會者的圖像，其中，所述第二特定屏幕是能和聲音最大的發(fā)言者圖像達到眼對眼效果的第一會場的屏幕。
9.根據(jù)權利要求7所述的方法，其特征在于， 在控制所述需要切換圖像的屏幕所顯示的圖像切換為所述預定個數(shù)的待顯示與會者的圖像之后，該方法還包括: 控制除所述第一會場以外的其他會場的相應屏幕顯示的圖像切換為預定個數(shù)的待顯示的與會者的圖像；其中，所述其他會場的相應屏幕與所選擇的第一會場中需要切換圖像的屏幕具有相同的編號。
10.一種多屏視頻會議中對與會者圖像顯示進行調整的方法，其特征在于，包括: 控制具有相同屏幕個數(shù)的各會場同一編號的屏幕具有相同的視頻源； 按照當前會議中與會者音量從大到小的順序，從音量最大的與會者開始，依次確定預定個數(shù)的待顯示的與會者； 控制所述需要切換圖像的屏幕所顯示的圖像切換為所述預定個數(shù)的待顯示與會者的圖像； 其中，所述控制具有相同屏幕個數(shù)的各會場同一編號的屏幕具有相同的視頻源包括:獲取當前聲音最大的待顯示的與會者的圖像，判斷所述第一會場中第二特定屏幕是否能顯示所述聲音最大的待顯示的與會者的圖像，如果是，控制所述第二特定屏幕顯示所述聲音最大的待顯示的與會者的圖像；如果否，則確定所述第一會場中離所述第二特定屏幕的物理距離最近，且能顯示所述聲音最大的待顯示的與會者的圖像的屏幕，控制所述確定的屏幕顯示所述當前聲音最大的待顯示的與會者的圖像，其中，所述第二特定屏幕是能和聲音最大的發(fā)言者圖像達到眼對眼效果的第一會場的屏幕。
11.根據(jù)權利要求10所述的方法，其特征在于，所述確定第一會場中預定個數(shù)的當前顯示的與會者對應的屏幕作為需要切換圖像的屏幕，具體為: 根據(jù)第一會場的屏幕當前顯示的與會者的排序結果，確定第一會場中預定個數(shù)的當前顯示的與會者對應的屏幕作為需要切換圖像的屏幕。
12.根據(jù)權利要求11所述的方法，其特征在于，所述第一會場的屏幕當前顯示的與會者的排序結果是按照如下排序條件進行的，所述排序條件包括如下條件中的至少一個:當前顯示的與會者的聲音大小、當前顯示的與會者最近一次發(fā)言的時間點的遠近、當前顯示的與會者的發(fā)言時長、第一會場的屏幕當前顯示的與會者的發(fā)言次數(shù)和第一會場的屏幕當前顯示的與會者所對應的屏幕是否為主屏。
13.根據(jù)權利要求12所述方法，其特征在于，其中，所述排序結果是按照如下方式之一進行排序:當前顯示的與會者按照聲音從大到小的順序、當前顯示的與會者最近一次發(fā)言的時間點按照從近到遠的順序、當前顯示的與會者的發(fā)言時長按照從長到短的順序、第一會場的屏幕當前顯示的與會者的發(fā)言次數(shù)按照從多到少的順序、屏幕為主屏的第一會場的當前顯示的與會者的排序順序位于屏幕為非主屏的第一會場的當前顯示的與會者的排序順序之前。
14.根據(jù)權利要求10所述的方法，其特征在于， 所述預定個數(shù)為I個； 根據(jù)第一會場的屏幕當前顯示的與會者的排序結果，確定所述第一會場中預定個數(shù)的當前顯示的與會者對應的屏幕作為需要切換圖像的屏幕包括: 根據(jù)所述第一會場的屏幕當前顯示的與會者的排序結果，判斷排在最后的當前顯示的與會者所在的屏幕是否是第一特定屏幕，如果否，確定需要切換圖像的屏幕為所述排在最后的當前顯示的與會者所在的屏幕；如果是，確定需要切換圖像的屏幕為所述排在最后的當前顯示的與會者的前一個當前顯示的與會者所在的屏幕；其中，所述第一特定屏幕與第二特定屏幕關于屏幕中心線對稱，所述第二特定屏幕是能和聲音最大的發(fā)言者圖像達到眼對眼效果的第一會場的屏幕，屏幕中心線為所述第一會場中各屏幕依次連接所形成的屏幕組的幾何中心線。
15.根據(jù)權利要求10-14任一權利要求所述的方法，其特征在于，該方法還包括: 控制當前聲音最大的待顯示的與會者所在會場的全景圖像經過圖像處理后，疊加到當前聲音最大的待顯示的與會者的圖像的部分區(qū)域上顯示。
16.根據(jù)權利要 求10-14任一權利要求所述的方法，其特征在于， 在控制所述需要切換圖像的屏幕所顯示的圖像切換為所述預定個數(shù)的待顯示與會者的圖像之后，該方法還包括: 控制除所述第一會場以外的其他會場的相應屏幕顯示的圖像切換為預定個數(shù)的待顯示的與會者的圖像；其中，所述其他會場的相應屏幕與所選擇的第一會場中需要切換圖像的屏幕具有相同的編號。
17.—種網絡側媒體處理設備，其特征在于，包括: 與會者選擇單元，用于按照當前會議中與會者音量從大到小的順序，從音量最大的與會者開始，依次確定預定個數(shù)的待顯示的與會者； 屏幕選擇單元，用于確定第一會場中預定個數(shù)的當前顯示的與會者對應的屏幕作為需要切換圖像的屏幕； 第一控制切換單元，用于當所述預定個數(shù)的待顯示的與會者的圖像中存在至少兩個待顯示的與會者的圖像來自于第二會場時，控制所述需要切換圖像的屏幕中至少兩個屏幕所顯示的圖像切換為所述至少兩個待顯示與會者的圖像，使得在所述第一會場中顯示的所述至少兩個待顯示的與會者的圖像的方向順序與所述至少兩個待顯示的與會者在所述第二會場中的物理位置的順序相同。
18.根據(jù)權利要求17所述的設備，其特征在于，所述屏幕選擇單元具體用于:根據(jù)第一會場的屏幕當前顯示的與會者的排序結果，確定第一會場中預定個數(shù)的當前顯示的與會者對應的屏幕作為需要切換圖像的屏幕。
19.根據(jù)權利要求18所述的設備，其特征在于，所述設備還包括: 排序單元，用于按照排序條件對第一會場的屏幕當前顯示的與會者進行排序，得到所述第一會場的屏幕當前顯示的與會者的排序結果，所述排序條件為如下條件之一:當前顯示的與會者的聲音大小、發(fā)言時間點遠近、發(fā)言時長、第一會場的屏幕當前顯示的與會者的發(fā)言次數(shù)和第一會場的屏幕當前顯示的與會者所對應的屏幕是否為主屏。
20.根據(jù)權利要求19所述的設備，其特征在于，所述排序結果是按照如下方式之一進行排序:當前顯示的與會者按照聲音從大到小的順序、當前顯示的與會者的發(fā)言時間點按照從近到遠的順序、當前顯示的與會者的發(fā)言時長按照從長到短的順序、第一會場的屏幕當前顯示的與會者的發(fā)言次數(shù)按照從多到少的順序、屏幕為主屏的第一會場的當前顯示的與會者的排序順序位于屏幕為非主屏的第一會場的當前顯示的與會者的排序順序之前。
21.根據(jù)權利要求17所述的設備，其特征在于，還包括: 控制疊加單元，用于控制當前聲音最大的待顯示的與會者所在會場的全景圖像經過圖像處理后，疊加到當前聲音最大的待顯示的與會者的圖像的部分區(qū)域上顯示。
22.根據(jù)權利要求17所述的設備，其特征在于，還包括: 視頻源控制單元，用于控制具有相同屏幕個數(shù)的各會場同一編號的屏幕具有相同的視頻源。
23.根據(jù)權利要求22所述的設備，其特征在于， 所述視頻源控制單元包括: 第一確定子單元，用于判斷第一會場中第二特定屏幕是否能顯示當前聲音最大的待顯示的與會者的圖像，所述第二特定屏幕是能和聲音最大的待顯示的發(fā)言者圖像達到眼對眼效果的第一會場的屏幕； 第二確定子單元， 用于在所述第一確定子單元的判斷結果為否時，則確定所述第一會場中離所述第二特定屏幕的物理距離最近，且能顯示所述聲音最大的待顯示的與會者的圖像的屏幕； 控制顯示子單元，用于在所述第一確定子單元的判斷結果為是時，控制所述第二特定屏幕顯示所述聲音最大的待顯示的與會者的圖像；在所述第一確定子單元的判斷結果為否時，控制所述第二確定子單元所確定的屏幕顯示所述聲音最大的待顯示的與會者的圖像。
24.根據(jù)權利要求22所述的設備，其特征在于，還包括: 第二控制切換單元，用于控制除所述第一會場以外的其他會場的相應屏幕顯示的圖像切換為預定個數(shù)的待顯示的與會者的圖像；其中，所述其他會場的相應屏幕與所選擇的第一會場中需要切換圖像的屏幕具有相同的編號。
25.根據(jù)權利要求17-24任一權利要求所述的設備，其特征在于，所述網絡側媒體處理設備為:多點控制單元。
26.—種網絡側媒體處理設備，其特征在于，包括: 與會者選擇單元，用于按照當前會議中與會者音量從大到小的順序，從音量最大的與會者開始，依次確定預定個數(shù)的待顯示的與會者； 屏幕選擇單元，用于確定第一會場中預定個數(shù)的當前顯示的與會者對應的屏幕作為需要切換圖像的屏幕； 第一控制切換單元，用于控制所述需要切換圖像的屏幕所顯示的圖像切換為所述預定個數(shù)的待顯示與會者的圖像； 視頻源控制單元，用于控制具有相同屏幕個數(shù)的各會場同一編號的屏幕具有相同的視頻源，其中，所述視頻源控制單元具體包括: 第一確定子單元，用于判斷第一會場中第二特定屏幕是否能顯示當前聲音最大的待顯示的與會者的圖像，所述第二特定屏幕是能和聲音最大的待顯示的發(fā)言者圖像達到眼對眼效果的第一會場的屏幕； 第二確定子單元，用于在所述第一確定子單元的判斷結果為否時，則確定所述第一會場中離所述第二特定屏幕的物理距離最近，且能顯示所述聲音最大的待顯示的與會者的圖像的屏幕； 控制顯示子單元，用于在所述第一確定子單元的判斷結果為是時，控制所述第二特定屏幕顯示所述聲音最大的待顯示的與會者的圖像；在所述第一確定子單元的判斷結果為否時，控制所述第二確定子單元所確定的屏幕顯示所述聲音最大的待顯示的與會者的圖像。
27.根據(jù)權利要求26所述的設備，其特征在于，所述屏幕選擇單元具體用于:根據(jù)第一會場的屏幕當前顯示的與會者的排序結果，確定第一會場中預定個數(shù)的當前顯示的與會者對應的屏幕作為需要切換圖像 的屏幕。
28.根據(jù)權利要求27所述的設備，其特征在于，所述設備還包括: 排序單元，用于按照排序條件對第一會場的屏幕當前顯示的與會者進行排序，得到所述第一會場的屏幕當前顯示的與會者的排序結果，所述排序條件為如下條件之一:當前顯示的與會者的聲音大小、發(fā)言時間點遠近、發(fā)言時長、第一會場的屏幕當前顯示的與會者的發(fā)言次數(shù)和第一會場的屏幕當前顯示的與會者所對應的屏幕是否為主屏。
29.根據(jù)權利要求28所述的設備，其特征在于，所述排序結果是按照如下方式之一進行排序:當前顯示的與會者按照聲音從大到小的順序、當前顯示的與會者的發(fā)言時間點按照從近到遠的順序、當前顯示的與會者的發(fā)言時長按照從長到短的順序、第一會場的屏幕當前顯示的與會者的發(fā)言次數(shù)按照從多到少的順序、屏幕為主屏的第一會場的當前顯示的與會者的排序順序位于屏幕為非主屏的第一會場的當前顯示的與會者的排序順序之前。
30.根據(jù)權利要求26所述的設備，其特征在于， 所述預定個數(shù)為I個； 所述屏幕選擇單元包括: 第一選擇子單元，用于根據(jù)第一會場的屏幕當前顯示的與會者的排序結果，選擇排在最后的當前顯示的與會者所在的屏幕； 特定屏幕判斷子單元，用于判斷所述排在最后的當前顯示的與會者所在的屏幕是否是第一特定屏幕，其中，所述第一特定屏幕與第二特定屏幕關于屏幕中心線對稱，所述第二特定屏幕是能和聲音最大的發(fā)言者圖像達到眼對眼效果的第一會場的屏幕，屏幕中心線為所述第一會場中各屏幕依次連接所形成的屏幕組的幾何中心線； 第二選擇子單元，用于當所述特定屏幕判斷子單元的判斷結果為是時，選擇所述排在最后的當前顯示的與會者的前一個當前顯示的與會者所在的屏幕； 確定子單元，用于當特定屏幕判斷子單元的判斷結果為否時，確定需要切換圖像的屏幕為所述第一選擇子單元所選擇的屏幕；當特定屏幕判斷子單元的判斷結果為是時，確定需要切換圖像的屏幕為所述第二選擇子單元所選擇的屏幕。
31.根據(jù)權利要求26任一權利要求所述的設備，其特征在于，還包括: 控制疊加單元，用于控制當前聲音最大的待顯示的與會者所在會場的全景圖像經過圖像處理后，疊加到當前聲音最大的待顯示的與會者的圖像的部分區(qū)域上顯示。
32.根據(jù)權利要求26任一權利要求所述的設備，其特征在于，還包括: 第二控制切換單元，用于控制除所述第一會場以外的其他會場的相應屏幕顯示的圖像切換為預定個數(shù)的待顯示的與會者的圖像；其中，所述其他會場的相應屏幕與所選擇的第一會場中需要切換圖像的屏幕具有相同的編號。
33.根據(jù)權利要求26-32任一權利要求所述的設備，其特征在于，所述網絡側媒體處理設備為:多點控制單 元。
【文檔編號】H04N7/15GK104038725SQ201410258857
【公開日】2014年9月10日 申請日期:2010年9月9日 優(yōu)先權日:2010年9月9日
【發(fā)明者】吳姣黎, 陳顯義, 宋文 申請人:華為終端有限公司