專利名稱：一種電話視頻會(huì)議系統(tǒng)及其音頻/視頻處理方法
技術(shù)領(lǐng)域：
本發(fā)明屬于視頻會(huì)議領(lǐng)域和電話會(huì)議領(lǐng)域。
現(xiàn)在流行的視頻、電話會(huì)議系統(tǒng)大致分為兩大類1、利用MCU連接多個(gè)控制器，使各個(gè)終端(會(huì)場)能夠互相傳遞語音和圖象。這種方式的一般應(yīng)用為在每個(gè)會(huì)場安裝一臺(tái)終端設(shè)備，在中心機(jī)房安裝一臺(tái)MCU設(shè)備，召開會(huì)議有兩種模式一種為每個(gè)會(huì)場向MCU發(fā)起呼叫，MCU確定會(huì)場的身份后把其加入會(huì)議；一種為MCU向每個(gè)會(huì)場發(fā)起呼叫，會(huì)場接受呼叫則加入會(huì)議。這種方式的缺點(diǎn)在于在開會(huì)之前需要專人來先把所有的會(huì)場加入會(huì)議，往往需要很長一段時(shí)間。另外這種方式的終端設(shè)備的安裝也非常麻煩，需要專業(yè)人員去安裝和維護(hù)。
2、利用瀏覽器下載程序安裝客戶平臺(tái)軟件的方式，將各端的請求送到服務(wù)器混合處理。這種方式的系統(tǒng)目前主要有兩類一種是先通過瀏覽器下載一個(gè)客戶端，安裝客戶端后，通過客戶端軟件參加會(huì)議；一種是通過瀏覽器直接參加會(huì)議，但實(shí)際上仍然是通過瀏覽器運(yùn)行了一個(gè)程序，由于是一個(gè)完整的程序，所以往往都較龐大，下載較慢，使用起來非常不方便。另外目前的所有這類系統(tǒng)中都無法使得沒有計(jì)算機(jī)的用戶加入會(huì)議，這也限制了一部分用戶的使用。
本發(fā)明的電話視頻會(huì)議系統(tǒng)，包括主控單元、數(shù)字信號(hào)處理單元、內(nèi)部總線和以太網(wǎng)接口，所述主控單元完成電話視頻會(huì)議的核心控制功能，所述數(shù)字信號(hào)處理單元完成電話的接入以及音頻、視頻和數(shù)據(jù)的處理功能，所述內(nèi)部總線用于完成該系統(tǒng)內(nèi)部各種控制信號(hào)及數(shù)字信號(hào)的傳遞，所述以太網(wǎng)接口用以連接至以太網(wǎng)，使計(jì)算機(jī)用戶能加入到該電話視頻會(huì)議系統(tǒng)，其特征在于還包括有一E1/模擬電話線接入端口，通過數(shù)字信號(hào)處理單元中的電話接入模塊，將固定電話/移動(dòng)電話用戶接入到該電話視頻會(huì)議系統(tǒng)。
所述主控單元包括呼叫處理模塊、會(huì)議監(jiān)控模塊、數(shù)據(jù)庫和WEB服務(wù)器；所述呼叫處理模塊完成對來自電話和IP網(wǎng)絡(luò)的呼叫控制功能；所述會(huì)議監(jiān)控模塊完成對用戶異常斷線的處理，完成對異常會(huì)議的處理；所述數(shù)據(jù)庫完成會(huì)議相關(guān)信息的保存；所述WEB服務(wù)器接受來自計(jì)算機(jī)用戶的Web瀏覽器的請求，完成會(huì)議的預(yù)定、召開、修改以及系統(tǒng)的維護(hù)；所述數(shù)字信號(hào)處理模塊還包括有音頻處理模塊、視頻處理模塊和數(shù)據(jù)處理模塊；所述音頻處理模塊完成音頻的編解碼和混音；所述視頻處理模塊完成視頻的編解碼和多畫面處理；所述數(shù)據(jù)處理模塊完成數(shù)據(jù)的編解碼和轉(zhuǎn)發(fā)。
本發(fā)明提供一種電話視頻會(huì)議系統(tǒng)的音頻處理方法，包括通過一E1/模擬電話線接入端口，將固定電話/移動(dòng)電話用戶接入至一電話接入模塊，由該電話接入模塊采集音頻信號(hào)，并以RTP/RTCP協(xié)議封裝成IP報(bào)文，通過內(nèi)部總線發(fā)送給音頻處理模塊，由音頻處理模塊進(jìn)行混音，然后將混音后的語音也以RTP/RTCP協(xié)議封裝成IP報(bào)文，通過內(nèi)部總線發(fā)送給電話接入模塊，由電話接入模塊把接收到的RTP/RTCP報(bào)文解包后通過雙緩沖方法播放給電話用戶。
所述的雙緩沖方法為在普通的電話語音卡上準(zhǔn)備兩塊內(nèi)存區(qū)域A和B，一個(gè)內(nèi)存區(qū)域A使用完畢，立即使用內(nèi)存區(qū)域B，并且在切換到內(nèi)存區(qū)域B時(shí)，給電話接入模塊發(fā)送一個(gè)消息，電話接入模塊接收到此消息后，更新內(nèi)存區(qū)域A的內(nèi)容，當(dāng)錄音或者播放程序使用完內(nèi)存區(qū)域B時(shí)，內(nèi)存區(qū)域A又被繼續(xù)使用。
本發(fā)明提供另一種電話視頻會(huì)議系統(tǒng)的音頻處理方法，包括通過計(jì)算機(jī)瀏覽器控件采集計(jì)算機(jī)用戶的音頻信號(hào)，以RTP/RTCP協(xié)議發(fā)送給音頻處理模塊，由音頻處理模塊進(jìn)行混音，然后將混音后的語音也以RTP/RTCP協(xié)議通過以太網(wǎng)接口發(fā)送給計(jì)算機(jī)中瀏覽器控件進(jìn)行相應(yīng)處理。
上述的音頻處理模塊進(jìn)行混音，包括下列步驟A)接收來自復(fù)數(shù)個(gè)用戶的RTP/RTCP語音報(bào)文；B)對報(bào)文分別進(jìn)行解碼，去掉報(bào)文頭，然后對報(bào)文內(nèi)容根據(jù)編碼方式進(jìn)行解碼，還原成語音數(shù)據(jù)；C)對還原后的復(fù)數(shù)個(gè)語音數(shù)據(jù)進(jìn)行求和運(yùn)算，取得求和結(jié)果；D)分別將求和結(jié)果減去該復(fù)數(shù)個(gè)用戶的語音數(shù)據(jù)，作為返送給相對應(yīng)用戶的語音數(shù)據(jù)；E)音頻處理模塊對返送給每個(gè)用戶語音數(shù)據(jù)以RTP/RTCP的方式分別發(fā)送給每個(gè)用戶。
本發(fā)明提供一種電話視頻會(huì)議系統(tǒng)的視頻處理方法，包括獲取每個(gè)計(jì)算機(jī)用戶最近某一時(shí)段內(nèi)的語音數(shù)據(jù)，判斷該時(shí)段內(nèi)的語音數(shù)據(jù)是否大于60％，若大于60％，則認(rèn)為此用戶為發(fā)言用戶；若沒有發(fā)言用戶，則顯示第一個(gè)加入會(huì)議的用戶；若有多個(gè)發(fā)言用戶，則比較該時(shí)段內(nèi)該多個(gè)發(fā)言用戶的語音數(shù)據(jù)的算術(shù)平均值，顯示平均值為最大的用戶的圖像。
本發(fā)明提供另一種電話視頻會(huì)議系統(tǒng)的視頻處理方法，包括獲取每個(gè)計(jì)算機(jī)用戶最近某一時(shí)段內(nèi)的語音數(shù)據(jù)，計(jì)算該時(shí)段內(nèi)每個(gè)用戶的語音數(shù)據(jù)的算術(shù)平均值，顯示平均值為最大的四個(gè)用戶的圖像。
本發(fā)明對電話接入用戶的語音和計(jì)算機(jī)用戶的語音統(tǒng)一處理，解決了電話會(huì)議和IP語音視頻的融合問題，使得電話用戶和計(jì)算機(jī)用戶都能夠方便的參加會(huì)議；同時(shí)對計(jì)算機(jī)用戶的客戶端實(shí)現(xiàn)了零配置。
主控單元完成電話視頻會(huì)議的核心控制功能，它在硬件上由采用Intel公司的“至強(qiáng)”CPU以及Intel公司的主板構(gòu)成，操作系統(tǒng)采用Windows2000，所述主控單元包含如下四個(gè)部分呼叫處理模塊完成對來自電話和IP網(wǎng)絡(luò)的呼叫控制功能。
會(huì)議監(jiān)控模塊完成對客戶異常斷線的處理，完成對異常會(huì)議的處理。
數(shù)據(jù)庫完成會(huì)議相關(guān)信息的保存，采用MySQL數(shù)據(jù)庫系統(tǒng)。
Web服務(wù)器接受來自Web瀏覽器的請求，完成會(huì)議的預(yù)定、召開、修改以及系統(tǒng)的維護(hù)。采用目前常用的Apache Web服務(wù)器，在其上增加了會(huì)議的預(yù)定、召開、修改以及系統(tǒng)維護(hù)的Web頁面。
數(shù)字信號(hào)處理單元完成電話的接入以及音頻、視頻和數(shù)據(jù)的處理功能，它在硬件上由采用多個(gè)DSP的單板構(gòu)成，由如下四個(gè)功能模塊構(gòu)成電話接入模塊通過電話線接口和E1接口，完成電話的接入。
音頻處理模塊完成音頻的編解碼和混音。
視頻處理模塊完成視頻的編解碼和多畫面處理。
數(shù)據(jù)處理模塊完成數(shù)據(jù)的編解碼和轉(zhuǎn)發(fā)。
所述內(nèi)部總線用于完成該系統(tǒng)內(nèi)部各種控制信號(hào)及數(shù)字信號(hào)的傳遞，所述以太網(wǎng)接口用以連接至以太網(wǎng)，使計(jì)算機(jī)用戶能加入到該電話視頻會(huì)議系統(tǒng)，所述E1/模擬電話線接入端口，通過數(shù)字信號(hào)處理單元中的電話接入模塊，將固定電話/移動(dòng)電話用戶接入到該電話視頻會(huì)議系統(tǒng)。
用戶參加會(huì)議的流程如下1、用戶通過計(jì)算機(jī)上的瀏覽器加入會(huì)議1)瀏覽器通過HTTP協(xié)議連接到Web服務(wù)器，進(jìn)入Web服務(wù)器中的參加會(huì)議頁面。
2)經(jīng)過身份驗(yàn)證，Web服務(wù)器發(fā)送“加入會(huì)議”消息給呼叫處理模塊。
3)呼叫處理模塊通知音頻處理模塊、視頻處理模塊、數(shù)據(jù)處理模塊啟動(dòng)處理，同時(shí)通知用戶所使用瀏覽器上的控件啟動(dòng)音頻、視頻以及數(shù)據(jù)的接受和發(fā)送。(瀏覽器上的控件為采用微軟的ActiveX技術(shù)開發(fā)的一個(gè)組件，整個(gè)組件為配合瀏覽器使用的軟件系統(tǒng)，完成用戶所在計(jì)算機(jī)的語音、視頻、數(shù)據(jù)的采集、播放以及發(fā)送和接收。此控件在用戶第一次通過瀏覽器訪問Web服務(wù)器時(shí)會(huì)自動(dòng)下載，以后每次瀏覽器啟動(dòng)，此控件會(huì)自動(dòng)加載)。
4)控件把用戶的語音、圖像、數(shù)據(jù)通過RTP/RTCP協(xié)議(RTP/RTCP協(xié)議為IP上多媒體通訊的一個(gè)標(biāo)準(zhǔn)協(xié)議，由IETF制定)發(fā)送給本發(fā)明的電話視頻會(huì)議系統(tǒng)，由系統(tǒng)對語音、視頻、數(shù)據(jù)進(jìn)行處理，同時(shí)把處理后的語音、圖像、數(shù)據(jù)通過RTP/RTCP協(xié)議發(fā)送給控件，這樣參加會(huì)議的每個(gè)用戶就能夠聽到其它人的聲音，看到其它人的圖像，獲取到其它人的共享數(shù)據(jù)信息。語音的傳送采用ITU G.711的編碼或者ADPCM的編碼方式，圖像的傳送采用MPEG-4、H.263、H.261的編解碼技術(shù)，數(shù)據(jù)的傳送采用二進(jìn)制的方式進(jìn)行。該些語音和圖像的編碼技術(shù)都是目前成熟的標(biāo)準(zhǔn)技術(shù)。
2、用戶通過固定電話/移動(dòng)電話加入會(huì)議1)用戶通過固定電話/移動(dòng)電話撥打一個(gè)特殊號(hào)碼呼叫本發(fā)明的電話視頻會(huì)議系統(tǒng)。
2)電話接入模塊檢測到有用戶呼入，接通電話，提示用戶輸入會(huì)議室號(hào)碼和會(huì)議密碼。
3)若用戶的會(huì)議室號(hào)碼和會(huì)議密碼全部正確，則電話接入模塊發(fā)送“加入會(huì)議”消息給呼叫控制模塊。
4)呼叫控制模塊通知音頻處理模塊、視頻處理模塊、數(shù)據(jù)處理模塊啟動(dòng)處理，同時(shí)通知電話接入模塊啟動(dòng)音頻的接受和發(fā)送。
5)電話接入模塊把用戶的語音轉(zhuǎn)換成RTP/RTCP協(xié)議的格式，后面的處理同計(jì)算機(jī)加入的用戶完全相同，區(qū)別僅僅在于電話加入的用戶只有語音信息，沒有圖像和數(shù)據(jù)信息。
呼叫控制模塊和音頻處理模塊、視頻處理模塊、數(shù)據(jù)處理模塊之間通過會(huì)議消息進(jìn)行交互，音頻處理模塊、視頻處理模塊、數(shù)據(jù)處理模塊完全按照呼叫控制模塊的指令進(jìn)行相應(yīng)的操作，這些會(huì)議消息如下1)“加入會(huì)議”消息消息中攜帶有用戶姓名/電話號(hào)碼、會(huì)議室號(hào)碼、IP地址等信息，表示有一個(gè)用戶加入某個(gè)會(huì)議室。
2)“離開會(huì)議”消息消息中攜帶有用戶姓名/電話號(hào)碼、會(huì)議室號(hào)碼、IP地址等信息，表示有一個(gè)用戶離開某個(gè)會(huì)議室。
上面的八個(gè)模塊中，除了數(shù)據(jù)庫和Web服務(wù)器為采用目前已有技術(shù)實(shí)現(xiàn)外，其他六個(gè)模塊的功能及實(shí)現(xiàn)分述如下1、呼叫處理模塊呼叫處理模塊的功能為接受電話用戶或者計(jì)算機(jī)用戶的訪問請求，把這些用戶加入會(huì)議；當(dāng)這些用戶離開會(huì)議時(shí)，進(jìn)行相應(yīng)處理，具體處理流程如下對于計(jì)算機(jī)用戶計(jì)算機(jī)用戶通過瀏覽器訪問Web服務(wù)器，瀏覽器和Web服務(wù)器之間通過HTTP協(xié)議進(jìn)行交互，Web服務(wù)器以WEB頁面的方式由計(jì)算機(jī)用戶輸入用戶姓名、會(huì)議室號(hào)碼和密碼，輸入完成后，Web服務(wù)器把這些信息以消息的方式提交給呼叫處理模塊，呼叫處理模塊根據(jù)圖2的處理流程進(jìn)行處理。
對于固定電話用戶/移動(dòng)電話用戶電話用戶通過電話訪問電話接入模塊，電話接入模塊播放提示音“請輸入會(huì)議室號(hào)碼”，用戶輸入會(huì)議室號(hào)碼后，電話接入模塊播放提示音“請輸入密碼”，用戶輸入密碼后，電話接入模塊把這些信息以消息的方式提交給呼叫處理模塊，呼叫處理模塊根據(jù)圖2的處理流程進(jìn)行處理。
2、會(huì)議監(jiān)控模塊會(huì)議監(jiān)控模塊負(fù)責(zé)處理如下兩個(gè)功能(1)監(jiān)視數(shù)據(jù)庫中的正在開會(huì)的用戶是否有異常斷線的，若有，則把此用戶從數(shù)據(jù)庫中刪除。判斷用戶是否異常斷線的方法為用戶所在瀏覽器上的控件每隔5秒鐘修改一下數(shù)據(jù)庫中的計(jì)數(shù)器，把計(jì)數(shù)器加一，會(huì)議監(jiān)控模塊每隔30秒檢測一下數(shù)據(jù)庫中的計(jì)數(shù)器是否修改，若未被修改，則表明此用戶異常斷線。
(2)監(jiān)視數(shù)據(jù)庫中的會(huì)議是否有沒有正常關(guān)閉的，若有，則把此會(huì)議關(guān)閉。判斷會(huì)議是否沒有正常關(guān)閉的方法為判斷當(dāng)前時(shí)間是否已經(jīng)晚于用戶預(yù)定會(huì)議的結(jié)束時(shí)間，若已經(jīng)晚于用戶預(yù)定會(huì)議的結(jié)束時(shí)間，則表示會(huì)議沒有正常關(guān)閉。
3、電話接入模塊對外提供E1或者模擬線的接口，用于連接電信網(wǎng)絡(luò)。具體實(shí)現(xiàn)方式為采用目前已有的電話語音卡(電話語音卡為計(jì)算機(jī)上用于連接電信網(wǎng)絡(luò)的板卡，主要用于提供類似電話銀行、自動(dòng)應(yīng)答系統(tǒng)之類的應(yīng)用)，在DSP上增加雙緩沖算法。雙緩沖算法是目前計(jì)算機(jī)用的聲卡上支持的一個(gè)功能，因?yàn)樵诓シ呕蛘咪浺舻揭粋€(gè)內(nèi)存區(qū)域時(shí)，內(nèi)存區(qū)域不能太大，這樣在播放或者錄音到內(nèi)存區(qū)域滿時(shí)，就需要計(jì)算機(jī)暫停錄音或者播放，去進(jìn)行相關(guān)的處理工作，準(zhǔn)備下一個(gè)內(nèi)存區(qū)域；這樣中間就有一個(gè)短暫的時(shí)間間隔，會(huì)影響播放或者錄音的語音質(zhì)量；聲卡通過提供兩個(gè)緩沖區(qū)(即雙緩沖)來解決此問題，具體處理方式為每次準(zhǔn)備兩個(gè)內(nèi)存區(qū)域，當(dāng)一個(gè)內(nèi)存區(qū)域播放或者錄音結(jié)束時(shí)，板卡自動(dòng)切換到另外一個(gè)內(nèi)存區(qū)域進(jìn)行播放或者錄音，這樣就保證了語音播放或者錄音的連貫性。目前普通電話語音卡主要用于播放文件和錄音到文件，而不是到內(nèi)存區(qū)域，所以目前的普通電話語音卡普遍不支持雙緩沖算法。
本發(fā)明的電話接入模塊采用普通電話語音卡，在其上增加雙呼出算法，算法如下(1)準(zhǔn)備兩塊內(nèi)存區(qū)域，每塊內(nèi)存區(qū)域的大小為960字節(jié)，可以保存120ms的語音。
(2)讓錄音或者播放程序輪流使用這兩塊內(nèi)存區(qū)域，即一個(gè)內(nèi)存區(qū)域A使用完畢，立即使用內(nèi)存區(qū)域B。并且在切換到內(nèi)存區(qū)域B時(shí)，給電話接入模塊發(fā)送一個(gè)消息。電話接入模塊接收到此消息后，更新內(nèi)存區(qū)域A的內(nèi)容，這樣當(dāng)錄音或者播放程序使用完內(nèi)存區(qū)域B時(shí)，內(nèi)存區(qū)域A又可以繼續(xù)使用。
這樣通過內(nèi)存區(qū)域A和內(nèi)存區(qū)域B的不停的切換使用，保證了內(nèi)存錄音或者播放的連續(xù)性，大大提高了語音質(zhì)量。
電話接入模塊采集的語音以RTP/RTCP協(xié)議封裝成IP報(bào)文，通過內(nèi)部總線發(fā)送給音頻處理模塊；同樣，音頻處理模塊混音后的語音也以RTP/RTCP協(xié)議封裝成IP報(bào)文，通過內(nèi)部總線發(fā)送給電話接入模塊，電話接入模塊把接收到的RTP/RTCP報(bào)文解包后通過雙緩沖技術(shù)播放給電話用戶。
4、音頻處理模塊不管是電話用戶，還是計(jì)算機(jī)用戶，音頻處理模塊都進(jìn)行相同的處理，處理的基本原理為使得每個(gè)用戶聽到參加會(huì)議的其他所有用戶的聲音，但不能聽到自己的聲音。具體處理如下如圖3所示，每個(gè)用戶把自己的聲音以RTP/RTCP報(bào)文的方式發(fā)送給音頻處理模塊，音頻處理模塊經(jīng)過處理，保證用戶1能夠聽到用戶2、用戶3、用戶4的聲音，用戶2能夠聽到用戶1、用戶3、用戶4的聲音，即每個(gè)人都能夠聽到其他三個(gè)人的聲音。音頻處理模塊的具體算法如下(1)接收來自用戶1、用戶2、用戶3、用戶4的RTP/RTCP報(bào)文。
(2)對報(bào)文分別進(jìn)行解碼，去掉報(bào)文頭，然后對報(bào)文內(nèi)容根據(jù)編碼方式進(jìn)行解碼，還原成16位的語音數(shù)據(jù)。(報(bào)文內(nèi)容根據(jù)國家的不同分別采用A律或者U律編碼，A律/U律編解碼屬于標(biāo)準(zhǔn)算法)。用戶1、用戶2、用戶3、用戶4的解碼后的16位語音數(shù)據(jù)分別以voice1、voice2、voice3、voice4表示。
(3)把voice1、voice2、voice3、voice4相加，結(jié)果以voice表示。
(4)音頻處理模塊給用戶1發(fā)送的語音數(shù)據(jù)為voice減去voice1，給用戶2發(fā)送的語音數(shù)據(jù)為voice減去voice2，給用戶3發(fā)送的語音數(shù)據(jù)為voice減去voice3，給用戶4發(fā)送的語音數(shù)據(jù)為voice減去voice4。
(5)音頻處理模塊對給每個(gè)用戶的16位語音數(shù)據(jù)進(jìn)行A律/U律轉(zhuǎn)換后，以RTP/RTCP的方式分別發(fā)送給每個(gè)用戶。
一般的算法采用的計(jì)算方式為加法，即給用戶1發(fā)送的語音數(shù)據(jù)為voice2+voice3+voice4，給用戶2發(fā)送的語音數(shù)據(jù)為voice1+voice3+voice4，這樣復(fù)雜度就為n×(n-1)，而上面音頻處理模塊采用的算法的復(fù)雜度為n×2，這樣在n較大，即用戶較多時(shí)(例如100個(gè)用戶)，算法的復(fù)雜度就大大降低了。
音頻處理模塊可以完全通過軟件來實(shí)現(xiàn)。
5、視頻處理模塊對于電話用戶，沒有視頻的發(fā)送和接收，所以就沒有視頻的相關(guān)處理。視頻處理模塊僅僅需要處理計(jì)算機(jī)用戶的視頻信息。處理的基本原理為使得會(huì)議中的每個(gè)用戶能夠看到當(dāng)前的發(fā)言用戶，具體看到的圖像分兩種單畫面和四畫面，單畫面就僅僅顯示一個(gè)發(fā)言用戶，四畫面為把一個(gè)屏幕分成四部分，分別顯示四個(gè)用戶的圖像。它們的算法分別如下(1)單畫面如圖4所示，假設(shè)用戶1、用戶2、用戶3、用戶4參加會(huì)議，當(dāng)前為用戶1發(fā)言，則大家都看到用戶1的圖像。
判斷誰是當(dāng)前發(fā)言用戶的方法為獲取每個(gè)用戶的最近三秒16位語音數(shù)據(jù)，判斷三秒鐘內(nèi)的語音數(shù)據(jù)是否大于60％(判斷語音和靜音的算法為標(biāo)準(zhǔn)算法，ITU相關(guān)標(biāo)準(zhǔn)已經(jīng)規(guī)定)，若大于60％(因?yàn)槿苏f話時(shí)會(huì)有一些停頓)，則認(rèn)為此用戶為發(fā)言用戶，若沒有發(fā)言用戶，則顯示第一個(gè)加入會(huì)議的用戶；若有多個(gè)發(fā)言用戶，則比較最近三秒該多個(gè)發(fā)言用戶的16位語音數(shù)據(jù)的算術(shù)平均值，平均值最大的用戶顯示圖像，因?yàn)樗陌l(fā)言聲音最大。
(2)四畫面四畫面是顯示最近發(fā)言的4個(gè)用戶的圖像。
如圖5所示，假設(shè)用戶1、用戶2、用戶3、用戶4、用戶5參加會(huì)議，其中用戶1、用戶2、用戶3、用戶4為最近發(fā)言的4個(gè)用戶，則大家都看到用戶1、用戶2、用戶3、用戶4的圖像。
判斷誰是最近發(fā)言的4個(gè)用戶的算法為獲取每個(gè)用戶的最近3秒16位語音數(shù)據(jù)，取算術(shù)平均值，平均值最大的4個(gè)用戶為最近發(fā)言的4個(gè)用戶。
視頻處理模塊可以完全通過軟件來實(shí)現(xiàn)。
上面的兩個(gè)算法都非常簡單，但它們解決了視頻會(huì)議的自動(dòng)控制問題，目前大多數(shù)視頻會(huì)議都采用會(huì)議主席控制的方式，這種方式要求會(huì)議主席在會(huì)議進(jìn)行中要控制哪些用戶可以發(fā)言，哪些用戶不可以發(fā)言，顯示哪個(gè)用戶的圖像，大大影響的會(huì)議的效果；通過本算法使得會(huì)議進(jìn)行過程中不需要人的干預(yù)，系統(tǒng)自動(dòng)切換到合適的圖像，與日常的普通會(huì)議非常類似，誰發(fā)言大家自然就關(guān)注誰。
6、數(shù)據(jù)處理模塊數(shù)據(jù)處理模塊用于處理計(jì)算機(jī)用戶的屏幕共享功能，即一個(gè)用戶能夠把自己的計(jì)算機(jī)屏幕發(fā)送給所有其他與會(huì)用戶，可以用來演示文檔。數(shù)據(jù)處理模塊的功能是接收計(jì)算機(jī)用戶瀏覽器的控件所發(fā)送的數(shù)據(jù)，然后轉(zhuǎn)發(fā)給其他所有用戶。
如圖6所示，假設(shè)用戶1、用戶2、用戶3、用戶4參加會(huì)議，當(dāng)前為用戶1進(jìn)行屏幕發(fā)送，則大家都看到用戶1的計(jì)算機(jī)屏幕。
用戶所在計(jì)算機(jī)上的瀏覽器的控件完成的功能如下(1)若為當(dāng)前發(fā)送用戶則截獲所有與計(jì)算機(jī)屏幕操作相關(guān)的操作系統(tǒng)消息，然后把這些消息發(fā)送給數(shù)據(jù)處理模塊。
(2)若不是當(dāng)前發(fā)送用戶，則接收從數(shù)據(jù)處理模塊發(fā)來的報(bào)文，這些報(bào)文為操作系統(tǒng)消息，把這些操作系統(tǒng)消息發(fā)送給當(dāng)前使用的計(jì)算機(jī)，則當(dāng)前計(jì)算機(jī)屏幕呈現(xiàn)發(fā)送用戶的屏幕內(nèi)容。
數(shù)據(jù)處理模塊完成的內(nèi)容為按“先到先得”原則，確定當(dāng)前發(fā)送用戶，即哪個(gè)用戶先請求，則他可以發(fā)送屏幕，直到他結(jié)束發(fā)送，下一個(gè)用戶才能夠請求發(fā)送。一旦確定發(fā)送用戶，則把此用戶來的IP報(bào)文原封不動(dòng)的發(fā)送給其他與會(huì)所有計(jì)算機(jī)用戶。
數(shù)據(jù)處理模塊可以完全通過軟件來實(shí)現(xiàn)。
本發(fā)明的電話視頻會(huì)議系統(tǒng)通過上述八個(gè)模塊的交互完成電話和視頻會(huì)議的功能，外部提供E1/模擬線和以太網(wǎng)絡(luò)接口，計(jì)算機(jī)用戶通過瀏覽器即可以完成會(huì)議的預(yù)定、修改和加入以及離開，電話用戶通過普通電話或者移動(dòng)電話就可以方便的加入和離開會(huì)議。
綜上所述，本發(fā)明通過采用瀏覽器+控件的方式，使得所有的配置都僅僅需要通過瀏覽器來完成，不用用戶單獨(dú)安裝軟件，簡化了用戶的安裝配置。由于通過瀏覽器來參加會(huì)議，這就使得大多數(shù)人不需要經(jīng)過任何學(xué)習(xí)就可以直接使用本系統(tǒng)，大大方便了用戶。另外，本發(fā)明在普通電話語音卡的DSP上增加雙緩沖算法大大提高了內(nèi)存錄音和播放的語音質(zhì)量。在音頻處理模塊采用對每個(gè)用戶語音求和再相減的算法，大大提高了會(huì)議混音的效率。在視頻處理模塊中單畫面的發(fā)言用戶判斷方法以及四畫面的最近四用戶判定算法，采用簡單的方式較好解決了視頻會(huì)議的自動(dòng)控制問題。同時(shí)，本發(fā)明通過電話接入用戶的語音和計(jì)算機(jī)用戶的語音統(tǒng)一處理，解決了電話會(huì)議和IP語音視頻的融合問題，使得電話用戶和計(jì)算機(jī)用戶都能夠方便的參加會(huì)議。
權(quán)利要求
1.一種電話視頻會(huì)議系統(tǒng)，包括主控單元、數(shù)字信號(hào)處理單元、內(nèi)部總線和以太網(wǎng)接口，所述主控單元完成電話視頻會(huì)議的核心控制功能，所述數(shù)字信號(hào)處理單元完成電話的接入以及音頻、視頻和數(shù)據(jù)的處理功能，所述內(nèi)部總線用于完成該系統(tǒng)內(nèi)部各種控制信號(hào)及數(shù)字信號(hào)的傳遞，所述以太網(wǎng)接口用以連接至以太網(wǎng)，使計(jì)算機(jī)用戶能加入到該電話視頻會(huì)議系統(tǒng)，其特征在于還包括有一E1/模擬電話線接入端口，通過數(shù)字信號(hào)處理單元中的電話接入模塊，將固定電話/移動(dòng)電話用戶接入到該電話視頻會(huì)議系統(tǒng)。
2.如權(quán)利要求1所述的電話視頻會(huì)議系統(tǒng)，其特征在于所述主控單元包括呼叫處理模塊、會(huì)議監(jiān)控模塊、數(shù)據(jù)庫和WEB服務(wù)器；所述呼叫處理模塊完成對來自電話和IP網(wǎng)絡(luò)的呼叫控制功能；所述會(huì)議監(jiān)控模塊完成對用戶異常斷線的處理，完成對異常會(huì)議的處理；所述數(shù)據(jù)庫完成會(huì)議相關(guān)信息的保存；所述WEB服務(wù)器接受來自計(jì)算機(jī)用戶的Web瀏覽器的請求，完成會(huì)議的預(yù)定、召開、修改以及系統(tǒng)的維護(hù)；所述數(shù)字信號(hào)處理模塊還包括有音頻處理模塊、視頻處理模塊和數(shù)據(jù)處理模塊；所述音頻處理模塊完成音頻的編解碼和混音；所述視頻處理模塊完成視頻的編解碼和多畫面處理；所述數(shù)據(jù)處理模塊完成數(shù)據(jù)的編解碼和轉(zhuǎn)發(fā)。
3.一種電話視頻會(huì)議系統(tǒng)的音頻處理方法，包括通過一E1/模擬電話線接入端口，將固定電話/移動(dòng)電話用戶接入至一電話接入模塊，由該電話接入模塊采集音頻信號(hào)，并以RTP/RTCP協(xié)議封裝成IP報(bào)文，通過內(nèi)部總線發(fā)送給音頻處理模塊，由音頻處理模塊進(jìn)行混音，然后將混音后的語音也以RTP/RTCP協(xié)議封裝成IP報(bào)文，通過內(nèi)部總線發(fā)送給電話接入模塊，由電話接入模塊把接收到的RTP/RTCP報(bào)文解包后通過雙緩沖方法播放給電話用戶。
4.如權(quán)利要求3所述的電話視頻會(huì)議系統(tǒng)的音頻處理方法，其特征在于所述的雙緩沖方法為在普通的電話語音卡上準(zhǔn)備兩塊內(nèi)存區(qū)域A和B，一個(gè)內(nèi)存區(qū)域A使用完畢，立即使用內(nèi)存區(qū)域B，并且在切換到內(nèi)存區(qū)域B時(shí)，給電話接入模塊發(fā)送一個(gè)消息，電話接入模塊接收到此消息后，更新內(nèi)存區(qū)域A的內(nèi)容，當(dāng)錄音或者播放程序使用完內(nèi)存區(qū)域B時(shí)，內(nèi)存區(qū)域A又被繼續(xù)使用。
5.一種電話視頻會(huì)議系統(tǒng)的音頻處理方法，包括通過計(jì)算機(jī)瀏覽器控件采集計(jì)算機(jī)用戶的音頻信號(hào)，以RTP/RTCP協(xié)議發(fā)送給音頻處理模塊，由音頻處理模塊進(jìn)行混音，然后將混音后的語音也以RTP/RTCP協(xié)議通過以太網(wǎng)接口發(fā)送給計(jì)算機(jī)中瀏覽器控件進(jìn)行相應(yīng)處理。
6.如權(quán)利要求3或5所述的電話視頻會(huì)議系統(tǒng)的音頻處理方法，其特征在于所述的音頻處理模塊進(jìn)行混音，包括下列步驟A)接收來自復(fù)數(shù)個(gè)用戶的RTP/RTCP語音報(bào)文；B)對報(bào)文分別進(jìn)行解碼，去掉報(bào)文頭，然后對報(bào)文內(nèi)容根據(jù)編碼方式進(jìn)行解碼，還原成語音數(shù)據(jù)；C)對還原后的復(fù)數(shù)個(gè)語音數(shù)據(jù)進(jìn)行求和運(yùn)算，取得求和結(jié)果；D)分別將求和結(jié)果減去該復(fù)數(shù)個(gè)用戶的語音數(shù)據(jù)，作為返送給相對應(yīng)用戶的語音數(shù)據(jù)；E)音頻處理模塊對返送給每個(gè)用戶語音數(shù)據(jù)以RTP/RTCP的方式分別發(fā)送給每個(gè)用戶。
7.一種電話視頻會(huì)議系統(tǒng)的視頻處理方法，包括獲取每個(gè)計(jì)算機(jī)用戶最近某一時(shí)段內(nèi)的語音數(shù)據(jù)，判斷該時(shí)段內(nèi)的語音數(shù)據(jù)是否大于60％，若大于60％，則認(rèn)為此用戶為發(fā)言用戶；若沒有發(fā)言用戶，則顯示第一個(gè)加入會(huì)議的用戶；若有多個(gè)發(fā)言用戶，則比較該時(shí)段內(nèi)該多個(gè)發(fā)言用戶的語音數(shù)據(jù)的算術(shù)平均值，顯示平均值為最大的用戶的圖像。
8.一種電話視頻會(huì)議系統(tǒng)的視頻處理方法，包括獲取每個(gè)計(jì)算機(jī)用戶最近某一時(shí)段內(nèi)的語音數(shù)據(jù)，計(jì)算該時(shí)段內(nèi)每個(gè)用戶的語音數(shù)據(jù)的算術(shù)平均值，顯示平均值為最大的四個(gè)用戶的圖像。
全文摘要
本發(fā)明有關(guān)一種電話視頻會(huì)議系統(tǒng)，包括主控單元、數(shù)字信號(hào)處理單元、內(nèi)部總線和以太網(wǎng)接口和E1/模擬電話線接入端口，所述主控單元完成電話視頻會(huì)議的核心控制功能，所述數(shù)字信號(hào)處理單元完成電話的接入以及音頻、視頻和數(shù)據(jù)的處理功能，所述內(nèi)部總線用于完成該系統(tǒng)內(nèi)部各種控制信號(hào)及數(shù)字信號(hào)的傳遞，所述以太網(wǎng)接口用以連接至以太網(wǎng)，使計(jì)算機(jī)用戶能加入到該電話視頻會(huì)議系統(tǒng)，所述E1/模擬電話線接入端口，通過數(shù)字信號(hào)處理單元中的電話接入模塊，將固定電話/移動(dòng)電話用戶接入到該電話視頻會(huì)議系統(tǒng)。本發(fā)明使得電話用戶和計(jì)算機(jī)用戶都能夠方便的參加會(huì)議；同時(shí)對計(jì)算機(jī)用戶的客戶端實(shí)現(xiàn)了零配置。
文檔編號(hào)H04N7/16GK1433207SQ0310536
公開日2003年7月30日 申請日期2003年2月26日 優(yōu)先權(quán)日2003年2月26日
發(fā)明者林海濤, 冒嘵鳴 申請人:北京艾尼通科技有限公司