專利名稱：遠(yuǎn)程教學(xué)多模式實(shí)時(shí)多媒體交互系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種遠(yuǎn)程教學(xué)多模式實(shí)時(shí)多媒體交互系統(tǒng)，面向?qū)崟r(shí)網(wǎng)絡(luò)教育/遠(yuǎn)程教育，涉及計(jì)算機(jī)、信息傳遞及多媒體技術(shù)。
在上述專利1中，發(fā)明人提出了一套在分組交換網(wǎng)下開展多媒體視頻會議的方法，該套方法主要有以下特點(diǎn)1)采用群組交互模式下多媒體數(shù)據(jù)的發(fā)送、接收；2)多媒體數(shù)據(jù)采用實(shí)時(shí)傳輸協(xié)議RTP，實(shí)時(shí)控制協(xié)議RTCP進(jìn)行傳輸；3)采用資源預(yù)留協(xié)議RSVP對交互過程中的視音頻質(zhì)量進(jìn)行控制。
4)數(shù)據(jù)傳輸采用單播、組播、廣播三種網(wǎng)絡(luò)傳輸模式；在專利2中，發(fā)明人提出了一套在視頻會議系統(tǒng)中創(chuàng)建呼叫的過程，該過程主要描述了呼叫雙方的認(rèn)證、授權(quán)、能力協(xié)商，此外還定義了呼叫消息所攜帶數(shù)據(jù)的內(nèi)容與格式。目前，視頻會議系統(tǒng)一般都采用類似的呼叫機(jī)制。
在專利3中，發(fā)明人提出了一套在分組交換網(wǎng)下開展多媒體視頻會議的方法，并實(shí)現(xiàn)了該系統(tǒng)。此套方法與系統(tǒng)主要有以下特點(diǎn)1)采用多個(gè)分組間基于RTP協(xié)議的組播數(shù)據(jù)發(fā)送、接收；2)采用目錄管理機(jī)制對會議成員進(jìn)行管理；3)通過創(chuàng)建虛擬現(xiàn)實(shí)環(huán)境，實(shí)現(xiàn)分組間的用戶相互感知，并能通過虛擬對象進(jìn)行交互。
根據(jù)上述查新，現(xiàn)有系統(tǒng)存在以下2個(gè)問題1.不能支持組播數(shù)據(jù)的跨網(wǎng)段傳輸，網(wǎng)絡(luò)帶寬資源利用率較低，進(jìn)而導(dǎo)致系統(tǒng)不能大規(guī)模大范圍地部署。
2.不能支持手持移動設(shè)備，不能自適應(yīng)地為不同網(wǎng)絡(luò)條件下使用不同硬件設(shè)備提供不同的視頻數(shù)據(jù)流。
為實(shí)現(xiàn)這樣的目的，本發(fā)明的遠(yuǎn)程教學(xué)多模式實(shí)時(shí)多媒體交互系統(tǒng)，是一個(gè)面向?qū)崟r(shí)網(wǎng)絡(luò)教學(xué)的分布式多媒體應(yīng)用系統(tǒng)，由多媒體客戶端，會議服務(wù)中心和多點(diǎn)控制單元MCU組成，通過遠(yuǎn)程教學(xué)現(xiàn)場的多媒體錄制和網(wǎng)絡(luò)傳輸，實(shí)現(xiàn)遠(yuǎn)程教學(xué)全部現(xiàn)場的直播和師生間的交互。會議服務(wù)中心分別和多媒體客戶端和多點(diǎn)控制單元通過網(wǎng)絡(luò)服務(wù)調(diào)用相連，多媒體客戶端和多點(diǎn)控制單元通過RTP/RTCP協(xié)議相連。會議服務(wù)中心控制客戶端和多點(diǎn)控制單元的用戶權(quán)限，客戶端接收會議服務(wù)中心的指令控制本地視頻、音頻和其他教學(xué)數(shù)據(jù)的發(fā)送和接收，多點(diǎn)控制單元接收會議服務(wù)中心的指令控制視頻、音頻和其他教學(xué)數(shù)據(jù)的轉(zhuǎn)發(fā)?？蛻舳嗽诘玫綍h服務(wù)中心的授權(quán)后，向多點(diǎn)控制單元發(fā)送本地的視頻、音頻和其他教學(xué)數(shù)據(jù)，并從多點(diǎn)控制單元接收其他客戶端的視頻、音頻和其他教學(xué)數(shù)據(jù)；多點(diǎn)控制單元根據(jù)會議服務(wù)中心提供的信息啟動視頻、音頻和其他教學(xué)數(shù)據(jù)轉(zhuǎn)發(fā)模塊和視頻轉(zhuǎn)換編碼引擎。
本發(fā)明主要包括以下的具體內(nèi)容
1、多媒體客戶端多媒體客戶端由事務(wù)管理模塊，視音頻處理模塊和應(yīng)用程序共享模塊三個(gè)部分組成。事務(wù)管理模塊通過窗口消息分別和視音頻處理模塊和應(yīng)用程序共享模塊相連。事務(wù)管理模塊與會議服務(wù)中心通過網(wǎng)絡(luò)服務(wù)相連，進(jìn)行狀態(tài)、控制信息的交互，并根據(jù)其交互結(jié)果發(fā)送窗口控制信息給視音頻處理模塊和應(yīng)用程序共享模塊，來控制視頻、音頻和應(yīng)用程序共享數(shù)據(jù)采集、編碼壓縮、組播、接收、解碼解壓縮和回放；視音頻處理模塊與本地的媒體設(shè)備相連，從中讀取視頻、音頻，根據(jù)事務(wù)管理模塊的指令選用適當(dāng)?shù)木幋a器和服務(wù)質(zhì)量控制參數(shù)把數(shù)據(jù)組播到本網(wǎng)段的多點(diǎn)控制單元或者單播到集中式多點(diǎn)控制單元，同時(shí)調(diào)用服務(wù)質(zhì)量控制器從本網(wǎng)段的多點(diǎn)控制單元或者集中式多點(diǎn)控制單元接收視頻、音頻數(shù)據(jù)，根據(jù)事務(wù)管理模塊的指令選用適當(dāng)?shù)慕獯a器來播放視頻、音頻；應(yīng)用程序共享模塊和顯卡以及內(nèi)存相連，根據(jù)事務(wù)管理模塊的指令選用適當(dāng)?shù)木幋a器和服務(wù)質(zhì)量控制參數(shù)把應(yīng)用程序共享數(shù)據(jù)組播到本網(wǎng)段的多點(diǎn)控制單元或者單播到集中式多點(diǎn)控制單元，同時(shí)調(diào)用服務(wù)質(zhì)量控制器從本網(wǎng)段的多點(diǎn)控制單元或者集中式多點(diǎn)控制單元接收應(yīng)用程序共享數(shù)據(jù)，根據(jù)事務(wù)管理模塊的指令選用適當(dāng)?shù)慕獯a器來播放應(yīng)用程序共享數(shù)據(jù)。
2、會議服務(wù)中心會議服務(wù)中心是整個(gè)系統(tǒng)的控制中心，由客戶端控制模塊、多點(diǎn)控制單元控制模塊和信息統(tǒng)計(jì)模塊三個(gè)部分組成。通過網(wǎng)絡(luò)服務(wù)調(diào)用與所有的多媒體客戶端、所有的多點(diǎn)控制單元相連，從而獲得整個(gè)系統(tǒng)最全面最完整的信息，并且提供接口供外部的日志分析、監(jiān)控和診斷模塊。它和客戶端通過網(wǎng)絡(luò)服務(wù)調(diào)用相連，控制客戶端的權(quán)限，確定多媒體客戶端的視頻、音頻和屏幕數(shù)據(jù)的采集參數(shù)，建議采用的編碼壓縮，解碼解壓縮參數(shù)，指導(dǎo)使用組播還是單播來收發(fā)數(shù)據(jù)。它和多點(diǎn)控制單元通過網(wǎng)絡(luò)服務(wù)調(diào)用相連，控制多點(diǎn)控制單元是否收發(fā)視頻、音頻和屏幕數(shù)據(jù)，確定從哪個(gè)網(wǎng)絡(luò)套接字收發(fā)視頻、音頻和屏幕數(shù)據(jù)的RTP/RTCP包，確定是否需要啟動視頻轉(zhuǎn)換引擎，設(shè)置視頻轉(zhuǎn)換引擎的編碼器和比特率參數(shù)。
3、多點(diǎn)控制單元多點(diǎn)控制單元是系統(tǒng)全部視頻、音頻和屏幕數(shù)據(jù)的交換中心，由多點(diǎn)控制器MC和多點(diǎn)處理器MP兩部分組成。多點(diǎn)控制器通過網(wǎng)絡(luò)服務(wù)調(diào)用與會議服務(wù)中心相連，接收會議服務(wù)中心的指令來控制多點(diǎn)處理器，多點(diǎn)處理器通過窗口消息和多點(diǎn)控制器相連，把收到的RTP/RTCP網(wǎng)絡(luò)狀態(tài)信息反饋給多點(diǎn)控制器。
多點(diǎn)控制器MC由多點(diǎn)交互控制模塊和服務(wù)質(zhì)量QoS參數(shù)控制模塊兩個(gè)部分組成。多點(diǎn)交互控制模塊通過窗口消息與多點(diǎn)處理器相連，控制視頻、音頻和應(yīng)用程序共享的收發(fā)權(quán)限，它還通過網(wǎng)絡(luò)服務(wù)調(diào)用與會議中心相連，生成當(dāng)前多點(diǎn)控制單元與其他客戶端和多點(diǎn)控制單元的連接狀態(tài)信息。QoS參數(shù)控制模塊和多點(diǎn)交互控制模塊通過窗口消息相連，根據(jù)多點(diǎn)交互控制模塊提供的當(dāng)前多點(diǎn)控制單元在網(wǎng)絡(luò)拓?fù)渲械慕巧臀恢眯畔⒖刂泼襟w流的QoS參數(shù)，將此參數(shù)通過窗口消息傳遞給多點(diǎn)處理器。
多點(diǎn)處理器MP由轉(zhuǎn)發(fā)器和視頻轉(zhuǎn)換編碼引擎兩個(gè)部分組成。轉(zhuǎn)發(fā)器通過窗口消息和視頻轉(zhuǎn)換編碼引擎相連，負(fù)責(zé)接收和轉(zhuǎn)發(fā)數(shù)據(jù)包，而不管數(shù)據(jù)包里面的數(shù)據(jù)類型、數(shù)據(jù)大小和數(shù)據(jù)內(nèi)容。視頻轉(zhuǎn)換編碼引擎和多點(diǎn)交互控制模塊以及QoS參數(shù)控制模塊通過窗口消息相連，根據(jù)獲得的多媒體客戶端的網(wǎng)絡(luò)狀況、是否支持組播和單播和設(shè)備的處理能力這些信息，把使用原始編碼器采用原始比特率編碼壓縮的視頻、音頻和應(yīng)用程序共享數(shù)據(jù)轉(zhuǎn)換為使用另外一種編碼器采用另外一個(gè)比特率編碼壓縮的視頻、音頻和屏幕數(shù)據(jù)。轉(zhuǎn)發(fā)器既轉(zhuǎn)發(fā)沒有經(jīng)過視頻轉(zhuǎn)換編碼引擎處理過的視頻、音頻和屏幕數(shù)據(jù)，也轉(zhuǎn)發(fā)經(jīng)過視頻轉(zhuǎn)換編碼引擎處理過的視頻、音頻和屏幕數(shù)據(jù)。
轉(zhuǎn)發(fā)器采用三種不同的轉(zhuǎn)發(fā)方式(1)單播<->單播轉(zhuǎn)發(fā)；(2)組播<->組播轉(zhuǎn)發(fā)；(3)單播<->組播轉(zhuǎn)發(fā)。每個(gè)轉(zhuǎn)發(fā)器通過調(diào)用會議服務(wù)中心的網(wǎng)絡(luò)服務(wù)來動態(tài)創(chuàng)建多個(gè)活動的會議室，每個(gè)會議室有1個(gè)組播地址和4個(gè)網(wǎng)絡(luò)套接字(2個(gè)組播網(wǎng)絡(luò)套接字和2個(gè)單播轉(zhuǎn)發(fā)網(wǎng)絡(luò)套接字)。
視頻轉(zhuǎn)換編碼引擎參考了“MPEG-7轉(zhuǎn)換編碼提示”中的效用伸縮描述參數(shù)、抽取運(yùn)動提示參數(shù)、難度提示參數(shù)和重要性提示參數(shù)，使用分層編碼來轉(zhuǎn)換、編碼多媒體數(shù)據(jù)，采用普通計(jì)算機(jī)和手持設(shè)備作為多媒體客戶端使用以太網(wǎng)和無線網(wǎng)絡(luò)連入遠(yuǎn)程教學(xué)多模式實(shí)時(shí)多媒體交互系統(tǒng)，支持9.6kbps到768kbps范圍的分層編碼，滿足了不同網(wǎng)絡(luò)、不同設(shè)備、不同處理器、不同操作系統(tǒng)的個(gè)性化的多媒體訪問需求。
多點(diǎn)控制單元采用分布式MCU和集中式MCU相結(jié)合的混合模型。多媒體客戶端根據(jù)會議服務(wù)中心的控制信息智能地選擇和切換本地的多點(diǎn)控制單元或者中央集中式的多點(diǎn)控制單元(客戶端在不支持組播協(xié)議的情況下使用，例如ADSL網(wǎng)絡(luò)連接使用的PPP協(xié)議)。分布式多點(diǎn)控制單元的跨網(wǎng)段傳輸機(jī)制是指系統(tǒng)所分布的每個(gè)組播網(wǎng)段都存在一個(gè)多點(diǎn)控制單元節(jié)點(diǎn)，各客戶端通過組播連接本地多點(diǎn)控制單元，各個(gè)多點(diǎn)控制單元之間通過單播連接來轉(zhuǎn)發(fā)數(shù)據(jù)，該機(jī)制實(shí)現(xiàn)了廣域網(wǎng)上視頻、音頻和應(yīng)用程序共享的組播傳輸，有效提高了網(wǎng)絡(luò)帶寬利用率，使得系統(tǒng)具有良好的可擴(kuò)展性。集中式多點(diǎn)控制單元機(jī)制是指整個(gè)系統(tǒng)只存在一個(gè)多點(diǎn)控制單元節(jié)點(diǎn)，各客戶端通過單播連接它，它適合于一些不支持組播的環(huán)境，例如ADSL網(wǎng)絡(luò)連接使用的PPP協(xié)議。通過分布式MCU機(jī)制和集中式MCU機(jī)制相結(jié)合的模型，遠(yuǎn)程教學(xué)多模式實(shí)時(shí)多媒體交互系統(tǒng)通過這種混合模型，既減少了延時(shí)、提高了網(wǎng)絡(luò)帶寬利用率、服務(wù)質(zhì)量和系統(tǒng)的可擴(kuò)展性，又避免了一些不支持組播的客戶端不能連接的問題。
因?yàn)槎帱c(diǎn)控制單元是系統(tǒng)全部視頻、音頻和屏幕數(shù)據(jù)的交換中心，因此其把實(shí)時(shí)接收到的各個(gè)多媒體客戶端發(fā)送出來的視頻、音頻和應(yīng)用程序共享數(shù)據(jù)以及經(jīng)過自己的視頻編碼轉(zhuǎn)換引擎處理過的數(shù)據(jù)錄制成流媒體文件。生成的流媒體文件使用IMS、SCORM標(biāo)準(zhǔn)包裝，并且通過與數(shù)據(jù)分析中心的配合，使其具有智能化多媒體數(shù)據(jù)挖掘分析等功能，為教學(xué)創(chuàng)造一個(gè)科學(xué)的貼近自然的培訓(xùn)環(huán)境。
圖2為本發(fā)明的客戶端工作機(jī)制示意圖。
圖3為本發(fā)明的視頻、音頻和應(yīng)用程序共享所使用的RTP包示意圖。
圖4為本發(fā)明的視頻、音頻和應(yīng)用程序共享所使用的緩沖區(qū)處理流程示意圖。
圖5為本發(fā)明的會議服務(wù)中心工作機(jī)制示意圖。
圖6為本發(fā)明的多點(diǎn)控制單元MCU結(jié)構(gòu)圖。
圖7為本發(fā)明的MCU的轉(zhuǎn)發(fā)器模塊工作機(jī)制示意圖。
圖8為本發(fā)明的MCU的視頻轉(zhuǎn)換編碼引擎工作機(jī)制示意圖。
圖9為本發(fā)明的MCU的視頻轉(zhuǎn)換編碼引擎使用的分層可擴(kuò)展性編碼工作機(jī)制示意圖。
本發(fā)明的遠(yuǎn)程教學(xué)多模式實(shí)時(shí)多媒體交互系統(tǒng)是一個(gè)面向?qū)崟r(shí)網(wǎng)絡(luò)教學(xué)的分布式多媒體應(yīng)用系統(tǒng)。從物理分布上可分為多媒體客戶端，會議服務(wù)中心和多點(diǎn)控制單元三個(gè)部分。系統(tǒng)結(jié)構(gòu)如

圖1所示，圖1中描述了本發(fā)明實(shí)際運(yùn)行系統(tǒng)的結(jié)構(gòu)以及模塊間的連接關(guān)系。會議服務(wù)中心分別和多媒體客戶端和多點(diǎn)控制單元通過網(wǎng)絡(luò)服務(wù)調(diào)用相連，多媒體客戶端和多點(diǎn)控制單元通過RTP/RTCP協(xié)議相連。會議服務(wù)中心控制客戶端和多點(diǎn)控制單元的用戶權(quán)限，客戶端接收會議服務(wù)中心的指令控制本地的視頻、音頻和其他教學(xué)數(shù)據(jù)的發(fā)送和接收，多點(diǎn)控制單元接收會議服務(wù)中心的指令控制視頻、音頻和其他教學(xué)數(shù)據(jù)的轉(zhuǎn)發(fā)?？蛻舳嗽诘玫綍h服務(wù)中心的授權(quán)后，向多點(diǎn)控制單元發(fā)送本地的視頻、音頻和其他教學(xué)數(shù)據(jù)，并從多點(diǎn)控制單元接收其他客戶端的視頻、音頻和其他教學(xué)數(shù)據(jù)；多點(diǎn)控制單元根據(jù)會議服務(wù)中心提供的信息啟動視頻、音頻和其他教學(xué)數(shù)據(jù)轉(zhuǎn)發(fā)模塊和視頻轉(zhuǎn)換編碼引擎。
以下分別對本發(fā)明的各個(gè)子系統(tǒng)(包括多媒體客戶端子系統(tǒng)，會議服務(wù)中心子系統(tǒng)和多點(diǎn)控制單元子系統(tǒng)) 的工作機(jī)制進(jìn)行說明。多媒體客戶端工作機(jī)制多媒體客戶端的工作機(jī)制如圖2所示，由事務(wù)管理模塊，視音頻處理模塊和應(yīng)用程序共享模塊三個(gè)部分組成。事務(wù)管理模塊通過窗口消息和視音頻處理模塊以及應(yīng)用程序共享模塊相連。事務(wù)管理模塊與會議服務(wù)中心通過網(wǎng)絡(luò)服務(wù)相連，進(jìn)行狀態(tài)、控制信息的交互，并根據(jù)其交互結(jié)果發(fā)送窗口控制消息給視音頻處理模塊和應(yīng)用程序共享模塊，來控制視頻、音頻和應(yīng)用程序共享數(shù)據(jù)采集、編碼壓縮、組播、接收、解碼解壓縮和回放；視音頻處理模塊與本地的媒體設(shè)備相連，從中讀取視頻、音頻，根據(jù)事務(wù)管理模塊的指令選用適當(dāng)?shù)木幋a器和QoS控制參數(shù)把數(shù)據(jù)組播到本網(wǎng)段的MCU或者單播到集中式MCU，同時(shí)調(diào)用QoS控制器從本網(wǎng)段的MCU或者集中式MCU接收視頻、音頻數(shù)據(jù)，根據(jù)事務(wù)管理模塊的指令選用適當(dāng)?shù)慕獯a器來播放視頻、音頻；應(yīng)用程序共享模塊和顯卡以及內(nèi)存相連，根據(jù)事務(wù)管理模塊的指令選用適當(dāng)?shù)木幋a器和QoS控制參數(shù)把應(yīng)用程序共享數(shù)據(jù)組播到本網(wǎng)段的MCU或者單播到集中式MCU，同時(shí)調(diào)用QoS控制器從本網(wǎng)段的MCU或者集中式MCU接收應(yīng)用程序共享數(shù)據(jù)，根據(jù)事務(wù)管理模塊的指令選用適當(dāng)?shù)慕獯a器來播放應(yīng)用程序共享數(shù)據(jù)。
本發(fā)明封裝應(yīng)用程序共享模塊為一個(gè)Microsoft DirectShow Filter形式的MPEG-4編碼解碼器，并支持組播和單播方式發(fā)送和接收數(shù)據(jù)。
視頻、音頻和應(yīng)用程序共享數(shù)據(jù)處理模塊使用的RTP包如圖3所示，對于視頻、音頻和應(yīng)用程序共享，使用不同的AM_MEDIA_TYPE來標(biāo)記其格式，使用DirectShow技術(shù)統(tǒng)一調(diào)用視頻、音頻和應(yīng)用程序共享各自的Directshow Filter，其視頻、音頻和應(yīng)用程序共享數(shù)據(jù)緩沖區(qū)中轉(zhuǎn)流程如圖4所示。會議服務(wù)中心工作機(jī)制會議服務(wù)中心是整個(gè)系統(tǒng)的控制中心，由客戶端控制模塊、多點(diǎn)控制單元控制模塊和信息統(tǒng)計(jì)模塊三個(gè)部分組成，其工作機(jī)制如圖5所示。會議服務(wù)中心通過網(wǎng)絡(luò)服務(wù)調(diào)用與所有的多媒體客戶端、所有的多點(diǎn)控制單元相連，從而獲得整個(gè)系統(tǒng)最全面最完整的信息，并且提供接口供外部的日志分析、監(jiān)控和診斷模塊。它和客戶端通過網(wǎng)絡(luò)服務(wù)調(diào)用相連，控制客戶端的權(quán)限，確定多媒體客戶端的視頻、音頻和屏幕數(shù)據(jù)的采集參數(shù)，建議采用的編碼壓縮，解碼解壓縮參數(shù)，指導(dǎo)使用組播還是單播來收發(fā)數(shù)據(jù)。它和多點(diǎn)控制單元通過網(wǎng)絡(luò)服務(wù)調(diào)用相連，控制多點(diǎn)控制單元是否收發(fā)視頻、音頻和屏幕數(shù)據(jù)，確定從哪個(gè)網(wǎng)絡(luò)套接字收發(fā)視頻、音頻和屏幕數(shù)據(jù)的RTP/RTCP包，確定是否需要啟動視頻轉(zhuǎn)換引擎，設(shè)置視頻轉(zhuǎn)換引擎的編碼器和比特率參數(shù)。多點(diǎn)控制單元工作機(jī)制多點(diǎn)控制單元是系統(tǒng)全部視頻、音頻和屏幕數(shù)據(jù)的交換中心，由多點(diǎn)控制器和多點(diǎn)處理器兩部分組成，其系統(tǒng)結(jié)構(gòu)如圖6所示。多點(diǎn)控制器通過網(wǎng)絡(luò)服務(wù)調(diào)用與會議服務(wù)中心相連，接收會議服務(wù)中心的指令來控制多點(diǎn)處理器，多點(diǎn)處理器通過窗口消息和多點(diǎn)控制器相連，把收到的RTP/RTCP網(wǎng)絡(luò)狀態(tài)信息反饋給多點(diǎn)控制器。
多點(diǎn)控制器由多點(diǎn)交互控制模塊和服務(wù)質(zhì)量參數(shù)控制模塊組成。多點(diǎn)交互控制模塊通過窗口消息與多點(diǎn)處理器相連，控制視頻、音頻和應(yīng)用程序共享的收發(fā)權(quán)限，它還通過網(wǎng)絡(luò)服務(wù)調(diào)用與會議中心相連，得到與客戶端以及其他多點(diǎn)控制單元的連接狀態(tài)信息。服務(wù)質(zhì)量參數(shù)控制模塊和多點(diǎn)交互控制模塊通過窗口消息相連，根據(jù)多點(diǎn)交互控制模塊提供的當(dāng)前多點(diǎn)控制單元在網(wǎng)絡(luò)拓?fù)渲械慕巧臀恢眯畔⒖刂泼襟w流的服務(wù)質(zhì)量參數(shù)，將此參數(shù)通過窗口消息傳遞給多點(diǎn)處理器。
多點(diǎn)處理器由轉(zhuǎn)發(fā)器和視頻轉(zhuǎn)換編碼引擎兩個(gè)部分組成。轉(zhuǎn)發(fā)器通過窗口消息和視頻轉(zhuǎn)換編碼引擎相連，負(fù)責(zé)接收和轉(zhuǎn)發(fā)數(shù)據(jù)包，而不管數(shù)據(jù)包里面的數(shù)據(jù)類型、數(shù)據(jù)大小和數(shù)據(jù)內(nèi)容。視頻轉(zhuǎn)換編碼引擎負(fù)責(zé)分別和多點(diǎn)交互控制模塊以及服務(wù)質(zhì)量參數(shù)控制模塊通過窗口消息相連，根據(jù)獲得的多媒體客戶端的網(wǎng)絡(luò)狀況、是否支持組播和單播和設(shè)備的處理能力這些信息，把原來的使用某種編碼器采用某個(gè)比特率編碼壓縮的視頻、音頻和屏幕數(shù)據(jù)轉(zhuǎn)換為使用另外一種編碼器采用另外一個(gè)比特率編碼壓縮的視頻、音頻和屏幕數(shù)據(jù)。轉(zhuǎn)發(fā)器既轉(zhuǎn)發(fā)沒有經(jīng)過視頻轉(zhuǎn)換編碼引擎處理過的視頻、音頻和屏幕數(shù)據(jù)，也轉(zhuǎn)發(fā)經(jīng)過視頻轉(zhuǎn)換編碼引擎處理過的視頻、音頻和屏幕數(shù)據(jù)。
轉(zhuǎn)發(fā)器采用三種不同的轉(zhuǎn)發(fā)方式(1)單播<->單播轉(zhuǎn)發(fā)；(2)單播<->組播轉(zhuǎn)發(fā)；(3)組播<->組播轉(zhuǎn)發(fā)。其3種不同的工作機(jī)制如圖7所示，每個(gè)轉(zhuǎn)發(fā)器通過調(diào)用會議服務(wù)中心的網(wǎng)絡(luò)服務(wù)來動態(tài)創(chuàng)建多個(gè)活動的會議室，每個(gè)會議室有1個(gè)組播地址和4個(gè)網(wǎng)絡(luò)套接字(2個(gè)組播網(wǎng)絡(luò)套接字和2個(gè)單播轉(zhuǎn)發(fā)網(wǎng)絡(luò)套接字)。
視頻轉(zhuǎn)換編碼引擎的工作機(jī)制如圖8所示，它參考了MPEG-7轉(zhuǎn)換編碼提示的效用伸縮描述模式、運(yùn)動提示描述模式、難度提示描述模式和重要性提示屬性。首先使用MPEG-7轉(zhuǎn)換編碼提示參數(shù)配置工具設(shè)置轉(zhuǎn)換編碼參數(shù)；其次把原始碼率的視頻流數(shù)據(jù)通過相應(yīng)的解碼器解碼得到未壓縮過的視頻流數(shù)據(jù)；然后調(diào)用自適應(yīng)的MPEG-4編碼器使用質(zhì)量可擴(kuò)展的分層編碼算法重新編碼，得到重編碼碼率的視頻流。
視頻轉(zhuǎn)換編碼引擎包含一個(gè)MPEG-7轉(zhuǎn)換編碼提示參數(shù)配置工具，它從已有的視頻文件中抽取出來的運(yùn)動提示參數(shù)、難度提示參數(shù)和重要性提示參數(shù)，通過調(diào)用會議服務(wù)中心的網(wǎng)絡(luò)服務(wù)，自動地調(diào)整或者手動配置參數(shù)。視頻轉(zhuǎn)換編碼引擎根據(jù)參數(shù)配置工具生成的MPEG-7轉(zhuǎn)換編碼提示來對多媒體內(nèi)容進(jìn)行相應(yīng)的處理。
視頻轉(zhuǎn)換編碼引擎使用分層可擴(kuò)展性編碼技術(shù)來支持9.6kbps到768kbps范圍的不同帶寬，滿足不同網(wǎng)絡(luò)、不同設(shè)備、不同處理器、不同操作系統(tǒng)的個(gè)性化的多媒體訪問需求。本發(fā)明采用質(zhì)量可擴(kuò)展性分層編碼，其工作機(jī)制如圖9所示，對原始視頻進(jìn)行一次很粗的量化形成基本層碼流，然后對原始視頻和基本層視頻的差再進(jìn)行一次量化，生成增強(qiáng)層碼流，如果有多個(gè)增強(qiáng)層碼流則重復(fù)上面的過程。發(fā)送端通過網(wǎng)絡(luò)把基本層碼流和多個(gè)增強(qiáng)層碼流發(fā)送出去；接收端根據(jù)自己的網(wǎng)絡(luò)帶寬和處理器能力選擇接收相應(yīng)的基本層碼流和多個(gè)增強(qiáng)層碼流，然后通過分層編碼解碼器重構(gòu)原始視頻數(shù)據(jù)。本發(fā)明實(shí)現(xiàn)了三層碼流第一層是使用二進(jìn)制視頻編碼來產(chǎn)生9.6kbps的基本層碼流，滿足使用“通用分組無線業(yè)務(wù)GPRS”網(wǎng)絡(luò)的手持設(shè)備用戶； 第二層是增強(qiáng)層1，使用MPEG-4編碼器得到128kbps的視頻流，滿足使用無線局域網(wǎng)的手持設(shè)備用戶和帶寬比較窄的計(jì)算機(jī)用戶；第三層是增強(qiáng)層2，使用MPEG-4編碼器得到768kbps的視頻流，提供最高的視頻質(zhì)量，滿足擁有最高帶寬和最高處理能力的用戶。
權(quán)利要求
1.一種遠(yuǎn)程教學(xué)多模式實(shí)時(shí)多媒體交互系統(tǒng)，其特征在于由多媒體客戶端，會議服務(wù)中心和多點(diǎn)控制單元組成，會議服務(wù)中心分別和多媒體客戶端和多點(diǎn)控制單元通過網(wǎng)絡(luò)服務(wù)調(diào)用相連，多媒體客戶端和多點(diǎn)控制單元通過實(shí)時(shí)傳輸RTP/實(shí)時(shí)控制RTCP協(xié)議相連，會議服務(wù)中心控制客戶端和多點(diǎn)控制單元的用戶權(quán)限，客戶端接收會議服務(wù)中心的指令控制本地的視頻、音頻和其他教學(xué)數(shù)據(jù)的發(fā)送和接收，多點(diǎn)控制單元接收會議服務(wù)中心的指令控制視頻、音頻和其他教學(xué)數(shù)據(jù)的轉(zhuǎn)發(fā)，客戶端在得到會議服務(wù)中心的授權(quán)后，向多點(diǎn)控制單元發(fā)送本地的視頻、音頻和其他教學(xué)數(shù)據(jù)，并從多點(diǎn)控制單元接收其他客戶端的視頻、音頻和其他教學(xué)數(shù)據(jù)；多點(diǎn)控制單元根據(jù)會議服務(wù)中心提供的信息啟動視頻、音頻和其他教學(xué)數(shù)據(jù)轉(zhuǎn)發(fā)模塊和視頻轉(zhuǎn)換編碼引擎。
2.如權(quán)利要求1所說的遠(yuǎn)程教學(xué)多模式實(shí)時(shí)多媒體交互系統(tǒng)，其特征在于多媒體客戶端由事務(wù)管理模塊，視音頻處理模塊和應(yīng)用程序共享模塊三個(gè)部分組成，事務(wù)管理模塊與會議服務(wù)中心通過網(wǎng)絡(luò)服務(wù)相連，進(jìn)行狀態(tài)、控制信息的交互，并根據(jù)其交互結(jié)果發(fā)送窗口控制信息給視音頻處理模塊和應(yīng)用程序共享模塊。
3.如權(quán)利要求1所說的遠(yuǎn)程教學(xué)多模式實(shí)時(shí)多媒體交互系統(tǒng)，其特征在于會議服務(wù)中心由客戶端控制模塊、多點(diǎn)控制單元控制模塊和信息統(tǒng)計(jì)模塊三個(gè)部分組成，通過網(wǎng)絡(luò)服務(wù)調(diào)用與所有的多媒體客戶端及多點(diǎn)控制單元相連。
4.如權(quán)利要求1所說的遠(yuǎn)程教學(xué)多模式實(shí)時(shí)多媒體交互系統(tǒng)，其特征在于多點(diǎn)控制單元采用分布式和集中式相結(jié)合的混合模型，由多點(diǎn)控制器MC和多點(diǎn)處理器MP兩部分組成，多點(diǎn)控制器通過網(wǎng)絡(luò)服務(wù)調(diào)用與會議服務(wù)中心相連，接收會議服務(wù)中心的指令來控制多點(diǎn)處理器，多點(diǎn)處理器通過窗口消息和多點(diǎn)控制器相連，把收到的RTP/RTCP網(wǎng)絡(luò)狀態(tài)信息反饋給多點(diǎn)控制器。
5.如權(quán)利要求4所說的遠(yuǎn)程教學(xué)多模式實(shí)時(shí)多媒體交互系統(tǒng)，其特征在于多點(diǎn)控制器MC由多點(diǎn)交互控制模塊和服務(wù)質(zhì)量參數(shù)控制模塊組成，多點(diǎn)交互控制模塊通過窗口消息與多點(diǎn)處理器相連，控制視頻、音頻和應(yīng)用程序共享的收發(fā)權(quán)限，通過網(wǎng)絡(luò)服務(wù)調(diào)用與會議中心相連，生成當(dāng)前多點(diǎn)控制單元與其他客戶端和多點(diǎn)控制單元的連接狀態(tài)信息，服務(wù)質(zhì)量參數(shù)控制模塊和多點(diǎn)交互控制模塊通過窗口消息相連，根據(jù)多點(diǎn)交互控制模塊提供的當(dāng)前多點(diǎn)控制單元在網(wǎng)絡(luò)拓?fù)渲械慕巧臀恢眯畔⒖刂泼襟w流的服務(wù)質(zhì)量參數(shù)，將此參數(shù)通過窗口消息傳遞給多點(diǎn)處理器，多點(diǎn)處理器由轉(zhuǎn)發(fā)器和視頻轉(zhuǎn)換編碼引擎兩個(gè)部分組成，轉(zhuǎn)發(fā)器通過窗口消息和視頻轉(zhuǎn)換編碼引擎相連，負(fù)責(zé)接收和轉(zhuǎn)發(fā)數(shù)據(jù)包，視頻轉(zhuǎn)換編碼引擎和多點(diǎn)交互控制模塊及服務(wù)質(zhì)量參數(shù)控制模塊通過窗口消息相連。
6.如權(quán)利要求5所說的遠(yuǎn)程教學(xué)多模式實(shí)時(shí)多媒體交互系統(tǒng)，其特征在于視頻轉(zhuǎn)換編碼引擎使用MPEG-7轉(zhuǎn)換編碼提示參數(shù)配置工具設(shè)置轉(zhuǎn)換編碼參數(shù)，把原始碼率的視頻流數(shù)據(jù)通過相應(yīng)的解碼器解碼得到未壓縮過的視頻流數(shù)據(jù)，然后調(diào)用自適應(yīng)的MPEG-4編碼器使用質(zhì)量可擴(kuò)展的分層編碼算法重新編碼，得到重編碼碼率的視頻流。
全文摘要
一種遠(yuǎn)程教學(xué)多模式實(shí)時(shí)多媒體交互系統(tǒng)，由多媒體客戶端、會議服務(wù)中心和多點(diǎn)控制單元組成。多媒體客戶端在得到會議服務(wù)中心的授權(quán)后，向多點(diǎn)控制單元發(fā)送本地的視頻、音頻和應(yīng)用程序共享數(shù)據(jù)，并從多點(diǎn)控制單元接收其他客戶端的視頻、音頻和應(yīng)用程序共享數(shù)據(jù)；會議服務(wù)中心控制客戶端和多點(diǎn)控制單元的用戶權(quán)限，協(xié)調(diào)多個(gè)客戶端和多個(gè)多點(diǎn)控制單元；多點(diǎn)控制單元根據(jù)會議服務(wù)中心提供的信息啟動視頻、音頻和應(yīng)用程序共享數(shù)據(jù)轉(zhuǎn)發(fā)模塊和視頻轉(zhuǎn)換編碼引擎。本發(fā)明能通過遠(yuǎn)程教學(xué)現(xiàn)場的多媒體錄制和網(wǎng)絡(luò)傳輸，實(shí)現(xiàn)遠(yuǎn)程教學(xué)全部現(xiàn)場的直播和師生間的多模式實(shí)時(shí)多媒體交互。
文檔編號H04L12/16GK1474540SQ0311679
公開日2004年2月11日 申請日期2003年5月8日 優(yōu)先權(quán)日2003年5月8日
發(fā)明者申瑞民, 謝波, 王加俊 申請人:上海交通大學(xué)