本發(fā)明涉及云計算技術領域，尤其涉及一種將桌面云終端的音頻、視頻數(shù)據(jù)實時傳輸?shù)教摂M機的方法及系統(tǒng)。

背景技術：

在桌面云技術及應用領域，虛擬機運行在遠程服務器上，將桌面圖像和音頻數(shù)據(jù)傳輸?shù)浇K端設備(例如PC、瘦客戶端、移動終端等)上。終端設備輸出桌面圖像和音頻信號，同時采集終端設備的外設事件(例如敲擊鍵盤、移動鼠標等)并反饋到遠程服務器的虛擬機上，更新后的桌面圖像和音頻數(shù)據(jù)繼續(xù)傳輸?shù)浇K端設備。

桌面云終端的外部設備除了圖像顯示、音頻播放等輸出設備之外，還有攝像頭、錄音、鍵盤、鼠標等輸入設備。這些輸入設備直接連接在桌面云終端上，與遠程服務器上的虛擬機沒有直接的物理連接。為了使桌面云提供最真實的PC用戶體驗，桌面云終端必須將輸入設備的數(shù)據(jù)實時傳輸?shù)教摂M機。桌面云終端的攝像頭、錄音設備產生音頻、視頻數(shù)據(jù)，這些數(shù)據(jù)的量很大，實時性要求高，對用戶體驗影響大，因此需要著重解決桌面云終端音頻、視頻數(shù)據(jù)向虛擬機實時傳輸?shù)膯栴}。

針對這個問題，現(xiàn)有的技術方案主要是在終端設備與虛擬機(或者遠程服務器)之間建立網(wǎng)絡連接，傳輸視頻和音頻數(shù)據(jù)。具體的技術手段有很多種，例如在虛擬機(或者遠程服務器)內部安裝數(shù)據(jù)通信軟件，接收遠程終端的數(shù)據(jù)，這種技術手段依賴于具體的虛擬機(或者遠程服務器)的操作系統(tǒng)。也有一些技術手段在遠程服務器上虛擬出USB設備，采用RDP、ICA、PCoIP等通信協(xié)議實現(xiàn)遠程終端與遠程服務器的數(shù)據(jù)通信。由于音頻、視頻的數(shù)據(jù)量大，為提高實時性，音視頻數(shù)據(jù)失真嚴重；為提高音視頻質量，實時性便會降低。

現(xiàn)有專利技術如下：

“一種電腦接收帶攝像頭手機輸入視頻數(shù)據(jù)的方法及系統(tǒng)”(CN100383769C)公布了一種在PC機上使用手機攝像頭的方法和系統(tǒng)。在該系統(tǒng)中，手機直接連接到PC機，在PC機上安裝虛擬攝像頭，獲取手機攝像頭的視頻數(shù)據(jù)。該方法和系統(tǒng)不能處理手機上的音頻數(shù)據(jù)。

“基于VOIP話機的虛擬USB聲卡創(chuàng)建方法”(CN103873711A)在Windows上創(chuàng)建虛擬USB聲卡，通過虛擬聲卡和網(wǎng)絡與VOIP話機交換音頻數(shù)據(jù)。該方法不能處理視頻數(shù)據(jù)。

部分外部設備沒有USB接口，通過耳機口或dock接口與移動設備連接，無法通過USB接口與PC主機連接?！耙环N遠程通信方法和系統(tǒng)”(CN103823771A)提出了一種將此類外部設備映射到PC主機的方法和系統(tǒng)(第[0005]段)。該方法需要在PC的Windows上安裝計算機軟件，而且不能處理音頻和視頻數(shù)據(jù)，不適用于虛擬機環(huán)境的操作系統(tǒng)。

“一種虛擬USB總線的實現(xiàn)方法”(CN103312781A)提供了一種將服務器USB設備映射到遠程客戶端的方法，在客戶端上使用服務器上的USB設備。

“一種移動終端USB虛擬化映射方法”(CN102882871A)將移動終端的物理USB設備映射到遠程服務器上的虛擬USB設備，使得服務器能夠操作移動終端上的USB設備。

“基于桌面虛擬化技術的打印機映射方法及系統(tǒng)”(CN104394290A)將終端設備的打印機映射到虛擬機的虛擬設備上，虛擬機向終端設備發(fā)出打印指令，完成打印操作。這種方法能夠在諸多虛擬機中共享終端設備的打印機。類似的，“基于桌面虛擬化技術的存儲設備映射方法及系統(tǒng)”(CN104881315A)將終端存儲設備映射到虛擬機。諸多虛擬機在使用終端存儲設備時，存在訪問沖突的問題。

“一種移動設備上的傳感器在虛擬機中的使用方法及系統(tǒng)”(CN104199720A)提供一種移動設備與虛擬機之間傳輸傳感器數(shù)據(jù)的方法，虛擬機接收到傳感器數(shù)據(jù)之后進行相應的數(shù)據(jù)處理計算。

“面向虛擬機的USB設備遠程共享方法和系統(tǒng)”(CN102523264B)提供一種客戶端主機USB設備遠程共享的方法，在虛擬機上使用客戶端主機的USB盤、USB打印機等外部設備(第[0005]段)。

“一種通信模塊、遠程監(jiān)控系統(tǒng)和遠程監(jiān)控終端”(CN102143144B)提供一種通信模塊，獲取遠程攝像頭的音頻、視頻數(shù)據(jù)，并傳輸?shù)奖O(jiān)控終端。

“VDI虛擬桌面中無縫使用云終端本地攝像頭的方法”(CN103533034A)公布了一種虛擬機使用終端攝像頭的方法。該方法的虛擬機采用Windows，安裝有重定向服務端，接受終端攝像頭的圖像數(shù)據(jù)并顯示。該方法依賴具體的操作系統(tǒng)，即Windows；必須在虛擬機中安裝服務端軟件；不能處理終端的音頻數(shù)據(jù)。類似的，“基于虛擬設備的攝像頭映射方法”(CN104199723A)在Windows上安裝虛擬攝像頭，采用云桌面協(xié)議(如RDP、ICA、PCoIP等)將終端攝像頭的圖像數(shù)據(jù)傳輸?shù)絎indows的虛擬攝像頭?！皯糜谔摂M桌面環(huán)境的攝像頭視頻處理方法和相應設備”(CN 104301687A)在虛擬機安裝“視頻業(yè)務專用接口”，來自客戶機的視頻圖像僅能用于虛擬機的“攝像頭視頻應用模塊”(第[0045]段、圖3和圖8)，不能用于虛擬機內部其他的應用軟件(例如即時通信軟件等)。

“基于虛擬化桌面環(huán)境的全雙工音頻傳輸系統(tǒng)及方法”(CN104410664A)提供了一種虛擬機使用終端音頻設備的方法，實現(xiàn)虛擬機與終端之間的音頻通信。類似的，還有“基于虛擬化桌面的耳麥虛擬化實現(xiàn)系統(tǒng)及其音頻傳輸方法”(CN104391672A)。

“一種基于虛擬機的應用數(shù)據(jù)提供方法、裝置及系統(tǒng)”(CN102917246B)解決的問題是將虛擬機的圖像數(shù)據(jù)和音頻數(shù)據(jù)傳輸?shù)娇蛻艚K端([第0012段])，技術手段是在服務器上設置采集模塊、編碼模塊和發(fā)送模塊(圖1和圖2)，其功能類似于RDP、ICA、PCoIP等遠程桌面協(xié)議。

“計算機共享平臺中音頻數(shù)據(jù)的提供方法及裝置”(CN103294444B)在多用戶共享同一臺計算機時，提供一種互不干擾的方法實現(xiàn)多用戶錄音和音頻播放功能。該方法及裝置不能處理終端視頻圖像，不適應于虛擬機環(huán)境。

手機、平板電腦等移動終端亦可作為桌面云終端。目前移動終端音視頻數(shù)據(jù)處理的專利技術主要集中在直播應用方面，例如“移動終端向互聯(lián)網(wǎng)以及移動互聯(lián)網(wǎng)進行視頻直播的方法”(CN 102811373A)、“支持圖片直播模式的移動終端、視頻直播方法及系統(tǒng)”(CN 102378001A)等。

技術實現(xiàn)要素：

為解決上述技術問題，本發(fā)明的目的是提供一種實時處理桌面云終端音視頻數(shù)據(jù)并傳輸?shù)教摂M機的方法及系統(tǒng)，縮短桌面云終端音視頻數(shù)據(jù)傳輸延時的同時提高音視頻數(shù)據(jù)的質量。

本發(fā)明的目的通過以下的技術方案來實現(xiàn)：

一種桌面云終端音視頻數(shù)據(jù)實時處理方法，包括：

在桌面云終端采集攝像頭、錄音設備的圖像和音頻數(shù)據(jù)；

通過桌面云終端的流媒體服務器將圖像和音頻數(shù)據(jù)編碼成流媒體格式數(shù)據(jù)，并輸出；

桌面云平臺獲取流媒體格式數(shù)據(jù)并解碼獲得圖像和音頻數(shù)據(jù)；

將解碼后的圖像數(shù)據(jù)傳輸?shù)教摂MUSB攝像頭，并保存；將解碼后的音頻數(shù)據(jù)傳輸?shù)教摂MUSB聲卡，并保存；

將所述虛擬USB攝像頭存儲的圖像數(shù)據(jù)和虛擬USB聲卡存儲的音頻數(shù)據(jù)傳輸?shù)教摂M機，供虛擬機操作系統(tǒng)應用軟件使用。

一種桌面云終端音視頻數(shù)據(jù)實時處理系統(tǒng)，包括：終端采集模塊、流媒體服務器模塊、控制模塊、流媒體采集模塊、解碼模塊、虛擬USB攝像頭、虛擬USB聲卡和通信模塊；所述

終端采集模塊，采集桌面云終端攝像頭的圖像和音頻設備的音頻數(shù)據(jù)；

流媒體服務器模塊，將圖像和音頻數(shù)據(jù)編碼成流媒體格式數(shù)據(jù)；

控制模塊，用于啟動或關閉終端采集模塊和流媒體服務器模塊，向通信模塊發(fā)出指令和參數(shù)；

流媒體采集模塊，用于獲取流媒體服務器模塊的流媒體格式數(shù)據(jù)；

解碼模塊，從流媒體格式數(shù)據(jù)中解碼出圖像和音頻數(shù)據(jù)，并將解碼后的圖像數(shù)據(jù)傳輸?shù)教摂MUSB攝像頭及解碼后的音頻數(shù)據(jù)傳輸?shù)教摂MUSB聲卡；

虛擬USB攝像頭，用于存儲解碼后的圖像數(shù)據(jù)；

虛擬USB聲卡，用于存儲解碼后的音頻數(shù)據(jù)；

通信模塊，用于接收控制模塊的參數(shù)和指令，啟動或關閉流媒體采集模塊、解碼模塊、虛擬USB攝像頭和虛擬USB聲卡。

與現(xiàn)有技術相比，本發(fā)明的一個或多個實施例可以具有如下優(yōu)點：

1、在桌面云終端采集攝像頭、錄音設備的圖像和音頻數(shù)據(jù)并編碼成流媒體數(shù)據(jù)，能夠緩解桌面云平臺的服務器壓力。

2、采用流媒體技術傳輸視頻和音頻數(shù)據(jù)，能夠減少桌面云的數(shù)據(jù)傳輸量，提高音視頻數(shù)據(jù)質量，縮短數(shù)據(jù)傳輸?shù)难訒r，提高實時性。

3、虛擬USB攝像頭和虛擬USB聲卡與虛擬機的操作系統(tǒng)無關，無需在虛擬機操作系統(tǒng)安裝額外的軟件，支持更多的虛擬機操作系統(tǒng)。虛擬機操作系統(tǒng)上的任何應用軟件都可以使用虛擬USB攝像頭的圖像和虛擬USB聲卡的音頻數(shù)據(jù)。

4、虛擬USB攝像頭和虛擬USB聲卡按需分配，能夠提高服務器的資源利用率，減輕服務器的負載。

附圖說明

圖1是桌面云終端音視頻數(shù)據(jù)實時處理的實現(xiàn)方法流程圖；

圖2是桌面云終端音視頻數(shù)據(jù)實時處理系統(tǒng)的總體系統(tǒng)結構圖；

圖3是多個桌面云終端音視頻數(shù)據(jù)實時處理系統(tǒng)的一個實施例示意圖。

具體實施方式

為使本發(fā)明的目的、技術方案和優(yōu)點更加清楚，下面將結合實施例及附圖對本發(fā)明作進一步詳細的描述。

如圖1所示，為桌面云終端音視頻數(shù)據(jù)實時處理的方法，該方法包括：桌面云終端采集攝像頭、錄音設備的視頻、音頻數(shù)據(jù)，并編碼成流媒體格式數(shù)據(jù)，發(fā)送到桌面云終端的流媒體服務器；

桌面云終端建立一個流媒體服務器，接受流媒體格式的數(shù)據(jù)，等待桌面云服務器的連接；

桌面云服務器的采集模塊連接到桌面云終端的流媒體服務器，獲取流媒體格式的數(shù)據(jù)，傳輸?shù)阶烂嬖品掌鞯慕獯a模塊；

桌面云服務器的解碼模塊從流媒體格式數(shù)據(jù)中解碼出圖像數(shù)據(jù)和音頻數(shù)據(jù)，傳輸?shù)阶烂嬖破脚_的虛擬USB攝像頭和虛擬USB聲卡；

虛擬機的操作系統(tǒng)從虛擬USB攝像頭和虛擬USB聲卡獲取圖像數(shù)據(jù)和音頻數(shù)據(jù)，供虛擬機的應用軟件使用。

如圖2所示，為桌面云終端音視頻數(shù)據(jù)實時處理的實現(xiàn)系統(tǒng)，該系統(tǒng)包括：終端采集模塊、流媒體服務器模塊、控制模塊、通信模塊、流媒體采集模塊、解碼模塊、虛擬USB攝像頭和虛擬USB聲卡；所述

終端采集模塊，采集桌面云終端攝像頭、錄音設備的圖像、音頻數(shù)據(jù)，并傳輸?shù)搅髅襟w服務器模塊；

流媒體服務器模塊，接收終端采集模塊的圖像和音頻數(shù)據(jù)，編碼成流媒體數(shù)據(jù)格式，等待流媒體采集模塊的連接；

控制模塊，接收用戶啟動(或關閉)桌面云終端音視頻數(shù)據(jù)處理的指令，啟動(或關閉)終端采集模塊和流媒體服務器模塊，并向通信模塊發(fā)出指令和參數(shù)；

流媒體采集模塊；連接到流媒體服務器模塊，獲取流媒體格式數(shù)據(jù)，并傳輸?shù)浇獯a模塊；

解碼模塊；從流媒體采集模塊獲取流媒體格式數(shù)據(jù)，解碼成圖像和音頻數(shù)據(jù)，將圖像傳輸?shù)教摂MUSB攝像頭，將音頻數(shù)據(jù)傳輸?shù)教摂MUSB聲卡；

虛擬USB攝像頭；接收解碼模塊的圖像數(shù)據(jù)，并傳輸?shù)教摂M機；

虛擬USB聲卡；接收解碼模塊的音頻數(shù)據(jù)，并傳輸?shù)教摂M機；

通信模塊；接收控制模塊的參數(shù)和指令，啟動(或關閉)流媒體采集模塊、解碼模塊、虛擬USB攝像頭和虛擬USB聲卡。

桌面云終端音視頻數(shù)據(jù)實時處理的一個實施例如圖3所示，采用Android平板電腦作為桌面云終端，在Android平板電腦上實現(xiàn)終端采集模塊、流媒體服務器模塊和控制模塊，采用H.264對終端的視頻、音頻進行編碼處理并生成流媒體數(shù)據(jù)；采用服務器硬件設備作為桌面云平臺，用CentOS作為操作系統(tǒng)，用VirtualBox作為虛擬化平臺并創(chuàng)建虛擬機，在CentOS上實現(xiàn)流媒體采集模塊、解碼模塊、虛擬USB攝像頭、虛擬USB聲卡和通信模塊。桌面云平臺將虛擬機的圖像和聲音傳輸?shù)紸ndroid平板電腦上，Android平板電腦將鍵盤和鼠標參數(shù)傳輸?shù)教摂M機。

用戶通過Android平板電腦的控制模塊下達啟動桌面云終端音視頻數(shù)據(jù)處理的指令，流程為：

(1)控制模塊啟動終端采集模塊和流媒體服務器模塊；

(2)控制模塊向通信模塊發(fā)布啟動指令和參數(shù)；

(3)通信模塊接到控制模塊的啟動指令和參數(shù)后，分別啟動流媒體采集模塊、解碼模塊、虛擬USB攝像頭、虛擬USB聲卡；

(4)通信模塊將虛擬USB攝像頭和虛擬USB聲卡綁定到指定的虛擬機；

(5)虛擬機的操作系統(tǒng)從虛擬USB攝像頭和虛擬USB聲卡獲取圖像和聲音，虛擬機操作系統(tǒng)的應用軟件使用圖像和聲音。

用戶通過Android平板電腦的控制模塊下達關閉桌面云終端音視頻數(shù)據(jù)處理的指令，流程為：

(1)控制模塊向通信模塊發(fā)布關閉指令和參數(shù)；

(2)控制模塊關閉桌面云終端的終端采集模塊和流媒體服務器模塊；

(3)通信模塊接收到關閉指令和參數(shù)后，分別關閉流媒體采集模塊、解碼模塊，解除虛擬USB攝像頭、虛擬USB聲卡與虛擬機的綁定；

(4)通信模塊銷毀虛擬USB攝像頭和虛擬USB聲卡，回收資源。

桌面云終端音視頻數(shù)據(jù)實時處理系統(tǒng)支持多個桌面云終端，實施例見圖3所示。以兩個Android平板電腦作為桌面云終端，連接到桌面云平臺，同時啟動桌面云終端的攝像頭和錄音設備；在桌面云平臺上，通信模塊分別啟動兩套流媒體采集模塊、解碼模塊、虛擬USB攝像頭和虛擬USB聲卡(見圖3所示)。

雖然本發(fā)明所揭露的實施方式如上，但所述的內容只是為了便于理解本發(fā)明而采用的實施方式，并非用以限定本發(fā)明。任何本發(fā)明所屬技術領域內的技術人員，在不脫離本發(fā)明所揭露的精神和范圍的前提下，可以在實施的形式上及細節(jié)上作任何的修改與變化，但本發(fā)明的專利保護范圍，仍須以所附的權利要求書所界定的范圍為準。