基于云計(jì)算的虛擬機(jī)與客戶端間視頻重定向方法
【專利摘要】本發(fā)明揭示了一種基于云計(jì)算的虛擬機(jī)與客戶端間視頻重定向方法，在虛擬機(jī)端不對視頻數(shù)據(jù)進(jìn)行解碼，而是將視頻數(shù)據(jù)進(jìn)行分離，然后通過UDP用戶數(shù)據(jù)包協(xié)議等方式將其發(fā)送到客戶端。對于虛擬機(jī)來說，在視頻播放過程中，僅僅完成媒體文件的分離以及數(shù)據(jù)報(bào)的發(fā)送工作，負(fù)載相對較低，數(shù)據(jù)傳輸?shù)男屎芨??？蛻舳耸盏揭曨l、音頻數(shù)據(jù)后再對其進(jìn)行解碼，同時通過音頻數(shù)據(jù)的時間戳來進(jìn)行音視頻同步，通過客戶端的硬件資源進(jìn)行視頻顯示。
【專利說明】基于云計(jì)算的虛擬機(jī)與客戶端間視頻重定向方法

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及云計(jì)算領(lǐng)域，特別涉及一種基于云計(jì)算的虛擬機(jī)與客戶端間視頻重定向方法。

【背景技術(shù)】
[0002]云計(jì)算是當(dāng)前計(jì)算模型的一次重要革新。通過將各種互聯(lián)計(jì)算資源進(jìn)行有效整合并實(shí)現(xiàn)多層次的虛擬化與抽象，云計(jì)算有效地將大規(guī)模計(jì)算資源以可靠服務(wù)的形式提供給用戶，從而將用戶從復(fù)雜的底層硬件邏輯、軟件棧與網(wǎng)絡(luò)協(xié)議中解放出來。更重要的是，云計(jì)算帶來的服務(wù)整合與按需供給將大大提高當(dāng)前計(jì)算資源的利用率，達(dá)到降低成本，減少能耗的目的。
[0003]當(dāng)今的服務(wù)器所集成的顯卡一般能力較弱且不支持視頻的硬件解碼，視頻在遠(yuǎn)程虛擬機(jī)中播放需要軟件解碼；未來服務(wù)器可能加入先進(jìn)的圖形處理器(GPU)，但先進(jìn)的GPU對多路視頻的硬件解碼支持非常有限(現(xiàn)在最多兩路)；并且解碼后的圖像碼流急劇放大，傳輸?shù)奖镜仫@示需要更大的網(wǎng)路帶寬的開銷。所以需要提供一種視頻傳輸技術(shù)，使虛擬機(jī)和客戶端之間可以高效便捷地進(jìn)行視頻數(shù)據(jù)的傳輸并將向視頻重定向。


【發(fā)明內(nèi)容】

[0004]本發(fā)明的目的是提供一種基于云計(jì)算的虛擬機(jī)與客戶端間視頻重定向方法，解決現(xiàn)有技術(shù)存在的缺陷和不足。
[0005]本發(fā)明提供一種基于云計(jì)算的虛擬機(jī)與客戶端間視頻重定向方法，包括以下步驟:
將視頻在虛擬機(jī)上分離成視頻流和音頻流，再將所述視頻流分離成視頻頭與視頻幀；通過云桌面協(xié)議主控通道獲取客戶端與虛擬機(jī)對應(yīng)的網(wǎng)絡(luò)地址，建立客戶端與虛擬機(jī)的數(shù)據(jù)傳輸通道；
通過UDP用戶數(shù)據(jù)包協(xié)議將所述分離的視頻、音頻數(shù)據(jù)從所述數(shù)據(jù)傳輸通道傳輸?shù)娇蛻舳耍?br> 獲取虛擬機(jī)上的視頻顯示窗口數(shù)據(jù)，并將其通過云桌面協(xié)議主控通道傳輸給客戶端； 在客戶端將傳輸過來的視頻數(shù)據(jù)和音頻流數(shù)據(jù)解碼為可直接顯示的數(shù)據(jù)；
在客戶端將音頻流的時間戳作為音頻和視頻同步的標(biāo)準(zhǔn)，通過客戶端的硬件實(shí)現(xiàn)視頻的顯示。
[0006]所述客戶端的解碼步驟還包括:通過分析從虛擬機(jī)傳輸過來的視頻頭，初始化客戶端的解碼器，將每幀視頻數(shù)據(jù)輸入到解碼器，通過解碼后輸出可以直接顯示的數(shù)據(jù)。
[0007]所述客戶端的顯示步驟還包括:將音頻流的時間戳作為音頻和視頻同步的標(biāo)準(zhǔn)，通過從虛擬機(jī)傳遞到客戶端的坐標(biāo)位置，將解碼后的視頻圖像顯示在客戶端。
[0008]所述虛擬機(jī)上的視頻分離通過設(shè)置在虛擬機(jī)中的視頻播放器進(jìn)行的，分離后的數(shù)據(jù)中，所述音頻流為編碼后的音頻流，所述視頻幀為編碼后的視頻幀。
[0009]所述獲取的虛擬機(jī)上的視頻顯示窗口數(shù)據(jù)，包括視頻顯示的窗口坐標(biāo)、視頻顯示的坐標(biāo)、播放進(jìn)度及其他矩形數(shù)據(jù)。
[0010]所述視頻頭用來描述視頻的特征參數(shù)，包括視頻編碼標(biāo)準(zhǔn)、視頻碼率、長寬參數(shù)。
[0011]所述虛擬機(jī)架設(shè)在云計(jì)算服務(wù)器上，虛擬機(jī)與服務(wù)器之間信號通道雙向通訊。
[0012]所述云桌面協(xié)議主控通道是虛擬機(jī)通過因特網(wǎng)與客戶端進(jìn)行通信與控制的信號通道。
[0013]所述客戶端與虛擬機(jī)的數(shù)據(jù)傳輸通道是虛擬機(jī)通過因特網(wǎng)向客戶端傳輸視頻流、音頻流的數(shù)據(jù)通道。
[0014]本發(fā)明的特點(diǎn)是在虛擬機(jī)端不對視頻數(shù)據(jù)進(jìn)行解碼，而是將視頻數(shù)據(jù)進(jìn)行分離，然后通過UDP用戶數(shù)據(jù)包協(xié)議等方式將其發(fā)送到客戶端。對于虛擬機(jī)來說，在視頻播放過程中，僅僅完成媒體文件的分離以及數(shù)據(jù)報(bào)的發(fā)送工作，負(fù)載相對較低，數(shù)據(jù)傳輸?shù)男屎芨??？蛻舳耸盏揭曨l、音頻數(shù)據(jù)后再對其進(jìn)行解碼，同時通過音頻數(shù)據(jù)的時間戳來進(jìn)行音視頻同步，通過客戶端的硬件資源進(jìn)行視頻顯示。

【專利附圖】

【附圖說明】
[0015]圖1是本發(fā)明流程示意圖；
圖2是本發(fā)明實(shí)施例的框架示意圖；
圖3是本發(fā)明實(shí)施例的數(shù)據(jù)流向示意圖；
圖4是本發(fā)明實(shí)施例的流程原理示意圖。

【具體實(shí)施方式】
[0016]下面結(jié)合附圖和實(shí)施方式進(jìn)一步說明本發(fā)明的技術(shù)方案。
[0017]參見圖1，本發(fā)明提供一種基于云計(jì)算的虛擬機(jī)與客戶端間視頻重定向方法，包括以下步驟:
Al、將視頻在虛擬機(jī)上分離成視頻流和音頻流，再將所述視頻流分離成視頻頭與視頻幀。
[0018]作為一實(shí)施例，所述虛擬機(jī)上的視頻分離通過設(shè)置在虛擬機(jī)中的視頻播放器進(jìn)行的。媒體播放器的播放的過程都是將媒體文件分離成視頻流與音頻流，而后將視頻流分離成視頻頭和一幀幀編碼過的視頻數(shù)據(jù)，而后媒體播放器并不對視頻數(shù)解碼，而是將視頻數(shù)據(jù)通過UDP用戶數(shù)據(jù)包協(xié)議等方式發(fā)送到客戶端。對于虛擬機(jī)來說，在視頻播放過程中，僅僅完成媒體文件的分離以及數(shù)據(jù)報(bào)的發(fā)送工作，負(fù)載相對較低。
[0019]A2、通過云桌面協(xié)議主控通道獲取客戶端與虛擬機(jī)對應(yīng)的網(wǎng)絡(luò)地址，建立客戶端與虛擬機(jī)的數(shù)據(jù)傳輸通道。
[0020]A3、通過UDP用戶數(shù)據(jù)包協(xié)議將所述分離的視頻、音頻數(shù)據(jù)從所述數(shù)據(jù)傳輸通道傳輸?shù)娇蛻舳恕?br> [0021]視頻流和音頻流的傳輸:本實(shí)施例中，傳送的視頻流是編碼過的，網(wǎng)絡(luò)占用比解碼過后再傳送到客戶端要小得多。在本實(shí)施例中，根據(jù)視頻可以用不著太嚴(yán)格的校驗(yàn)的特點(diǎn)，使用用戶數(shù)據(jù)包協(xié)議(UDP )，能夠降低網(wǎng)絡(luò)占用。
[0022]A4、獲取虛擬機(jī)上的視頻顯示窗口數(shù)據(jù)，并將其通過云桌面協(xié)議主控通道傳輸給客戶端。
[0023]獲取視頻顯示窗口數(shù)據(jù):本實(shí)施例中，從媒體播放器中取得視頻顯示的窗口坐標(biāo)、視頻顯示的坐標(biāo)以及其他矩形，并將這些數(shù)據(jù)發(fā)送到客戶端，作為下一步客戶端的視頻數(shù)據(jù)顯示。
[0024]A5、在客戶端將傳輸過來的視頻數(shù)據(jù)和音頻流數(shù)據(jù)解碼為可直接顯示的數(shù)據(jù)。
[0025]作為一實(shí)施例，A5步驟還包括:通過分析從虛擬機(jī)傳輸過來的視頻頭，初始化客戶端的解碼器，將每幀視頻數(shù)據(jù)輸入到解碼器，通過解碼后輸出可以直接顯示的數(shù)據(jù)。
[0026]A6、在客戶端將音頻流的時間戳作為音頻和視頻同步的標(biāo)準(zhǔn)，通過客戶端的硬件實(shí)現(xiàn)視頻的顯示。
[0027]作為一實(shí)施例，A6步驟還包括:將音頻流的時間戳作為音頻和視頻同步的標(biāo)準(zhǔn)，通過從虛擬機(jī)傳遞到客戶端的坐標(biāo)位置，將解碼后的視頻圖像顯示在客戶端。
[0028]參見圖4,作為一實(shí)施例,其流程原理包含如下幾個方面:
S210、媒體文件的分離與分析:媒體播放器的播放的過程都是將媒體文件分離成視頻流與音頻流，再將視頻流分離成視頻頭和一幀幀編碼過的視頻數(shù)據(jù)，而后媒體播放器并不對視頻數(shù)解碼，而是將視頻數(shù)據(jù)通過UDP等方式發(fā)送到客戶端。對于虛擬機(jī)來說，在視頻播放過程中，僅僅完成媒體文件的分離以及數(shù)據(jù)報(bào)的發(fā)送工作，負(fù)載相對較低。
[0029]S220、視頻流和音頻流的傳輸:本實(shí)施例中，傳送的視頻流是編碼過的，網(wǎng)絡(luò)占用比解碼過后再傳送到客戶端要小得多；在實(shí)施例中，根據(jù)視頻可以用不著太嚴(yán)格的校驗(yàn)的特點(diǎn)，可使用用戶數(shù)據(jù)包協(xié)議(UDP )，能夠降低網(wǎng)絡(luò)占用。
[0030]S230、視頻流的解碼和音頻流的解碼:本實(shí)施例中，利用本地的CPU資源或者硬件視頻解碼其對視頻流進(jìn)行解碼；對音頻流數(shù)據(jù)，也利用本地的CPU資源來解碼。
[0031]S240、獲取視頻顯示窗口數(shù)據(jù):本實(shí)施例中，從媒體播放器中取得視頻顯示的窗口坐標(biāo)、視頻顯示的坐標(biāo)以及其他矩形，并將這些數(shù)據(jù)發(fā)送到客戶端，作為下一步的視頻數(shù)據(jù)顯不O
[0032]S250、解碼后的視頻數(shù)據(jù)顯示和音頻流的播放:本實(shí)施例中，利用音頻流的時間戳作為音視頻同步的標(biāo)準(zhǔn)，結(jié)合S230步，對未解碼視頻進(jìn)行丟幀的策略來提高用戶體驗(yàn)，在實(shí)施例中，根據(jù)客戶端CPU的使用狀況動態(tài)調(diào)整每幀視頻解碼的最大時間。
[0033]參見圖2，本發(fā)明是通過圖2的框架來實(shí)現(xiàn)的，虛擬機(jī)102架設(shè)在服務(wù)器101上，虛擬機(jī)102與服務(wù)器101之間通過信號通道雙向通訊(見服務(wù)器101和虛擬機(jī)102間的箭頭)。主控通道107是云桌面協(xié)議主控通道，也是虛擬機(jī)102通過因特網(wǎng)104與客戶端105之間的通信與控制的信號通道。數(shù)據(jù)傳輸通道106是通過云桌面協(xié)議主控通道107獲取客戶端105與虛擬機(jī)102對應(yīng)的網(wǎng)絡(luò)地址(IP地址)，建立的客戶端105與虛擬機(jī)102的數(shù)據(jù)傳輸通道，也是虛擬機(jī)102通過因特網(wǎng)104向客戶端105傳輸視頻流、音頻流的數(shù)據(jù)通道。
[0034]參見圖2和圖3，作為一實(shí)施例，所述虛擬機(jī)102上的視頻分離通過設(shè)置在虛擬機(jī)102中的視頻播放器103進(jìn)行的，分離后的數(shù)據(jù)中，所述音頻流為編碼后的音頻流，所述視頻幀為編碼后的視頻幀。所述獲取的虛擬機(jī)102上的視頻顯示窗口數(shù)據(jù)，包括視頻顯示的窗口坐標(biāo)、視頻顯示的坐標(biāo)、播放進(jìn)度及其他矩形數(shù)據(jù)。
[0035]作為一實(shí)施例，所述視頻頭用來描述視頻的特征參數(shù)，包括視頻編碼標(biāo)準(zhǔn)、視頻碼率、長寬參數(shù)。
[0036]具體應(yīng)用中，作為一個應(yīng)用，服務(wù)器可采用S400 R710戴爾服務(wù)器:英特爾至強(qiáng)處理器 X5650 2.66GHz，雙通路中央處理器(CPU)，96GB 1333MHz RDIMM 內(nèi)存；ITB SAS 硬盤；兩個5709C雙端口千兆以太網(wǎng))；可以虛擬40臺以上虛擬機(jī)。客戶終端可使用X86雙核1.6GHZ中央處理器，不支持視頻的硬件解碼和顯示?？蛻艚K端也可以使用飛思卡爾半導(dǎo)體Freescale 1.MX53 800GHZ 中央處理器，支持MPEG2/4, H264, VC-1, WMV9視頻的硬件解碼和顯示。
[0037]本【技術(shù)領(lǐng)域】中的普通技術(shù)人員應(yīng)當(dāng)認(rèn)識到，以上的實(shí)施方式僅是用來說明本發(fā)明，而并非用作為對本發(fā)明的限定，只要在本發(fā)明的實(shí)質(zhì)精神范圍內(nèi)，對以上實(shí)施方式的變化、變型都將落在本發(fā)明的權(quán)利要求書范圍內(nèi)。
【權(quán)利要求】
1.一種基于云計(jì)算的虛擬機(jī)與客戶端間視頻重定向方法，其特征在于，包括以下步驟: 將視頻在虛擬機(jī)上分離成視頻流和音頻流，再將所述視頻流分離成視頻頭與視頻幀； 通過云桌面協(xié)議主控通道獲取客戶端與虛擬機(jī)對應(yīng)的網(wǎng)絡(luò)地址，建立客戶端與虛擬機(jī)的數(shù)據(jù)傳輸通道； 通過UDP用戶數(shù)據(jù)包協(xié)議將所述分離的視頻、音頻數(shù)據(jù)從所述數(shù)據(jù)傳輸通道傳輸?shù)娇蛻舳耍? 獲取虛擬機(jī)上的視頻顯示窗口數(shù)據(jù)，并將其通過云桌面協(xié)議主控通道傳輸給客戶端； 在客戶端將傳輸過來的視頻數(shù)據(jù)和音頻流數(shù)據(jù)解碼為可直接顯示的數(shù)據(jù)； 在客戶端將音頻流的時間戳作為音頻和視頻同步的標(biāo)準(zhǔn)，通過客戶端的硬件實(shí)現(xiàn)視頻的顯示。
2.如權(quán)利要求1所述的方法，其特征在于，所述客戶端的解碼步驟還包括:通過分析從虛擬機(jī)傳輸過來的視頻頭，初始化客戶端的解碼器，將每幀視頻數(shù)據(jù)輸入到解碼器，通過解碼后輸出可以直接顯示的數(shù)據(jù)。
3.如權(quán)利要求1所述的方法，其特征在于，所述客戶端的顯示步驟還包括:將音頻流的時間戳作為音頻和視頻同步的標(biāo)準(zhǔn)，通過從虛擬機(jī)傳遞到客戶端的坐標(biāo)位置，將解碼后的視頻圖像顯示在客戶端。
4.如權(quán)利要求1至3任一項(xiàng)所述的方法，其特征在于，所述虛擬機(jī)上的視頻分離通過設(shè)置在虛擬機(jī)中的視頻播放器進(jìn)行的，分離后的數(shù)據(jù)中，所述音頻流為編碼后的音頻流，所述視頻幀為編碼后的視頻幀。
5.如權(quán)利要求4所述的方法，其特征在于，所述獲取的虛擬機(jī)上的視頻顯示窗口數(shù)據(jù)，包括視頻顯示的窗口坐標(biāo)、視頻顯示的坐標(biāo)、播放進(jìn)度及其他矩形數(shù)據(jù)。
6.如權(quán)利要求5所述的方法，其特征在于，所述視頻頭用來描述視頻的特征參數(shù)，包括視頻編碼標(biāo)準(zhǔn)、視頻碼率、長寬參數(shù)。
7.如權(quán)利要求6所述的方法，其特征在于，所述虛擬機(jī)架設(shè)在云計(jì)算服務(wù)器上，虛擬機(jī)與服務(wù)器之間信號通道雙向通訊。
8.如權(quán)利要求7所述的方法，其特征在于，所述云桌面協(xié)議主控通道是虛擬機(jī)通過因特網(wǎng)與客戶端進(jìn)行通信與控制的信號通道。
9.如權(quán)利要求8所述的方法，其特征在于，所述客戶端與虛擬機(jī)的數(shù)據(jù)傳輸通道是虛擬機(jī)通過因特網(wǎng)向客戶端傳輸視頻流、音頻流的數(shù)據(jù)通道。
【文檔編號】H04L29/08GK104168486SQ201310186929
【公開日】2014年11月26日 申請日期:2013年5月20日 優(yōu)先權(quán)日:2013年5月20日
【發(fā)明者】雷州, 陽海華, 翁樹華 申請人:上海范氏科技投資發(fā)展集團(tuán)有限公司