專利名稱：一種基于流格式的指定區(qū)域圖像傳輸及顯示方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻傳輸技術(shù)領(lǐng)域，尤其涉及一種基于流格式的指定區(qū)域圖像傳輸及 顯示方法。
背景技術(shù)：
現(xiàn)有技術(shù)中，音/視頻等多媒體信息的傳輸方式主要包括下載和流式傳輸兩種。 下載方式通常采用數(shù)據(jù)全部傳輸，數(shù)據(jù)全部保存，數(shù)據(jù)全部顯示，然而，音/視頻文件一般 都較大，需要的存儲容量也較大，同時由于網(wǎng)絡(luò)帶寬的限制，采用下載方式常常要花數(shù)分鐘 甚至數(shù)小時，所以這種處理方法延遲很大。采用流式傳輸方式時，聲音、影像或動畫等時基 媒體由音視頻服務(wù)器向用戶計算機(jī)實(shí)時傳送，用戶不必等到整個文件全部下載完畢，只將 開始部分內(nèi)容存入內(nèi)存，而只需經(jīng)過幾秒或十?dāng)?shù)秒的啟動延時即可進(jìn)行觀看，數(shù)據(jù)流隨時 傳送隨時播放，只是在開始時有一些延遲，當(dāng)時基媒體在客戶機(jī)上播放時，文件的剩余部分 將在后臺從服務(wù)器內(nèi)繼續(xù)下載。因此，流式傳輸不僅使啟動延時成十倍、百倍地縮短，而且 不需要太大的緩存容量，避免了用戶必須等待整個文件全部從網(wǎng)上下載才能觀看的缺點(diǎn)。其中，流式傳輸主要指通過網(wǎng)絡(luò)傳送媒體(如視頻、音頻)的技術(shù)總稱。其特定含 義為通過互聯(lián)網(wǎng)絡(luò)將影視節(jié)目傳送到個人計算機(jī)。實(shí)現(xiàn)流式傳輸有兩種方法實(shí)時流式傳 輸(Realtime streaming)禾口順序流式傳輸(progressive streaming)。——般說來，如視頻 為實(shí)時廣播，或使用流式傳輸媒體服務(wù)器，或應(yīng)用如RTSPOtealTimeStreamingProtocol，實(shí) 時流協(xié)議)的實(shí)時協(xié)議，即為實(shí)時流式傳輸。如使用HTTP (Hypertext Transfer Protocol, 超文本傳輸協(xié)議)服務(wù)器，文件即通過順序流發(fā)送。采用那種傳輸方法依賴客戶的需求，當(dāng) 然，流式文件也支持在播放前完全下載到硬盤。順序流式傳輸是順序下載，在下載文件的同時用戶可觀看再線媒體，在給定時刻， 用戶只能觀看已下載的那部分，而不能跳到還未下載的前頭部分，順序流式傳輸不象實(shí)時 流式傳輸在傳輸期間根據(jù)用戶連接的速度做調(diào)整。由于標(biāo)準(zhǔn)的HTTP服務(wù)器可發(fā)送這種形 式的文件，也不需要其它特殊協(xié)議，經(jīng)常被稱作HTTP流式傳輸。順序流式傳輸比較適合高 質(zhì)量的短片段，如片頭、片尾和廣告，由于該文件在播放前觀看的部分是無損下載的，這種 方法保證電影播放的最終質(zhì)量，對通過調(diào)制解調(diào)器發(fā)布短片段，順序流式傳輸顯得很實(shí)用， 順序流式傳輸允許用比調(diào)制解調(diào)器更高的數(shù)據(jù)速率創(chuàng)建視頻片段。另外，順序流式文件是 放在標(biāo)準(zhǔn)HTTP或FTP (FiIe Transfer Protocol，文件傳輸協(xié)議)服務(wù)器上，易于管理，基本 上與防火墻無關(guān)。但是順序流式傳輸不適合長片段和有隨機(jī)訪問要求的視頻，如講座、演 說與演示等，用戶在觀看前，必須經(jīng)歷延遲，對較慢的連接尤其如此，因此，順序流式傳輸不 支持現(xiàn)場廣播，嚴(yán)格說來，順序流式傳輸職能是一種點(diǎn)播技術(shù)。實(shí)時流與HTTP流式傳輸不同，需要專用的流媒體服務(wù)器與傳輸協(xié)議，實(shí)時流式傳 輸總是實(shí)時傳送，特別適合現(xiàn)場事件，也支持隨機(jī)訪問，用戶可快進(jìn)或后退以觀看前面或后 面的內(nèi)容。實(shí)時流式傳輸必須配匹連接帶寬，這意味著在以調(diào)制解調(diào)器速度連接時圖像質(zhì)量較差，而且，由于出錯丟失的信息被忽略掉，網(wǎng)絡(luò)擁擠或出現(xiàn)問題時，視頻質(zhì)量很差。如 欲保證視頻質(zhì)量，順序流式傳輸也許更好。實(shí)時流式傳輸需要特定服務(wù)器，如QuickTime Streaming Server、Realkrver 與 Windows Media Server。這些服務(wù)器允許對媒體發(fā)送 進(jìn)行更多級別的控制，因而系統(tǒng)設(shè)置、管理比標(biāo)準(zhǔn)HTTP服務(wù)器更復(fù)雜。實(shí)時流式傳輸還需 要特殊網(wǎng)絡(luò)協(xié)議，如MMS (Microsoft Media Server，微軟媒體服務(wù)器)。這些協(xié)議在有防 火墻時有時會出現(xiàn)問題，導(dǎo)致用戶不能看到一些地點(diǎn)的實(shí)時內(nèi)容。以上傳輸控制協(xié)議，如 RTP (Real-timeTransportProtocol，實(shí)時傳輸協(xié)議)/UDP (User Datagram Protocol，用戶 數(shù)據(jù)報協(xié)議)和 MMS/HTTP/TCP(Transmission Control Protocol，傳輸控制協(xié)議)等。實(shí) 時流式傳輸關(guān)注的是流式文件本身，對傳輸層做到透明支持?，F(xiàn)有的圖像傳輸技術(shù)，即通過網(wǎng)絡(luò)來下載并顯示圖像技術(shù)，基本上都全部下載，全 部顯示或從圖像的頭端開始一點(diǎn)點(diǎn)顯示。這種技術(shù)的缺點(diǎn)是把圖像中所有的信息都平行看 待，又由于現(xiàn)有圖像的編碼的限制，不能做到對信息的重點(diǎn)提取、重點(diǎn)傳輸，當(dāng)然就不能從 圖像中的某一區(qū)域可控的開始顯示。另外現(xiàn)有的圖像編碼技術(shù)中，沒有使用預(yù)測算法，在傳 輸時，不能很好的節(jié)省帶寬，而H. 264現(xiàn)有的幀內(nèi)預(yù)測算法，必須知道上面和左邊的數(shù)據(jù)作 為參考來進(jìn)行解碼，所H.沈4的幀內(nèi)算法，也只能按掃描順序，從左到右，從上到下解碼和 顯示整個圖像。H. 261標(biāo)準(zhǔn)中提出幀內(nèi)預(yù)測編碼是利用一幀(一幅圖像)內(nèi)已經(jīng)傳送的相鄰象素 來求當(dāng)前的像素的預(yù)測值。本發(fā)明中提出的預(yù)測編碼雖然也是利用一幀(一幅圖像)內(nèi)已經(jīng)傳送的相鄰像素 來求當(dāng)前像素的預(yù)測值，但是在處理方法上與H.中提出的幀內(nèi)預(yù)測有本質(zhì)的區(qū)別。本發(fā)明中的預(yù)測是針對圖像中某一預(yù)先確定的具體區(qū)域內(nèi)的像素進(jìn)行預(yù)測，而不 是如H. 261中幀內(nèi)預(yù)測所述對整幅圖像根據(jù)已傳送的像素預(yù)測當(dāng)前像素。因此，為了區(qū)分本發(fā)明提出的預(yù)測方法和H.中提出的幀內(nèi)預(yù)測方法之間的不 同，將本發(fā)明提出的預(yù)測方法稱為圖像內(nèi)預(yù)測方法，后續(xù)將不再贅述?，F(xiàn)有技術(shù)中的流式傳輸，不論是順序流式傳輸，還是實(shí)時流式傳輸，通常采用分幀 視頻傳輸，單獨(dú)解碼，整幀顯示，幀內(nèi)預(yù)測(需要知道上面和左面編碼數(shù)據(jù)作為預(yù)測參考)、 幀間預(yù)測(運(yùn)動補(bǔ)償)。無法實(shí)現(xiàn)對視頻數(shù)據(jù)一起保存(或分散保存)，分散傳輸，分散顯 示，靈活的在比幀更小的范圍內(nèi)進(jìn)行視頻數(shù)據(jù)傳輸?，F(xiàn)有的巨型的圖形系統(tǒng)，如，GIS或城市地區(qū)地圖等，往往都是采用現(xiàn)有的圖像編 碼方式，如JPEG、GIF等格式，由于數(shù)據(jù)量很大，網(wǎng)絡(luò)傳輸成為其一個應(yīng)用瓶頸。再如，現(xiàn)有 的電子書系統(tǒng)，傳輸方面也是一個巨大的瓶頸。尤其是對于沒有幀結(jié)構(gòu)的巨型圖像，如何編 碼，如何傳輸，如何解碼都是一個尚待解決的問題。

發(fā)明內(nèi)容
本發(fā)明實(shí)施例要解決的問題是提供一種基于流格式的指定區(qū)域圖像傳輸及顯示 方法，以解決現(xiàn)有技術(shù)中無法實(shí)現(xiàn)對圖像數(shù)據(jù)一起保存(或分散保存)，分散傳輸，指定區(qū) 域顯示的缺陷。為了實(shí)現(xiàn)上述目的，本發(fā)明的實(shí)施例提供了一種基于流格式的指定區(qū)域圖像傳輸 方法，包括以下步驟
4
服務(wù)端通過流格式對圖像中指定區(qū)域的圖像信息進(jìn)行編碼，并傳送到顯示端；所述顯示端根據(jù)接收到的指定區(qū)域的圖像信息進(jìn)行解碼，并基于流格式播放顯示 所述指定區(qū)域的圖像信息。所述服務(wù)端通過流格式把指定區(qū)域的圖像信息傳送到顯示端之前還包括所述服 務(wù)端獲取圖像中需要傳輸?shù)闹付▍^(qū)域，所述指定區(qū)域是指在整個圖像內(nèi)部具體某個位置范 圍，該區(qū)域由一個或多個條帶或宏塊構(gòu)成。所述條帶或宏塊為構(gòu)成圖像的基本單位，也是最 小的可解碼顯示單位。在編碼時，需要先把圖像轉(zhuǎn)換成點(diǎn)陣模式，然后通過圖像內(nèi)預(yù)測方法對宏塊或條 帶進(jìn)行編碼，所述預(yù)測算法在對像素進(jìn)行預(yù)測時，使用帶頂角像素加權(quán)和不帶頂角像素加 權(quán)兩者中任意一個進(jìn)行圖像內(nèi)預(yù)測。采用P2P協(xié)議配合宏塊或條帶的傳輸。在需要網(wǎng)絡(luò)傳輸?shù)臅r候?qū)崟r編碼；或先編碼之后存儲然后再在網(wǎng)絡(luò)上傳輸；其 中，先編碼之后采用文件分級存儲形式。在編碼之前，需要以點(diǎn)陣結(jié)構(gòu)存儲的圖片原始信息，如YUV(—個亮度信號Y;兩 個色差信號u分量、V分量)模式就是一個典型的點(diǎn)陣模式，即每點(diǎn)象素對應(yīng)一個亮度值 兩個色度值，同樣RGB(紅綠藍(lán))模式也是點(diǎn)陣模式。然后再通過本發(fā)明的預(yù)測算法求出殘 差，再利用現(xiàn)有的DCT (Discrete Cosine Transform，離散余弦變換)變換、量化、熵編碼等 方法進(jìn)行處理。在解碼的時候，首先經(jīng)過反熵編碼、反量化、IDCT(反離散余弦變換)變換等步驟， 然后根據(jù)所選擇預(yù)測算法解碼出圖像信息。在編碼時候，判斷那種預(yù)測模式最好通常采用SAD (絕對差值和)或方差的方法。本發(fā)明還提供了一種基于流格式的圖像內(nèi)預(yù)測方法，包括以下步驟獲取宏塊或條帶周邊的相鄰像素值；使用帶頂角像素加權(quán)和不帶頂角像素加權(quán)兩者中任意一個進(jìn)行圖像內(nèi)預(yù)測；
η其中，像素加權(quán)公式為Ζ =其中，X像素和Yi相關(guān)，Mi代表相關(guān)系數(shù)，相
二1
關(guān)系數(shù)表示為M = PXq ；其中ρ為距離系數(shù)，即在一個能量通道里面，相關(guān)系數(shù)點(diǎn)距離被 預(yù)測位置占整個通道長度的比例；q為比例系數(shù)，即這條能量通道里面的分割占整個預(yù)測 像素的比例值。所述條帶預(yù)測包括已知一邊或已知兩對稱邊的情況下，對條帶的水平模式預(yù)測、 水平向下模式預(yù)測、水平向上模式預(yù)測、對角線模式預(yù)測；所述宏塊預(yù)測包括已知一邊、已 知兩對稱邊、已知三邊及已知四邊的情況下，對宏塊的水平模式預(yù)測、水平向下模式預(yù)測、 水平向上模式預(yù)測、垂直模式預(yù)測、垂直向左模式預(yù)測、垂直向右模式預(yù)測，對角線模式預(yù) 測。采用簡化的系數(shù)代替由預(yù)測算法產(chǎn)生的復(fù)雜的算術(shù)運(yùn)算。本發(fā)明還提供了一種基于流格式的指定區(qū)域圖像顯示方法，使用宏塊或條帶作為 圖像顯示的基本單位，具體為使用宏塊或條帶顯示指定區(qū)域的圖像信息。顯示指定區(qū)域的 圖像信息中，所述指定區(qū)域是指在整個圖像內(nèi)部具體某個位置范圍，該區(qū)域由一個或多個 條帶或宏塊構(gòu)成，并可以用預(yù)先設(shè)置的程序來控制條帶或宏塊的顯示速度和顯示位置；所述控制顯示速度對于條帶模式，表現(xiàn)為通過快進(jìn)快退的方式觀看圖像內(nèi)容。與現(xiàn)有技術(shù)相比，本發(fā)明實(shí)施例具有以下優(yōu)點(diǎn)本發(fā)明實(shí)施例中，不需要傳輸整張圖像，也不分幀結(jié)構(gòu)，條帶或宏塊為構(gòu)成圖像的 基本單位，同時也是解碼顯示的最小單位；然后根據(jù)本發(fā)明的圖像預(yù)測算法來實(shí)現(xiàn)預(yù)測編 碼，然后本發(fā)明的圖像傳輸算法向顯示端傳輸預(yù)測模式和殘差代碼，顯示端根據(jù)所述預(yù)測 模式和殘差代碼對編碼信息進(jìn)行解碼，獲得指定區(qū)域的圖像信息。本發(fā)明中，圖像內(nèi)預(yù)測方 法和圖像傳輸算法可以根據(jù)具體需要選擇使用。在H. 264的抗誤碼方法中，有FMO特性，允許獨(dú)立和分散的宏塊映射到Slice里， 然后用Slice Group來封裝。這種方法的目的主要是為了抗誤碼需要，用在視頻傳輸里面。 預(yù)測方法支持幀內(nèi)和幀間預(yù)測，其中幀內(nèi)預(yù)測和本專利完全不同，角度也不一樣。雖然提出 了分散傳輸?shù)母拍睿遣⒉荒芎芎玫膶χ付ㄎ恢眠M(jìn)行有針對性的傳輸，更不可能對指定 區(qū)域進(jìn)行有針對性的顯示，屬于完全不同的技術(shù)范疇。本發(fā)明還規(guī)定了一種新型可預(yù)測編碼和顯示的單位-條帶，這種顯示單位和 H. 264里的Slice完全不是一個概念，而是針對顯示和編碼的需要設(shè)計出來的。而不是以傳 輸和抗誤碼為目的的，因此實(shí)現(xiàn)方法也完全不同。本發(fā)明還專門設(shè)計了用于支持流式圖像傳輸?shù)念A(yù)測方法，該預(yù)測方法既保證了可 以及時解碼的特性又提高傳輸?shù)男?。在解碼的時候還提供算法可以實(shí)現(xiàn)對播放速度和位 置的控制。


圖1是本發(fā)明一種基于流媒體的圖像傳輸方法流程圖
圖2是本發(fā)明宏塊構(gòu)成示意圖3是本發(fā)明宏塊構(gòu)成條帶的示意圖4是本發(fā)明縱向條帶組成整幀示意圖5是本發(fā)明縱向條帶中的I條帶示意圖6是本發(fā)明橫向條帶組成整幀示意圖7是本發(fā)明橫向條帶中的I條帶；
圖8是本發(fā)明流式圖像的服務(wù)端編碼方法；
圖9是本發(fā)明流式圖像使用方法；
圖10是本發(fā)明一解碼實(shí)例示意圖11是本發(fā)明宏塊分級示意圖12a是本發(fā)明平均模式預(yù)測示意圖12b是本發(fā)明水平模式預(yù)測示意圖12c是本發(fā)明水平向下模式預(yù)測示意圖12d是本發(fā)明對角線1模式預(yù)測示意圖12e是本發(fā)明垂直向右模式預(yù)測示意圖12f是本發(fā)明垂直向左模式預(yù)測示意圖12g是本發(fā)明對角線2模式預(yù)測示意圖12h是本發(fā)明水平向上模式預(yù)測示意圖；圖12i是本發(fā)明為DCT變換預(yù)測模式示意圖12j是本發(fā)明B塊示意圖13a是本發(fā)明已知三塊的預(yù)測方法；
圖13b是本發(fā)明已知四塊的預(yù)測方法；
圖14a是本發(fā)明已知四邊水平模式預(yù)測示意圖14b是本發(fā)明已知四邊對角線1模式預(yù)測示意圖14c本發(fā)明已知四邊水平向下模式預(yù)測示意圖14d本發(fā)明已知四邊垂直向右模式預(yù)測示意圖14e本發(fā)明已知四邊垂直模式預(yù)測示意圖14f本發(fā)明已知四邊對角線2模式預(yù)測示意圖14g本發(fā)明已知四邊水平向上模式預(yù)測示意圖14h本發(fā)明已知四邊垂直向左模式預(yù)測示意圖15a是本發(fā)明已知三邊水平模式預(yù)測示意圖15b是本發(fā)明已知三邊對角線1模式預(yù)測示意圖15c本發(fā)明已知三邊水平向下模式預(yù)測示意圖15d本發(fā)明已知三邊垂直向右模式預(yù)測示意圖15e本發(fā)明已知三邊垂直模式預(yù)測示意圖15f本發(fā)明已知三邊對角線2模式預(yù)測示意圖15g本發(fā)明已知三邊水平向上模式預(yù)測示意圖15h本發(fā)明已知三邊垂直向左模式預(yù)測示意圖16a是本發(fā)明已知一邊水平模式預(yù)測示意圖16b是本發(fā)明已知一邊對角線1模式預(yù)測示意圖16c是本發(fā)明已知一邊水平向下模式預(yù)測示意圖16d是本發(fā)明已知一邊垂直向右模式預(yù)測示意圖16e是本發(fā)明已知一邊垂直模式預(yù)測示意圖16f是本發(fā)明已知一邊對角線2模式預(yù)測示意圖16g是本發(fā)明已知一邊水平向上模式預(yù)測示意圖16h是本發(fā)明已知一邊垂直向左模式預(yù)測示意圖17是本發(fā)明確定總公式系數(shù)示意圖18a是本發(fā)明已知兩邊條帶水平模式預(yù)測示意圖18b是本發(fā)明已知兩邊條帶水平向上模式預(yù)測示意圖19是本發(fā)明8X8帶頂角信息的對角線1模式預(yù)測示意圖
圖20是本發(fā)明增加邊緣宏塊預(yù)測示意圖21是本發(fā)明解碼的次序?yàn)?、2、3、4、5、6、7示意圖22是本發(fā)明圖21實(shí)現(xiàn)流程圖23是本發(fā)明解碼的次序?yàn)橐灾行耐吘墧U(kuò)散示意圖24是本發(fā)明圖23實(shí)現(xiàn)流程圖25至圖27是本發(fā)明圓形擴(kuò)散算法示意圖28是本發(fā)明分散存儲和分散傳輸?shù)氖疽?
圖四是本發(fā)明以I條帶為例來實(shí)現(xiàn)對顯示速度的條帶序列圖；圖30是本發(fā)明以宏塊為例來實(shí)現(xiàn)對顯示速度的控制示意圖；圖31是本發(fā)明服務(wù)端和顯示端的系統(tǒng)結(jié)構(gòu)圖；圖32是本發(fā)明用協(xié)議的方式改變或確定顯示位置的消息過程和改變顯示速度的 消息過程；圖33是本發(fā)明一種圖像實(shí)時傳輸示意圖；圖34是本發(fā)明以宏塊編碼方式為例二級索引文件分級存儲示意圖；圖35是本發(fā)明以條帶為例三級索引文件分級存儲示意圖。
具體實(shí)施例方式本發(fā)明實(shí)施例中，一種基于流媒體的圖像傳輸方法，如圖1所示，具體包括以下步 驟S101，服務(wù)端在編碼前或編碼時需要把先把圖像轉(zhuǎn)換成YUV模式或其它點(diǎn)陣模 式，然后獲取圖像中需要傳輸?shù)闹付▍^(qū)域，所述指定區(qū)域包括條帶或宏塊，在圖像信息傳輸 之前，將圖像設(shè)置成以條帶或宏塊為基本單元的模式，而不是以整幀或整幅圖像作為基礎(chǔ) 單元編碼，也不需要從左到右，從上到下的固定順序。其中，構(gòu)成圖像的基本單位宏塊或 用于變換的基本單位塊如圖2所示，包括1X1、1X2、2X1、2X2、4X2、2X4、4X4、4X8、 8X4、8X8、8X16、16X8、16X16 等；DCT 變換通常采用 2 X 2，4X4，8 X 8，16 X 16。宏塊可以由多個像素構(gòu)成，條帶可以由多個宏塊構(gòu)成，條帶也可以直接作為最小 的解碼顯示單位也可以作為最小的預(yù)測單位，條帶可以分為縱向和橫向兩種，條帶通常具 有相同的結(jié)構(gòu)，比如構(gòu)成條帶的橫向像素和縱向像素數(shù)目通常是恒定的；如果條帶由宏塊 構(gòu)成，則構(gòu)成條帶的宏塊數(shù)目也是恒定的，如圖3所示；縱向條帶組成整幅圖像的示意圖如 圖4所示；縱向條帶中的I條帶和B條帶示意圖如圖5所示，其中I條帶表示可以單獨(dú)解碼 顯示的條帶，在編碼的時候也不需要用預(yù)測算法以及和周圍條帶求殘差的過程，而B條帶 是一種不能夠獨(dú)立解碼顯示的條帶，它需要在周圍I條帶已經(jīng)解碼的基礎(chǔ)上才能夠解碼顯 示，而且B條帶在編碼的時候也需要預(yù)測編碼；橫向條帶組成整幅圖像的示意圖如圖6所 示；橫向條帶中的I條帶和B條帶示意圖如圖7所示，橫向條帶和縱向條帶只有方向上的區(qū) 別，編解碼的方式和傳輸過程都是大同小異的，只是在預(yù)測的時候把縱向條帶橫過來作橫 向預(yù)測就可以了，當(dāng)然解碼的時候也采用橫向的方式進(jìn)行解碼。如果編碼中條帶是由宏塊 構(gòu)成，即預(yù)測算法的基本單位是宏塊而不是條帶，這是I條帶也必須能夠獨(dú)立解碼。由于條 帶內(nèi)部在編碼的時候也需要DCT變換，而DCT變換最好為方形矩陣，因此條帶必須能被劃分 為多個方形的集合。在編碼時，可以通過特定的位來區(qū)別I條帶或B條帶。S102，根據(jù)圖像內(nèi)預(yù)測方法對指定區(qū)域或整幅圖像進(jìn)行預(yù)測編碼，并將編碼信息 進(jìn)行預(yù)測編碼、變換、量化、熵編碼，然后發(fā)送到顯示端。實(shí)現(xiàn)條帶或宏塊間的預(yù)測編碼，服 務(wù)端編碼方式有兩種，一種是預(yù)編碼方式，即在傳輸前就把編碼工作全部完成，通常是統(tǒng)一 編碼，統(tǒng)一編碼通常是按一定方向一定順序進(jìn)行，如從左到右，從上到下等，這個時候往往 每一條帶或宏塊都有唯一的序列號和其對應(yīng)，或者通過某一算法公式可以找到需要的條帶 或宏塊，在實(shí)際存儲過程中往往采用分級存儲的方法，這樣可以很容易檢索和定位；另一種 方式是實(shí)時編碼方式，即在需要傳輸時才編碼，一邊編碼一邊傳輸。例如采用實(shí)時編碼方式的時候，以宏塊為例，選定一種擴(kuò)散算法，然后一層一層往外編。對于采用預(yù)測方式編碼的 塊，需要傳輸預(yù)測模式、和殘差代碼，然后再變換、量化、熵編碼。在網(wǎng)絡(luò)傳輸方面通過I條帶可以實(shí)現(xiàn)快進(jìn)快退功能，具體參考后面關(guān)于速度控 制模塊和位置控制模塊的說明。條帶或宏塊還可以以P2P(點(diǎn)到點(diǎn))的方式來傳輸文件，達(dá) 到網(wǎng)絡(luò)的高效使用的目的。而現(xiàn)有的圖像由于要整體顯示，所以P2P使用的性能不高，但是 由于本發(fā)明是基于流模式的，所以在使用P2P時，把圖像信息分布存儲在一些服務(wù)端上，通 過P2P后臺控制來傳輸圖像內(nèi)容，這樣可以邊傳輸邊顯示，這樣就可以快速得到圖像信息， 而且不會因?yàn)槟撑_服務(wù)器的處理能力影響服務(wù)質(zhì)量。S103，顯示端根據(jù)接收到的指定區(qū)域的圖像信息及從服務(wù)端獲取或預(yù)先約定的預(yù) 測算法進(jìn)行解碼獲取原始圖像，并基于流格式播放顯示所述指定區(qū)域的圖像信息。顯示端 進(jìn)行反熵編碼、反量化、反變換，并根據(jù)預(yù)測模式和殘差代碼對接收的編碼信息進(jìn)行解碼， 得到條帶或宏塊，從而獲得一幅圖像的一部分。結(jié)合上述原理，一種流式圖像的編碼方法 如圖8所示，包括圖像轉(zhuǎn)換為YUV格式；按條帶讀??；判斷是否為I條帶，如果是，則進(jìn)行條 帶內(nèi)預(yù)測，如果不是，則進(jìn)行條帶間預(yù)測；進(jìn)行變換、量化、熵編碼。流式圖像使用方法如圖 9所示，包括在服務(wù)端獲取圖像信息；將其存儲為流格式圖像；進(jìn)行流傳輸；在顯示端讀取 成流格式圖像。一個具體解碼實(shí)例如圖10所示，A、B和D塊為1型宏塊(已對其進(jìn)行編碼，1型宏 塊可以獨(dú)立解碼不需要參考其它信息)，如用戶關(guān)心區(qū)域由A區(qū)域開始向周圍擴(kuò)散，擴(kuò)散的 模式以正方形模式為例。能解碼的先決條件至少滿足以下兩個條件中的一個要么是1型宏塊；要么上下 或左右兩宏塊已經(jīng)解碼、或相鄰三塊已經(jīng)解碼、或相鄰四塊已經(jīng)解碼；其中，解碼的順序可以為固定順序，例如設(shè)置A位置為(0、0)，右邊第一塊(0， 1)，左邊的一塊(0，-1)，上邊的一塊(_1，0)，下邊的一塊(1，0)，以這樣的坐標(biāo)方法標(biāo)記，每 一塊都會對應(yīng)一組整數(shù)，按照這一組整數(shù)的奇偶特性可以分為偶偶塊、奇偶塊、偶奇塊和奇 奇塊四種結(jié)構(gòu)，先解碼中心的偶偶塊，再解下層偶偶塊，再解奇偶塊，再解偶奇塊，再解奇奇 塊。解碼順序也可以為距離中心遠(yuǎn)近的方法A、BBBB, CCCC, DDDD, FFFF, EEEEEEEE ； 即先傳輸最靠近的一個可解碼塊，然后判斷四個周圍塊是否可以解碼，(按中心最近原則， 也就是說，離A塊中心最近的四個塊是否可以解碼，然后判斷離A塊中心次近的四個塊，然 后以此類推)這樣到了 B塊，發(fā)現(xiàn)可以直接解碼，然后再從A塊開始判斷還沒有解碼的，判 斷和A塊中心最近的未解碼塊能否解碼，發(fā)現(xiàn)C塊可以解碼，則解碼之。同理下去發(fā)現(xiàn)F不 能解碼，E也不能，解碼D，然后再從A距離條件開始判斷，發(fā)現(xiàn)如果可以解碼，則解碼，如果 不可以，然后F解碼，最后E解碼。解碼的順序還可以為按里圈到外圈的順序A(里圈)、DBDBDBDB(外圈)；再掃描 里圈CCCC、EEEEEEEE (外圈)；再掃描里圈FFFF。為了可以從一幅圖像中任何一個地方切入來接收圖像部分的數(shù)據(jù)或直至接收圖 像的整個數(shù)據(jù)，必須要在圖像內(nèi)部設(shè)置可以單獨(dú)完成解碼的顯示單元。在視頻流媒體中是 通過設(shè)置I幀的方法來完成的，即用戶可以在視頻播放過程中隨機(jī)接入視頻流，只要獲得 一個完整的I幀就可解碼出完整一幀圖像，然后通過幀之間的預(yù)測編碼的逆過程還原出P幀和B幀的圖像，同時可以利用I幀的引入而實(shí)現(xiàn)快進(jìn)快退的功能。本發(fā)明借用了在視頻 中設(shè)置I幀的思想，讓用戶可以定位一個關(guān)心的位置來接收這部分圖像數(shù)據(jù)的內(nèi)容，而不 需要等圖像傳輸完畢之后再顯示圖像。這種編碼和數(shù)據(jù)傳輸方法可以用于電子地圖，地理 信息系統(tǒng)(GIS)，巨型圖像傳輸和軍事圖像數(shù)據(jù)傳輸?shù)?。在圖11中，A到I是圖像中的一部分?jǐn)?shù)據(jù)，定義A、C、G、I為1型宏塊，不適用預(yù)測 模式，為傳輸?shù)目梢元?dú)立解碼的最基本單元，使用DCT變換、量化、熵編碼等方式完成數(shù)據(jù) 編碼。解碼的時候采用反熵編碼、反量化、IDCT的方法進(jìn)行解碼即可。B、D、F、H為2型宏 塊，2型宏塊根據(jù)左右或上下的1型宏塊進(jìn)行預(yù)測，然后使用DCT、量化、熵編碼，完成編碼； 解碼時，通過反熵編碼、反量化、IDCT、使用預(yù)測逆算法解碼，通常只有左右或上下一側(cè)為已 解碼1型宏塊。E為3型宏塊，當(dāng)1、2型宏塊已經(jīng)解碼，則3型宏塊周圍數(shù)據(jù)都已經(jīng)完成解 碼，這個時候可以采用預(yù)測的逆算法進(jìn)行解碼。在編碼的時候可以用不同的位來區(qū)別1、2、 3型三種不同的宏塊。圖11中由1型宏塊獲得3型宏塊E的公式為編碼時可以在DCT之前，也可以在DCT之后，也就是說可以通過DC/AC系數(shù)做宏塊 間預(yù)測；量化過程只是為了優(yōu)化編碼的性能，并不一定是必須的。圖像一般都是先存儲的方式，既將整幅圖像都存儲后，再進(jìn)行編碼。但是對于單向 掃描的視頻則需要實(shí)時編碼的方式，既文件分級存儲，以宏塊編碼方式為例，如圖34所示， 是一個兩級索引，A點(diǎn)是一級存儲索引，A對應(yīng)下面一個4X4的塊的范圍，這樣存儲的方法 可以通過一級一級的細(xì)分，最終找到最關(guān)心的區(qū)域。如果點(diǎn)擊A對應(yīng)宏塊，可以深入到下一 級索引，看到更精細(xì)的部分。上面只是兩級存儲，根據(jù)實(shí)際需要，可以分多級的方法存儲。如圖35所示，是分級存儲中一種三級索引的條帶結(jié)構(gòu)，每上一層條帶對應(yīng)下一層 四個條帶，在查找某一具體位置時，可以根據(jù)索引快速定位。預(yù)測算法采用加權(quán)預(yù)測的基本模式，根據(jù)像素之間的相關(guān)性進(jìn)行預(yù)測，如X像
素和Yi相關(guān)，用Mi代表相關(guān)系數(shù)，則有如下公式I = ΣΜ·Υ‘。在預(yù)測宏塊中某一像素的
/ = 1
時候通常用一個正方形區(qū)域代表一個像素，所謂相關(guān)是指在這個正方形區(qū)域內(nèi)延預(yù)測方向 的平行線所能穿過的相鄰宏塊中最靠近被預(yù)測宏塊的像素。這些像素中包括帶頂角和不帶 頂角兩種情況。 當(dāng)對某一位置像素進(jìn)行預(yù)測時，首先把這一個像素進(jìn)行分割。分割的方法是按相 鄰快相關(guān)像素所在位置利用和預(yù)測方向相平行的線段把需要預(yù)測的像素分成若干塊，如圖 13a所示?？傆幸粋€或兩個相關(guān)像素點(diǎn)可以控制一定的預(yù)測像素的一個分割，并把所述一個
10或兩個相關(guān)像素圍成的平行四邊形區(qū)域成為能量通道。
η得到像素加權(quán)公式為Z = ΣΜ·Υ·；其中，X像素和Yi相關(guān)，Mi代表相關(guān)系數(shù)，
,'=I
相關(guān)系數(shù)表示為M = pXq ；其中ρ為距離系數(shù)，即在一個能量通道里面，相關(guān)系數(shù)點(diǎn)距離 被預(yù)測位置占整個通道長度的比例；q為比例系數(shù)，即這條能量通道里面的分割占整個預(yù) 測像素的比例值。在計算q時，有兩種思路，一種是將一個像素能量平均分布在像素所代表的小方 塊內(nèi)，q值不為1 ；另一種是將一個像素的能量集中在像素所代表的小方塊的中心點(diǎn)位置， 這是q值通常為1，但是當(dāng)分割線穿過中心點(diǎn)時，均按1/2計算。在計算P時，在本發(fā)明中，均從相鄰塊相關(guān)像素點(diǎn)代表的小方塊的邊開始計算，即 能量通道的兩邊為代表相關(guān)像素點(diǎn)的小方塊的最靠近兩邊。當(dāng)然可以以相鄰像素點(diǎn)代表的 小方塊的中心作為能量通道的兩邊來計算P值。其中ρ為距離系數(shù)，即在一個能量通道里面，相關(guān)系數(shù)點(diǎn)距離被預(yù)測位置占整個 通道長度的比例。如果能量通道只有一邊像素可知，則定義ρ值為1。q為比例系數(shù)，即這條能量通道里面的分割占整個預(yù)測像素的比例值，為了方便計 算，通常有 1/4、1/2、3/4、1/8、3/8、5/8、7/8 等。為了計算方便通常把相關(guān)系數(shù)的分母調(diào)成2的指數(shù)，如2、4、8、16、32等，這樣在 計算機(jī)處理時可以方便地使用移位操作完成計算。而且在實(shí)際計算中，為了進(jìn)一步簡化計 算，往往根據(jù)以上計算結(jié)果，人為規(guī)定一些相關(guān)系數(shù)使計算更加簡便，但是考慮的依據(jù)仍然 是上面計算的結(jié)果，并取一些近似的結(jié)果加以簡化，近似的方法為常用的數(shù)學(xué)方法，如取 整、四舍五入等。在人為規(guī)定一些參數(shù)的時候往往考慮和相關(guān)像素距離遠(yuǎn)近，有時候不在一 個能量通道里面也把相關(guān)像素引入到計算公式里面，來計算某能量通道里面的像素的預(yù)測 值。預(yù)測算法如圖1 至12i，為相鄰宏塊中有兩個對稱宏塊已解碼時的情況，設(shè)A、C 已解碼，需要預(yù)測B，其中，B塊為B[l]到B[16]，如圖12j所示。在計算B塊內(nèi)每個點(diǎn)的 像素的預(yù)測值時，采用加權(quán)的方法，即根據(jù)預(yù)測的方向，通過對能夠影響到B塊內(nèi)該像素值 的相鄰塊的相關(guān)像素加權(quán)得到。圖12a為平均模式預(yù)測，預(yù)測公式為
B[l] = B[2] = B[3] = B[4] = B[5] = B[6] = B[7] = B[8] = B[9] = a + b + c + d+ e +f + S + h .
8
B[10] 二 B[11] = B[12] = B[13] = B[14] = B[15] = B[16] = a + b + c + d+ e +f + S + h ;或者
8
_。] _ = ■ = _ = ■平 B[5] = BM] = _ 年
剛■=聊]=馴=叩2]平釋釋釋舉]=午； 圖12b為水平模式預(yù)測，影響B(tài)[1]、B[2]、B[3]、B[4]像素值的相鄰像素點(diǎn)分別為 A塊中的a像素點(diǎn)和C塊中的e像素點(diǎn)。因此B [1]、B [2]、B [3] ,B [4]只和a、e兩點(diǎn)像素有
11關(guān)，公式為
權(quán)利要求
1.一種基于流格式的圖像內(nèi)預(yù)測方法，其特征在于包括以下步驟 獲取宏塊或條帶周邊的相鄰像素值；使用帶頂角像素加權(quán)和不帶頂角像素加權(quán)兩者中任意一個進(jìn)行圖像內(nèi)預(yù)測； 其中，像素加權(quán)公式為X = YjMiY1ι=\其中，X像素和Yi相關(guān)，Mi代表相關(guān)系數(shù)， 相關(guān)系數(shù)表示為 M = pXq其中P為距離系數(shù)，即在一個能量通道里面，相關(guān)系數(shù)點(diǎn)距離被預(yù)測位置占整個通道 長度的比例；q為比例系數(shù)，即這條能量通道里面的分割占整個預(yù)測像素的比例值。
2.如權(quán)利要求1所述基于流格式的圖像內(nèi)預(yù)測方法，其特征在于所述條帶預(yù)測包括 已知一邊或已知兩對稱邊的情況下，對條帶的水平模式預(yù)測、水平向下模式預(yù)測、水平向上 模式預(yù)測、對角線模式預(yù)測；所述宏塊預(yù)測包括已知一邊、已知兩對稱邊、已知三邊及已知 四邊的情況下，對宏塊的水平模式預(yù)測、水平向下模式預(yù)測、水平向上模式預(yù)測、垂直模式 預(yù)測、垂直向左模式預(yù)測、垂直向右模式預(yù)測，對角線模式預(yù)測。
全文摘要
本發(fā)明公開了一種基于流格式的指定區(qū)域圖像傳輸及顯示方法服務(wù)端通過流格式把圖像中指定區(qū)域的圖像信息傳送到顯示端；所述顯示端根據(jù)接收到的指定區(qū)域的圖像信息進(jìn)行解碼，并基于流格式播放顯示所述指定區(qū)域的圖像信息。本發(fā)明實(shí)施例中，不需要傳輸整張圖像，而是以某一條線或某一塊為基礎(chǔ)來顯示的，即邊傳輸邊顯示；使用I條帶或1型塊來作為可以單獨(dú)解碼的最小單位，然后根據(jù)相鄰塊或相鄰條帶之間的相關(guān)性來實(shí)現(xiàn)預(yù)測編碼，然后向顯示端傳輸預(yù)測模式信息，顯示端根據(jù)所述預(yù)測模式信息對編碼信息進(jìn)行解碼。
文檔編號H04N7/50GK102123277SQ201010529588
公開日2011年7月13日 申請日期2007年5月8日 優(yōu)先權(quán)日2007年5月8日
發(fā)明者孟智平 申請人:孟智平