專利名稱：一種基于運動聯(lián)合圖像專家組的圖像幀間增強方法
技術領域：
本發(fā)明涉及一種視頻圖像幀間增強方法，特別是一種對基于運動聯(lián)合圖像專家組2000(Motion JPEG 2000)壓縮的視頻圖像進行幀間增強的方法，該方法能夠在接收端盡可能地恢復丟失的視頻圖像的細節(jié)。
背景技術：
隨著多媒體應用的普及、數(shù)字視頻技術的發(fā)展及網(wǎng)絡上圖像傳輸?shù)脑龆啵缈梢曤娫挼氖褂?，圖像的遠程瀏覽與檢索，全球多用戶虛擬環(huán)境共享等，對圖像處理技術的研究變得越來越重要。
圖像的處理包括圖像壓縮，圖像增強和恢復，圖像除噪以及圖像的描述，分類和識別。對于圖像采集、存儲和傳輸過程來說，迫切需要快速發(fā)展圖像壓縮技術。一幅具有中等分辨率(640*480)彩色(24bit/象素)數(shù)字圖像的數(shù)據(jù)量約為7.37Mbit，龐大的數(shù)據(jù)量給圖像的存儲和傳輸帶來了很大的困難。因此，在傳輸前必須對圖像進行編碼。
傳統(tǒng)的JPEG壓縮技術已經(jīng)無法滿足人們對多媒體影像資料的要求，因此需要一種功能更強大、效率更卓越的圖像壓縮標準。在這種背景下JPEG 2000應運而生。
運動聯(lián)合圖像專家組2000(Motion JPEG 2000)是一種對運動圖像的幀內(nèi)編碼方法。它并不利用幀間相關性，而是使用JPEG 2000提供的壓縮手段逐幀去除視頻序列中每一幀的幀內(nèi)冗余。
隨著時間的推移，人們對圖像壓縮處理的要求越來越高。另外，基于互聯(lián)網(wǎng)和無線信道的視頻傳輸已經(jīng)越來越普遍。在實際應用中，有一些重要的圖像，如衛(wèi)星遙感圖像、醫(yī)學圖像等需要通過互聯(lián)網(wǎng)來傳送。而這些圖像傳輸要求確保較高的圖像質量。
然而，由于受到信道寬度的限制，通過互聯(lián)網(wǎng)或無線信道進行的視頻傳輸通常受到網(wǎng)絡擁塞的影響。當網(wǎng)絡出現(xiàn)擁塞時，路由器有選擇地截斷一些表示詳細信息的數(shù)據(jù)分組，這將導致信息被截斷的幀的圖像質量的降低。
在JPEG 2000中，空域信號在經(jīng)過諸如彩色空間變化，去直流，歸一化之類的前處理后，進行離散小波變換(DWT)，以去除數(shù)據(jù)之間的相關性。圖1中示出了一維離散小波變換分解的示意圖。一維DWT的基本濾波方式是通過高頻和低頻濾波器組，將原始信號分解到頻域上兩個互不混疊的子帶上，并通過降采樣來保持信號的數(shù)目不變。一次DWT后剩余的低頻信號往往還具有相關性?？梢栽谄渖显僮鰇(k是整數(shù))級子帶分解，直到信號之間的相關性可以忽略為止。
二維DWT則是在一維的行DWT和降采樣的基礎上，再對列信號進行一次DWT，并進行降采樣以保證變換后的數(shù)據(jù)量與變換前相同。經(jīng)過一次二維DWT變換之后，原圖像被劃分為四個子帶。其中唯一的一個LL子帶(行低頻和列低頻)仍可以繼續(xù)分解，經(jīng)過3-5級后形成分級結構。這種分級結構使JPEG 2000支持多分辨率的碼流結構。
DWT之后的小波系數(shù)需要經(jīng)過量化，JPEG 2000的量化器的一個特殊之處在于引入了“Dead Zone”的概念。對于每個子帶的量化器，“DeadZone”的寬度都是其它步長的2倍。這意味著如果在子帶b內(nèi)采用步長為Δb的量化器，則該子帶的一個系數(shù)y(i，j)可以用 作為量化索引值，其中sign()表示一個變量的符號， 表示向下取整。這種量化方式的優(yōu)點是可以根據(jù)信噪比要求，提供一種漸進的碼率模式，即可以先用較小的步長對信號進行量化。然后根據(jù)用戶的不同需求以較寬的步長(一般是原始步長的2的整數(shù)次冪倍)進行反量化。此時，只需丟棄量化索引值的一些最低有效位(LSB)即可。
然后需要對經(jīng)過量化的小波系數(shù)進行優(yōu)化截斷點的嵌入式塊編碼(Embedded Block Coding with Optimal Truncation)(EBCOT)。EBCOT是一種基于位平面(bit plain)的編碼方式。按照位面從高到低的順序，提取處于相同位平面的數(shù)據(jù)進行編碼。這樣就提供了圖像質量由粗到精的漸進式編碼。同時，EBCOT還提供了對多截斷點的支持，即，為了適應一定的壓縮碼率，可以在JPEG 2000碼流的任何一個截斷點截斷該碼流。相當于丟棄當前位平面中所有不顯著的系數(shù)以及所有顯著系數(shù)的較低有效位。
經(jīng)過EBCOT的碼流送入算術編碼器，打包成Motion JPEG 2000(MJP2)碼流，傳送到解碼端。解碼端的解碼器按照與上面所述相反的順序，即，執(zhí)行算術解碼，逆EBCOT，逆量化，逆離散小波變換以及后處理，得到解碼后的各幀圖像。
漸進可伸縮的解碼模式對于視頻的傳輸同樣重要。在互聯(lián)網(wǎng)或無線信道中，由于受信道帶寬的限制，視頻傳輸經(jīng)常受到網(wǎng)絡擁塞的影響，導致在線收看時出現(xiàn)畫面停頓等現(xiàn)象。如果采用漸進模式傳輸MJP2碼流，當遇到網(wǎng)絡擁塞時，路由器可以主動截斷每一幀的碼流，以減少數(shù)據(jù)量而保證網(wǎng)絡的暢通。此時，用戶仍可以觀看連續(xù)的畫面，但有關圖像的細節(jié)信息被丟失，這必然會導致圖像質量的下降。
因此，需要一種在解碼端盡可能地恢復丟失的圖像的細節(jié)信息的方法。

發(fā)明內(nèi)容
本發(fā)明的目的是提供一種增強接收到的視頻圖像以提高圖像質量的方法，該方法可以利用解碼端接收到的運動圖像各幀的幀間相關性在一定程度上恢復受到信息損失的幀丟失的細節(jié)，從而增強圖像質量。
為了實現(xiàn)本發(fā)明的目的，提供一種視頻圖像增強方法，包括步驟建立用于對數(shù)據(jù)丟失的視頻圖像幀進行增強補償?shù)膱D像參考幀；將數(shù)據(jù)丟失幀劃分成大小為M×N像素的數(shù)據(jù)塊；在參考幀與數(shù)據(jù)丟失幀之間做運動估算，以便在參考幀中搜索與數(shù)據(jù)丟失幀中出現(xiàn)數(shù)據(jù)丟失的數(shù)據(jù)塊匹配的數(shù)據(jù)塊；用在參考幀中搜索到的匹配數(shù)據(jù)塊增強數(shù)據(jù)丟失幀中丟失的數(shù)據(jù)塊。
采用本發(fā)明的運動圖像增強方法可以利用圖像幀之間的相關性來補償增強因網(wǎng)絡傳輸擁塞等造成的圖像數(shù)據(jù)丟失，改善圖像質量。


通過下面結合附圖對本發(fā)明實施例的詳細描述，將使本發(fā)明的上述和其它方面的目的、特征及優(yōu)點變得更明顯并更容易理解，需要說明的是這些實施例僅是為了說明本發(fā)明，而不是將本發(fā)明的技術方案限制于此，其中圖1是說明多級離散小波變換的示意圖；圖2是說明根據(jù)本發(fā)明的實施例對視頻圖像進行增強處理的方法的流程圖；圖3示出了采用根據(jù)本發(fā)明的圖像增強方法對圖像進行增強處理后的圖像的峰值信噪比增益的示意圖。
具體實施例方式
下面參考附圖詳細說明根據(jù)本發(fā)明利用圖像的幀間相關性來增強圖像的方法的實施例。
首先，介紹JPEG 2000標準及離散小波變換。JPEG 2000作為JPEG的升級版，具有以下特點1.高壓縮率JPEG 2000壓縮性能比JPEG提高了大約20％，也就是說，在同樣的壓縮率下，JPEG 2000對圖像的失真比JPEG小大約20％。同時，使用JPEG2000的系統(tǒng)穩(wěn)定性好，運行平穩(wěn)，抗干擾性好，易于操作。
2.同時支持有損和無損壓縮JPEG只支持有損壓縮，而JPEG 2000能支持無損壓縮。在實際應用中，諸如衛(wèi)星遙感圖像、醫(yī)學圖像、文物照片等重要的圖像都非常適合于采用JPEG 2000壓縮。
3.實現(xiàn)了漸進傳輸(progressive transmission)這是JPEG 2000一個極其重要的特征，它可以先傳輸圖像的輪廓，然后逐步傳輸數(shù)據(jù)，不斷提高圖像質量，讓圖像由朦朧到清晰顯示，而不必像現(xiàn)在的JPEG那樣，由上到下慢慢顯示，這在網(wǎng)絡傳輸中有重大意義。
4.支持“感興趣區(qū)域”(Region Of Interest(ROI))用戶可以任意指定圖像上感興趣區(qū)域的壓縮質量，還可以選擇指定的部分先解壓縮，從而使重點突出。這種方法的優(yōu)點在于它結合了接收方對壓縮的主觀需求，實現(xiàn)了交互式壓縮。
JPEG 2000與傳統(tǒng)JPEG最大的不同在于它放棄了JPEG所采用的以離散余弦變換為主的區(qū)塊編碼方式，轉而采用以小波變換為主的多分辨率編碼方式。
小波變換是現(xiàn)代譜分析工具，它既能考察局部時域過程的頻域特征，又能考察局部頻域過程的時域特征，因此即使對于非平穩(wěn)過程，處理起來也得心應手。它能將圖像變換為一系列小波系數(shù)，這些系數(shù)可以被高效壓縮和存儲，此外，小波的粗略邊緣可以更好地表現(xiàn)圖像，因為它消除了DCT壓縮普遍具有的方塊效應。
小波在空間和頻率域上的局域性，是統(tǒng)計意義上的局域性。這里說的局域性，指的是一個變換系數(shù)實際牽涉到的圖像空間范圍是局部的。因而，要完全恢復圖像中的某個局部，并不需要所有的編碼都被精確地保留，只需要對應于它的一部分編碼沒有誤差就可以了。所以，能實現(xiàn)感興趣區(qū)域壓縮。同時JPEG 2000支持整形小波，因而能夠實現(xiàn)無損壓縮。
小波建立在三個主要的基礎理論之上，分別是階層式編碼(pyramidcoding)、濾波器組理論(filter bank theory)、以及子帶編碼(subbandcoding)，小波變換結合了此三項技術。小波變換能將各種交織在一起的不同頻率組成的信號，分解成不相同頻率的信號，因此能有效的應用于編碼、解碼、檢測邊緣、壓縮數(shù)據(jù)，及將非線性問題線性化。良好的分析局部的時域與頻域的信號，彌補傅利葉轉換中的缺失。
下面說明本發(fā)明的基于JPEG 2000碼流增強視頻圖像的原理。
Motion JPEG 2000是一種用于編碼運動圖像的新的國際標準。使用與JPEG 2000相同的幀內(nèi)編碼技術。碼流被逐幀地預先打包。當出現(xiàn)網(wǎng)絡擁塞時，路由器有選擇地丟棄某些不重要的部分，并且只傳輸用于圖像重構的重要部分。所謂不重要的數(shù)據(jù)包是指對人的視覺影響較小，圖像分辨率較高或較清晰的數(shù)據(jù)包。高頻信息的丟失將緩解網(wǎng)絡傳輸?shù)呢摀?，但在一定程度上會降低圖像的質量。
鑒于Motion JPEG 2000采用幀內(nèi)編碼技術，編碼后的運動圖像的各幀之間的幀間相關性依然存在，某一幀圖像在傳輸過程中丟失的信息并不會影響到其它幀。因此，可以在解碼端利用未受到圖像數(shù)據(jù)損失的相關幀在一定程度上恢復丟失的數(shù)據(jù)，從而增強圖像質量。
根據(jù)本發(fā)明的實施例，例如在通過互聯(lián)網(wǎng)接收圖像的過程中，假設當前幀出現(xiàn)了圖像數(shù)據(jù)損失，而參考幀相對保持完好。首先在當前幀和參考幀之間做出運動估算。假設接收到的各幀數(shù)據(jù)經(jīng)解碼后得到幀序列In。根據(jù)JPEG 2000的漸進傳輸原理，接收到的數(shù)據(jù)量越多，恢復的圖像質量就越好。因此，如果在接收端檢測到某一幀的數(shù)據(jù)量明顯小于其它幀的數(shù)據(jù)量，則該幀中可能出現(xiàn)數(shù)據(jù)丟失。在這種情況下，需要對接收到的當前幀進行圖像增強。
下面結合圖2說明對視頻圖像進行離散小波變換的增強過程。
對圖像增強的過程需要利用參考幀，這個參考幀應該是已經(jīng)接收到的未受到數(shù)據(jù)損失的某一幀。為了進行圖像增強，在接收端需要設置緩存器來存儲用于對數(shù)據(jù)丟失的圖像幀進行增強的參考幀，即，在緩存器中存儲一幀未受到數(shù)據(jù)損失的圖像信號。在接收過程中判斷新接收的圖像幀是否受到數(shù)據(jù)損失。如果新的一幀沒有受到數(shù)據(jù)損失，可用新的一幀刷新緩存器。
為了便于討論，在下面的例子中假設接收的當前幀，例如，In的圖像數(shù)據(jù)受到損失。應該理解，圖像數(shù)據(jù)被在網(wǎng)絡傳輸過程中被截斷的幀不限于當前幀?？衫?，例如，緩存器存儲的未受到數(shù)據(jù)損失的前一幀In-1幀作為參考幀。用xn(i，j)表示出現(xiàn)數(shù)據(jù)丟失的第n幀的空域信號，經(jīng)過多級的DWT變換后，子帶b內(nèi)的小波系數(shù)表示為ybn(i，j)，b∈{kLL，kHL，kLH，kHH}，其中kHL(k是正整數(shù))表示在第k層分解中對行信號進行高通濾波，對列信號進行低通濾波后間隔采樣的結果。
為了敘述方便起見，假設每幀圖像都只經(jīng)過一級離散小波變換(DWT)。由于傳輸?shù)氖沁\動圖像，為了對受到數(shù)據(jù)損失的圖像幀進行圖像增強，首先需要找到參考幀與當前幀的匹配數(shù)據(jù)塊。如圖2所示，在LL子帶內(nèi)將第In幀頻域信號在劃分為固定大小的M*N(M和N是正整數(shù))個像素的數(shù)據(jù)塊，逐個數(shù)據(jù)塊地在In-1的LL子帶和其經(jīng)過運動偏移后的三個LL子帶中進行運動搜索和匹配(具體方法將在之后詳述)。如果得到匹配，則用第In-1幀的該數(shù)據(jù)塊對第In幀的數(shù)據(jù)進行增強。如果未得到匹配，則放棄參考幀的該數(shù)據(jù)塊。
由于圖像的運動性，參考幀與受到損失的當前幀之間的相關數(shù)據(jù)塊之間存在著一定的偏移。這種情況下，為了找到匹配的數(shù)據(jù)塊進行圖像增強，需要移動圖像幀的像素。在本實施例中，搜索相關數(shù)據(jù)塊的過程是通過移動參考幀的數(shù)據(jù)塊進行的。
為了搜索對應的數(shù)據(jù)塊，對第In-1幀的頻域信號進行逆離散小波變換(IDWT)，以便得到第In-1幀的空域信號xn-1(i，j)。接下來，將空域信號xn-1(i，j)沿x軸，y軸以及x＝y(tǒng)方向各移動一個像素，得到三幅圖像xn-1(i-1，j)、xn-1(i，j-1)、和xn-1(i-1，j-1)。分別對這三幅圖像進行DWT變換，得到三個經(jīng)過移位的第In-1幀的頻域信號。將轉換后的信號表示為yb(1)n-1(i，j)、yb(2)n-1(i，j)、和yb(3)n-1(i，j)，而yb(0)n-1(i,j)=ybn-1(i,j).]]>之所以進行這樣的移動是因為圖像在DWT變換之后要進行降采樣，如果一個數(shù)據(jù)塊在兩幀之間移動奇數(shù)個像素，則降采樣之后在兩幀之間保留下來的樣本互為補集。在x、y和x＝y(tǒng)方向各移動一個像素，再加上圖像自身就包括了數(shù)據(jù)塊在平面的兩個方向上所有運動的奇偶組合。
將接收到的當前幀的LL子帶內(nèi)的頻域信號yLLn(i，j)劃分為固定大小的數(shù)據(jù)塊，例如8*8。然后逐個在參考幀的四個LL子帶yLL(0)n-1(i，j)、yLL(1)n-1(i，j)、yLL(2)n-1(i，j)、yLL(3)n-1(i，j)中搜索與當前幀的該每個數(shù)據(jù)塊最相似的數(shù)據(jù)塊。
搜索過程可采用三步法，判斷兩個數(shù)據(jù)塊是否相似可以采用最大絕對距離(MAD)法則，即計算當前幀與移位的參考幀的對應子帶的頻域信號之間的差值的絕對值之和，即，計算Σ(i,j)∈block|yLLn(i,j)-yLL(k)n-1(i+di,j+dj)|,]]>找到使該取最小值時的(di，dj，k)。將該最小值與預先設定的閾值比較。如果該最小值大于設定的閾值，則表明兩個數(shù)據(jù)塊不匹配。如果該最小值小于或等于設定的閾值，則將該(di，dj，k)作為運動矢量記錄下來。這種運動補償方法被稱為低帶移位法(Low-Band-Shift)，其特點是可以在高頻子帶的信息丟失較多時仍能得到精確的運動矢量。
在參考幀中找到了與當前幀的某個小波系數(shù)yLLn(i，j)對應的運動矢量(di，dj，k)后，其在參考幀中對應的小波系數(shù)則是yLL(k)n-1(i+di，j+dj)。此后，可對當前幀中損失數(shù)據(jù)進行增強。作為例子，例如，如果在傳輸過程中yLLn(i，j)丟失了當前幀的p個最低有效位，在接收端實際收到的則是 此時可以得到下面的公式(1)表示的未經(jīng)損失的yLLn(i，J)的分布范圍 用在上式所列范圍內(nèi)與yLL(kn-1(i+di，j+dj)最接近的值作為對受到損失的當前幀的小波系數(shù) 的增強結果。其具體操作如下如果參考幀中的小波系數(shù)yLL(kn-1(i+di，j+dj)中除最后p個最低有效位外均與 相同，即 則可以令y··LL(kn-1(i+di,j+dj)]]>作為 的增強結果。也就是說，用yLL(kn-1(i+di，j+dj)的最后p個最低有效位來補償受到損失的當前幀的 如果參考幀中的小波系數(shù)yLL(kn-1(i+di，j+dj)中除最后p個最低有效位外仍與 有不同，則比較公式(1)中的不等式確定的區(qū)間的兩個端點。在這兩個端點中選擇距yLL(kn-1(i+di，j+dj)較近的一個點作為對當前幀的增強結果。
在最壞的情況下，當前幀的yLLn(i，j)丟失了其所有的有效位(例如，整個子帶內(nèi)的數(shù)據(jù)都被丟失)，這種情況下，則直接令當前幀中的y··LLn(i,j)=yLL(kn-1(i+di,j+dj).]]>根據(jù)離散小波變換的性質，對于圖像的三個高頻子帶HL、LH和HH，不需要再到前一幀中做運動估算和查找對應的數(shù)據(jù)塊。如果某個小波系數(shù)yLLn(i，j)對應運動矢量(di，dj，k)，則對于所有的子帶b，則有ybn(i，j)對應的運動矢量都是(di，dj，k)。這種情況下下，可以用參考幀中的系數(shù)yb(k)n-1(i+di，j+dj)作為參考量來增強丟失數(shù)據(jù)的當前幀的系數(shù)ybn(i，j)。
經(jīng)過對丟失數(shù)據(jù)的當前幀的小波系數(shù)進行增強處理之后，對增強后的小波系數(shù)進行逆離散小波變換和諸如直流復原，顏色空間逆變換等之類的后處理，就可以在接收端恢復出視頻圖像經(jīng)過增強后的重建圖像。
上面為了簡單起見以一級DWT為例說明了利用圖像的幀間相關性對視頻圖像進行補償增強的方法。一般情況下，一幀圖像在編碼之前要經(jīng)過3-5級的DWT變換。上述算法可以推廣到m級的DWT變換。其過程如下1.按照一級DWT變換的方法，對In的LLm，HLm，LHm，HHm(m是整數(shù))子帶進行增強。
2.對增強后的四個子帶進行逆DWT變換，以得到第m級DWT變換之前的低頻子帶LLm-1。
3.LLm-1是一個增強后的子帶，在此基礎上可對m-1級的其它三個子帶HLm-1，LHm-1，HHm-1進行補償增強。其增強方法與前面說明的過程相似。另外，應指出的是，可以用上一級的運動矢量(di，dj，k)m來加快對本級運動矢量的搜索。
4.由此如上所述的方式按照分辨率由低到高的順序逐級對受到數(shù)據(jù)丟失的圖像幀進行增強，直到整個處理過程結束。
圖3示出了采用根據(jù)本發(fā)明的圖像增強方法對圖像進行增強處理后的圖像的峰值信噪比增益。該實例對MPEG-2標準測試圖像“運動物體和日歷”進行了測試。所采用的參數(shù)如下視頻序列運動物體和日歷，選取300幀圖像，352*288像素/幀，圖像采用逐行掃描方式。
小波基采用JPEG 2000 Part 1提供的9/7實型濾波器組；運動補償采用低頻帶移位(Low-Band-Shift)。
壓縮率為2.0bpp。其中對奇數(shù)幀進行了截斷處理，截斷后的碼流相當于1.0bpp。通過采用本發(fā)明的方法對截斷的奇數(shù)幀進行增強處理后，可得到平均為3.12dB的峰值信噪比。圖3中的橫坐標表示幀序號，縱坐標表示峰值信噪比。圖中的空白方框連成的曲線表示經(jīng)過圖像增強后的峰值信噪比，黑方塊連成的曲線表示原始圖像的峰值信噪比。從圖3中可以明顯看出，經(jīng)過增強處理的圖像比處理前的圖像質量由了明顯改善。
至此已結合特定實施例描述了本發(fā)明，應該指出，在此所作的描述只作為說明的目的，在不脫離下面權利要求的精神或范圍的情況下可對本發(fā)明進行改變和變化。
權利要求
1.一種視頻圖像增強方法，包括步驟建立用于對數(shù)據(jù)丟失的視頻圖像幀進行增強補償?shù)膱D像參考幀；將數(shù)據(jù)丟失幀劃分成大小為M×N(M和N均為正整數(shù))像素的數(shù)據(jù)塊；在參考幀與數(shù)據(jù)丟失幀之間做運動估算，以便在參考幀中搜索與數(shù)據(jù)丟失幀中出現(xiàn)數(shù)據(jù)丟失的數(shù)據(jù)塊匹配的數(shù)據(jù)塊；用在參考幀中搜索到的匹配數(shù)據(jù)塊增強數(shù)據(jù)丟失幀中丟失的數(shù)據(jù)塊。
2.根據(jù)權利要求1所述的視頻圖像增強方法，其特征在于進一步包括在建立所述圖像參考幀之后，將所述參考幀存儲在存儲器中的步驟。
3.根據(jù)權利要求1或2所述的視頻圖像增強方法，其特征在于所述在參考幀與數(shù)據(jù)丟失幀之間做運動估算的步驟是對參考幀的頻域信號與數(shù)據(jù)丟失幀的頻域信號進行運動搜索和匹配。
4.根據(jù)權利要求1所述的視頻圖像增強方法，其特征在于在視頻圖像發(fā)送端對經(jīng)過至少一級離散小波變換的運動圖像幀進行幀內(nèi)編碼。
5.根據(jù)權利要求1或4所述的視頻圖像增強方法，其特征在于在參考幀中搜索所述匹配數(shù)據(jù)塊的步驟包括利用逆離散小波變換將參考幀的頻域信號轉換成空域信號的步驟。
6.根據(jù)權利要求5所述的視頻圖像增強方法，其特征在于進一步包括將得到的所述空域信號在x軸，y軸以及x＝y(tǒng)的方向移動一個像素，并對所得到的三個移動方向的圖像信號進行離散小波變換以得到參考幀經(jīng)移位的頻域信號的步驟。
7.根據(jù)權利要求6所述的視頻圖像增強方法，其特征在于進一步包括計算經(jīng)過離散小波變換的參考幀的移動圖像的頻域信號與數(shù)據(jù)丟失幀的頻域信號之間的差值的絕對值，并將得到的最小值與預先設定的閾值比較的步驟。
8.根據(jù)權利要求所述7的視頻圖像增強方法，其特征在于如果所述最小值大于設定的閾值，則表明參考幀和數(shù)據(jù)丟失幀的兩個數(shù)據(jù)塊不匹配；如果該最小值小于或等于設定的閾值，則記錄所述參考幀移位的運動矢量，和用所述參考幀中與該運動矢量對應的小波系數(shù)增強所述的數(shù)據(jù)丟失幀的數(shù)據(jù)塊。
9.根據(jù)權利要求所述8的視頻圖像增強方法，其特征在于如果只有參考幀中的小波系數(shù)中的p個最低有效位與數(shù)據(jù)丟失幀的小波系數(shù)的最低有效位不同，則用參考幀的小波系數(shù)中的最低有效位增強數(shù)據(jù)丟失幀的小波系數(shù)的最低有效位，否則用數(shù)據(jù)丟失幀的小波系數(shù)允許的動態(tài)范圍內(nèi)與參考幀最接近的數(shù)值來增強該系數(shù)。
10.根據(jù)權利要求所述1，2，4，5至9中的任何一項所述的視頻圖像增強方法，其特征在于進一步包括在對丟失數(shù)據(jù)的所述數(shù)據(jù)丟失幀的增強后的小波系數(shù)進行逆離散小波變換和直流復原，顏色空間逆變換以恢復視頻圖像經(jīng)過增強后的重建圖像的步驟。
全文摘要
本發(fā)明公開了一種視頻圖像增強方法，包括步驟建立用于對數(shù)據(jù)丟失的視頻圖像幀進行增強補償?shù)膱D像參考幀；將數(shù)據(jù)丟失幀劃分成大小為M×N(M和N均為正整數(shù))像素的數(shù)據(jù)塊；在參考幀與數(shù)據(jù)丟失幀之間做運動估算，以便在參考幀中搜索與數(shù)據(jù)丟失幀中出現(xiàn)數(shù)據(jù)丟失的數(shù)據(jù)塊匹配的數(shù)據(jù)塊；用在參考幀中搜索到的匹配數(shù)據(jù)塊增強數(shù)據(jù)丟失幀中丟失的數(shù)據(jù)塊。本發(fā)明的運動圖像增強方法可以利用圖像幀之間的相關性來補償增強因網(wǎng)絡傳輸擁塞等造成的圖像數(shù)據(jù)丟失，改善圖像質量。
文檔編號H04N7/26GK1568011SQ03149199
公開日2005年1月19日 申請日期2003年6月20日 優(yōu)先權日2003年6月20日
發(fā)明者劉煒, 鄭文濤 申請人:松下電器產(chǎn)業(yè)株式會社