專利名稱：高性能空域可伸縮的運動估計與運動矢量編碼實現(xiàn)方法
技術(shù)領(lǐng)域：
本發(fā)明屬于信息技術(shù)領(lǐng)域，具體涉及到可伸縮的視頻編解碼體系結(jié)構(gòu)中高性能空域可伸縮的運動估計與運動矢量編碼實現(xiàn)方法。
背景技術(shù)：
相對于傳統(tǒng)分塊DCT技術(shù)以及運動補償DPCM閉環(huán)架構(gòu)的數(shù)字視頻編解碼體系(H.26x和MPEG系列)，基于小波核的視頻編碼體系結(jié)構(gòu)因具有自適應(yīng)的空域、時域以及質(zhì)量可伸縮性，而能滿足視頻傳輸網(wǎng)絡(luò)的異構(gòu)性(Heterogeneous)，網(wǎng)絡(luò)帶寬的波動性以及用戶視頻接收終端的多樣性，從而滿足現(xiàn)代信息社會的發(fā)展和用戶的需求。由于空域可伸縮的視頻碼流必須具有相對應(yīng)空域分辨率級的運動矢量，而目前的大部分算法是在原始分辨率級的基礎(chǔ)上對運動矢量進行采樣來得到縮小的分辨率級上的運動矢量，這樣使得縮小分辨率級上的運動矢量準(zhǔn)確度不高，從而影響重建視頻幀的質(zhì)量以及空域可伸縮的性能。

發(fā)明內(nèi)容
針對上述背景技術(shù)中存在的缺陷和不足，本發(fā)明的目的在于，提供以聯(lián)合空域小波核低通濾波技術(shù)為核心，能自適應(yīng)視頻傳輸網(wǎng)絡(luò)的異構(gòu)性、網(wǎng)絡(luò)帶寬的波動性以及用戶視頻接收終端的多樣性的高性能空域可伸縮(Scalability)的運動估計和運動矢量編碼實現(xiàn)方法。
實現(xiàn)上述任務(wù)的技術(shù)解決解決方案是采用聯(lián)合空域小波核低通濾波技術(shù)為核心，能自適應(yīng)視頻傳輸網(wǎng)絡(luò)的異構(gòu)性、網(wǎng)絡(luò)帶寬的波動性以及用戶視頻接收終端的多樣性，該方法包括下列步驟1)通過“聯(lián)合空域提升小波濾波的低通濾波”技術(shù)實現(xiàn)視頻幀的分級降維；
2)通過“子像素精度可變塊大小分級運動估計”技術(shù)，提高運動估計的速度和運動矢量的精度；3)通過“分級的運動矢量算術(shù)編碼”技術(shù)，實現(xiàn)運動矢量的可伸縮性編碼；4)通過“運動矢量碼流抽取”技術(shù)，得到用戶需求的空域可伸縮的視頻碼流。
所述“聯(lián)合空域提升小波濾波的低通濾波”技術(shù)是，對要做運動估計的當(dāng)前幀和參考幀的兩幀首先經(jīng)過低通濾波器來實現(xiàn)分級降維，實現(xiàn)不同分辨率級的金字塔結(jié)構(gòu)。而低通濾波器的選擇是根據(jù)空域小波濾波器來選擇的，通過運動估計就可以得到分級的運動矢量，不同分辨率級和分級運動矢量是一一對應(yīng)的，這樣在空域可伸縮得到縮減的分辨率級的運動矢量就是沒有經(jīng)過采樣而是與其對應(yīng)的運動矢量，從而提高了運動矢量的精度，進一步提高了通過運動補償時域提升小波合成的分辨率縮減的視頻幀序列的質(zhì)量，實現(xiàn)了高性能的空域可伸縮的視頻編解碼。
所述“子像素精度可變塊大小分級運動估計”技術(shù)是，在相鄰兩幀之間運用基于宏塊匹配的方法在分級后的各分辨率級上進行子象素精度的運動估計，先從第一級分辨率就是最低分辨率級上根據(jù)視頻幀內(nèi)的運動情況進行自適應(yīng)變塊大小的運動估計，此后的每一級運動估計均是在前一級運動估計的基礎(chǔ)上進行的，從而進一步提高運動估計的精確度，找到相應(yīng)分辨率級視頻幀內(nèi)的運動相關(guān)聯(lián)像素，使得運動補償?shù)臅r域提升小波更好的消除時域信息冗余。
所述“運動矢量分級的算術(shù)編碼”技術(shù)是，對不同分辨率級上得到的運動矢量進行統(tǒng)一編碼，并利用這些運動矢量之間的信息相關(guān)性，進行差錯算術(shù)編碼，得到可伸縮的分級運動矢量碼流。
所述“運動矢量碼流抽取”技術(shù)是，對經(jīng)過分級編碼的運動矢量碼流，根據(jù)用戶不同終端、不同帶寬和視頻傳輸網(wǎng)絡(luò)的異構(gòu)性結(jié)合視頻碼流來分配和抽取可伸縮的分級運動矢量碼流。不同空域分辨率級的可伸縮對應(yīng)不同的分辨率級的運動矢量碼流，這樣就實現(xiàn)了高性能的視頻碼的流空域可伸縮。
本發(fā)明的方法是一種具有高性能空域可伸縮性的分級自適應(yīng)變塊大小的運動估計和分級的運動矢量編碼的設(shè)計方案，通過結(jié)合運動補償時域提升小波、空域離散小波變換以及三維熵編碼技術(shù)，實現(xiàn)高可伸縮性的視頻編解碼，能滿足異構(gòu)網(wǎng)絡(luò)下，不同帶寬不同終端用戶的需求。


圖1是本發(fā)明實施例聯(lián)合視頻幀空域小波濾波的低通濾波實現(xiàn)分級的結(jié)構(gòu)示意圖。
圖2是本發(fā)明實施例低通濾波基于提升算法實現(xiàn)的結(jié)構(gòu)示意圖。
圖3是本發(fā)明實施例子像素精度可變塊大小分級運動估計的流程圖。
圖4是本發(fā)明實施例通過可變宏塊大小的分級運動估計方法得到運動矢量的分級樹型結(jié)構(gòu)。
圖5是本發(fā)明實施例分級的運動矢量算術(shù)編碼流程圖。
圖6是本發(fā)明實施例分級運動矢量碼流抽取示意圖。
圖7是本發(fā)明實施例空域一級可伸縮的視頻示意圖。
具體實施例方式
下面結(jié)合附圖和實施例對本發(fā)明進一步詳細說明，但本發(fā)明不限于這個實施例。
按照本發(fā)明的技術(shù)方案，發(fā)明人給出了本發(fā)明的實施例。在本實施例中使用的是一組雙正交小波濾波器——5/3雙正交小波。
在圖1中，給出了本實施例的基于聯(lián)合空域小波濾波對原視頻幀空域低通濾波實現(xiàn)分級運動估計的結(jié)構(gòu)示意圖。
在圖2中，給出了本實施例的用于空域分級的提升小波濾波變換示意圖。由于在本實施例的小波視頻編解碼體系中采用的空域小波變換是5/3小波，所以在分級的運動估計中，空域分級采用的也是5/3提升小波，主要有兩步，一步為偶數(shù)點預(yù)測奇數(shù)點，一步為奇數(shù)點更新偶數(shù)點。
step1Y(2n+1)＝Xext(2n+1)+α×(Xext(2n)+Xext(2n+2))step2Y(2n)＝Xext(2n)+β×(Y(2n-1)+Y(2n+1))輸入視頻序列到提升小波變換中，先對原視頻幀的行進行提升小波變換，然后對行變化的結(jié)果進行列方向上的提升小波變換，這樣就完成了一次小波濾波，但只保留空域能量高的低頻子帶信息即1LL子帶，這個LL子帶就是本實施例分級運動估計中的第二級，即為原視頻幀分辨率的1/4。根據(jù)空域可伸縮性的級數(shù)來設(shè)計空域小波低通濾波的級數(shù)，本實施例采用3級可伸縮性，只需兩級小波低通濾波。也就是對1LL子帶繼續(xù)進行小波低通濾波，方法同上，得到2LL子帶，形成本實施例分級運動估計的第一級，即為原視頻幀分辨率的1/16。本實施例參考幀和當(dāng)前幀均經(jīng)過兩級小波低通濾波后，得到三級的金字塔，然后對三級的金字塔進行自適應(yīng)可變塊大小的運動估計。
在圖3中，給出了本實施例可變宏塊大小的分級運動估計流程圖。
在圖4中，給出了本實施例通過可變宏塊大小的分級運動估計方法得到的分級樹型結(jié)構(gòu)。本實施例原視頻幀的宏塊大小為64×64，最小為4×4。經(jīng)5/3小波低通濾波形成的三級金字塔中的第一級對應(yīng)的最大宏塊為16×16，即原視頻幀宏塊的1/16；第二級對應(yīng)的最大宏塊為32×32。對于視頻幀邊界處也有64×32等宏塊。對第一級的視頻幀作可變塊大小運動估計，得到最小宏塊為4×4的運動矢量。對第二級、第三級的搜索都是部為一個64*64塊的運動矢量(邊界情況還包括64*32，32*64和32*32)，底部最小為個4*4塊大小的運動矢量。本實施例的具體步驟為Step1第一級運動估計，使用最大塊(16*16)進行塊匹配，最大象素位移為±1，搜索算法為全搜索，匹配準(zhǔn)則為最小化絕對象素差MAD，MAD=Σy=y0y0+yblkΣx=x0x0+xblk|frame1[x,y]-frame0[x-dx,y-dy]|,]]>[dx,dy]=argmin-1≤dx,dy≤1MAD(dx,dy)]]>
進行全搜索時，先進行整數(shù)像素精度的運動矢量搜索；然后進行默認(rèn)1/2像素精度的運動矢量搜索，把參考幀進行插值，在上述整像素精度級運動矢量的基礎(chǔ)上繼續(xù)在插值后的參考幀進行1/2像素精度全搜索，從而獲得使MAD值最小的運動矢量，使運動矢量更精確。做完第一級運動估計后，得到第一棵3級的運動矢量四叉樹，頂端是16×16的宏塊，葉子節(jié)點存儲的為4×4宏塊的運動矢量。
Step2第二級運動估計，首先對第一級中得到的運動矢量樹進行更精確的運動定位，把第一級的運動矢量均乘以2，得到近似的第二級運動矢量的初始迭代值，重新進行半象素精度搜索，即在由第一級運動矢量得到的初始矢量基礎(chǔ)上，把參考幀的第二級進行插值，對第二級進行半象素精度搜索，得到使MAD最小的半像素精度的運動矢量，并對第一級得到的運動矢量進行修正，由于第一級最小宏塊4×4的運動矢量相當(dāng)于第二級最小宏塊8×8的運動矢量，在進行下一級子宏塊搜索時，初始運動矢量設(shè)為0，這樣就形成第二級最小宏塊為4×4的運動矢量。子塊分解是根據(jù)宏塊的像素絕對誤差和子宏塊平均絕對誤差比較進行的，如果宏塊絕對誤差大于四個子宏塊絕對誤差的平均值，則進行分解，否則不分塊。做完第二級運動估計后，得到第二棵運動矢量樹——4級的運動矢量四叉樹。
Step3第三級運動估計，和第二級運動估計過程基本一樣，但第三級使用要求的運動矢量搜索精度，如整像數(shù)精度，1/2，1/4像素精度或1/8像素精度。做完第三級運動估計后，得到第三棵運動矢量樹——5級的運動矢量的四叉樹。
在圖5中，給出了本實施例分級運動矢量編碼的流程圖，主要由分級運動矢量樹結(jié)構(gòu)編碼器和運動矢量的自適應(yīng)二進制算術(shù)編碼器兩部分組成。對不同分辨率級上得到的運動矢量進行統(tǒng)一編碼，并利用這些運動矢量之間的信息相關(guān)性，進行差錯算術(shù)編碼，得到可伸縮的分級運動矢量碼流。
運動矢量存儲的基本結(jié)構(gòu)是分級的運動矢量樹，各幀的運動矢量就是存放在一定數(shù)量的運動矢量樹中。以分級運動矢量樹編碼為單位進行運動矢量編碼。根據(jù)分級運動矢量樹的結(jié)構(gòu)，非終結(jié)點用1標(biāo)識，都有四個孩子；每個葉子節(jié)點用0標(biāo)識，代表一定大小的象素塊的運動矢量。對于葉子節(jié)點，保存了x和y方向的運動矢量值(mvx，mvy)。
分級的運動矢量樹結(jié)構(gòu)編碼采用深度優(yōu)先遍歷整個運動矢量樹。遍歷過程中遇到非葉子節(jié)點編碼為1輸出；遇到葉子節(jié)點時首先判斷是否為最小塊，不是則輸出0，然后編碼該象素塊的類型，是最小快，則直接編碼塊類型。
運動矢量值編碼采用自適應(yīng)算術(shù)編碼方法對運動矢量的差值編碼。采用深度優(yōu)先的遍歷方式找到葉子節(jié)點。對葉子節(jié)點的(mvx1，mvy1)與前一個葉子(mvx0，mvy0)的差值(dmvx，dmvy)分別編碼，輸出壓縮的字節(jié)碼流，每次編碼結(jié)束后要對算術(shù)編碼的概率表進行更新。
編碼的過程中注意記錄編碼輸出的字節(jié)數(shù)，每一幀矢量編碼后在輸出編碼數(shù)據(jù)的起始位置先輸出該幀的分級運動矢量編碼字節(jié)數(shù)目。
在圖6中，給出了本實施例根據(jù)客戶端的不同需求而對分級運動矢量碼流進行不同的抽取，以實現(xiàn)高性能的空域可伸縮視頻碼流。
在圖7中，給出了本實施例的一級空域可伸縮視頻，即為原視頻幀序列分辨率的1/4。這是通過把空域經(jīng)5/3提升小波第一級分解形成的LH，HL，HH子帶進行截斷，而只保留第一級空域提升小波分解的LL子帶。運動矢量碼流的抽取就是根據(jù)客戶端的空域分辨率進行的，就是把運動矢量碼流中的第二級運動矢量抽取，而把第一級和第三級運動矢量碼流截斷。由于第二級運動矢量是在空域小波分級的第一級LL子帶上進行的，所以經(jīng)過運動矢量解碼器解碼的運動矢量對空域分辨率具有對應(yīng)性和高精度的特征，從而提高了空域分辨率可伸縮時的運動矢量的準(zhǔn)確度和空域分辨率可伸縮的視頻碼流經(jīng)解碼合成后的視頻幀的質(zhì)量，實現(xiàn)了高性能的空域可伸縮性視頻編解碼。
權(quán)利要求
1.高性能空域可伸縮的運動估計與運動矢量編碼實現(xiàn)方法，其特征在于，采用聯(lián)合空域小波核低通濾波技術(shù)為核心，能自適應(yīng)視頻傳輸網(wǎng)絡(luò)的異構(gòu)性、網(wǎng)絡(luò)帶寬的波動性以及用戶視頻接收終端的多樣性，該方法包括下列步驟1)對要做運動估計的視頻幀的當(dāng)前幀和參考幀的兩幀首先經(jīng)過低通濾波器來實現(xiàn)分級降維，實現(xiàn)不同分辨率級的金字塔結(jié)構(gòu)，而低通濾波器的選擇是根據(jù)空域小波濾波器來選擇的，通過運動估計就可以得到分級的運動矢量，不同分辨率級和分級運動矢量是一一對應(yīng)的，這樣在空域可伸縮得到縮減的分辨率級的運動矢量就是沒有經(jīng)過采樣而是與其對應(yīng)的運動矢量，從而提高了運動矢量的精度，進一步提高了通過運動補償時域提升小波合成的分辨率縮減的視頻幀序列的質(zhì)量，實現(xiàn)高性能的空域可伸縮的視頻編解碼；2)在相鄰兩幀之間運用基于宏塊匹配的方法在分級后的各分辨率級上進行子象素精度的運動估計，先從第一級分辨率就是最低分辨率級上根據(jù)視頻幀內(nèi)的運動情況進行自適應(yīng)變塊大小的運動估計，此后的每一級運動估計均是在前一級運動估計的基礎(chǔ)上進行的，從而進一步提高運動估計的精確度，找到相應(yīng)分辨率級視頻幀內(nèi)的運動相關(guān)聯(lián)像素，使得運動補償?shù)臅r域提升小波更好的消除時域信息冗余；3)對不同分辨率級上得到的運動矢量進行統(tǒng)一編碼，并利用這些運動矢量之間的信息相關(guān)性，進行差錯算術(shù)編碼，得到可伸縮的分級運動矢量碼流；和4)對經(jīng)過分級編碼的運動矢量碼流，根據(jù)用戶不同終端、不同帶寬和視頻傳輸網(wǎng)絡(luò)的異構(gòu)性結(jié)合視頻碼流來分配和抽取可伸縮的分級運動矢量碼流。不同空域分辨率級的可伸縮對應(yīng)不同的分辨率級的運動矢量碼流，這樣就實現(xiàn)了高性能的視頻碼的流空域可伸縮。
全文摘要
本發(fā)明公開了高性能空域可伸縮的運動估計與運動矢量編碼實現(xiàn)方法，采用聯(lián)合空域小波核低通濾波技術(shù)為核心，能自適應(yīng)視頻傳輸網(wǎng)絡(luò)的異構(gòu)性、網(wǎng)絡(luò)帶寬的波動性以及用戶視頻接收終端的多樣性，采用聯(lián)合空域小波濾波的低通濾波實現(xiàn)視頻幀的分級降維；運用子像素精度的可變塊大小分級運動估計提高運動矢量精度和時域壓縮性能；采用分級的運動矢量算術(shù)編碼，實現(xiàn)運動矢量的可伸縮性編碼；通過分級運動矢量碼流抽取，得到用戶需求的空域可伸縮的視頻碼流，實現(xiàn)視頻幀序列的高性能空域可伸縮性。本發(fā)明通過結(jié)合運動補償時域提升小波、空域離散小波變換以及三維熵編碼技術(shù)，實現(xiàn)高可伸縮性的視頻編解碼，能滿足異構(gòu)網(wǎng)絡(luò)下，不同帶寬不同終端用戶的需求。
文檔編號H04N7/28GK1665300SQ200510041910
公開日2005年9月7日 申請日期2005年4月7日 優(yōu)先權(quán)日2005年4月7日
發(fā)明者蘭旭光, 薛建儒, 鄭南寧, 邢星, 劉相富 申請人:西安交通大學(xué)