專利名稱：一種多視點(diǎn)視頻編碼快速運(yùn)動估計(jì)方法
技術(shù)領(lǐng)域：
本發(fā)明涉及數(shù)字視頻信號編碼領(lǐng)域，具體來說是一種多視點(diǎn)視頻編碼快速運(yùn)動估 計(jì)方法。
背景技術(shù)：
多視點(diǎn)視頻是用一組攝像頭從多個(gè)角度對同一場景進(jìn)行拍攝得到的視頻數(shù)據(jù)，它 是三維電視(3DTV)和自由視點(diǎn)電視(FTV)的重要輸入數(shù)據(jù)，可以為用戶提供傳統(tǒng)單視點(diǎn)視 頻無法比擬的視覺感受。多視點(diǎn)視頻編碼(Multiview Video Coding, MVC)就是對多視點(diǎn) 視頻進(jìn)行壓縮，滿足多個(gè)視點(diǎn)巨大的視頻數(shù)據(jù)存儲和傳輸?shù)男枰Ｂ?lián)合視頻工作組(Joint Video Team, JVT)正在將MVC作為H. 264/AVC的附錄進(jìn)行標(biāo)準(zhǔn)化工作，并發(fā)布了多視點(diǎn)視 頻編碼校驗(yàn)?zāi)Ｐ?Joint Multiview Video Model，JMVM)。MVC的幀間估計(jì)分為運(yùn)動估計(jì)和視差估計(jì)，其中運(yùn)動估計(jì)用于提高時(shí)域預(yù)測的效 率，視差估計(jì)來用于提高視點(diǎn)間預(yù)測的效率。同H.264/AVC—樣，MVC在幀間估計(jì)過程中 采用了率失真優(yōu)化技術(shù)(見 Wiegand T, Schwarz H, Joch A, Kossentini F, Sullivan G J. Rate-constrained coder control and comparison of video coding standards. IEEE Transactions on Circuits and Systems for Video Technology,2003,13(7) :688_703), 幀間估計(jì)率失真代價(jià)J(s，ν)計(jì)算如下式(I)所示J(s，ν) = SAD(s，ν) + λΜ。η。Ν · R(s，ν)(I)其中，s為當(dāng)前塊的視頻信號，ν為當(dāng)前塊的運(yùn)動矢量或視差矢量，J(s, ν)表示當(dāng) 前塊在矢量ν下的率失真代價(jià)，SAD是當(dāng)前塊s的視頻信號與由ν指向的參考視頻信號之 間的像素差值的絕對值之和，λΜΤΗ)Ν是幀間估計(jì)的拉格朗日乘子，R(s, ν)表示編碼當(dāng)前塊 運(yùn)動矢量或視差矢量消耗的比特?cái)?shù)。由于每次搜索匹配都要計(jì)算相應(yīng)的率失真代價(jià)，然后 選取搜索過程中具有最小率失真代價(jià)的矢量作為最佳矢量，因此MVC的運(yùn)動估計(jì)和視差估 計(jì)的計(jì)算復(fù)雜度巨大，消耗了絕大部分編碼時(shí)間，嚴(yán)重阻礙了 MVC的實(shí)際應(yīng)用。傳統(tǒng)單視點(diǎn)視頻編碼的快速運(yùn)動估計(jì)可以用于降低MVC運(yùn)動估計(jì)的計(jì)算復(fù)雜度， 但這些方法都是針對單視點(diǎn)視頻編碼設(shè)計(jì)的，只使用單個(gè)視點(diǎn)內(nèi)的編碼信息。由于相鄰視 點(diǎn)的視頻源于同一場景，視點(diǎn)之間運(yùn)動矢量具有很強(qiáng)的相關(guān)性。因此多視點(diǎn)視頻編碼的運(yùn) 動估計(jì)可以充分利用運(yùn)動矢量的視點(diǎn)間相關(guān)性，進(jìn)一步降低運(yùn)動估計(jì)的計(jì)算復(fù)雜度。申請 號為200910044824. 1的中國專利申請公開了一種基于多視點(diǎn)編碼搜索范圍自適應(yīng)調(diào)節(jié)的 快速運(yùn)動估計(jì)方法，根據(jù)相鄰視點(diǎn)的空間相關(guān)性，提取相鄰已編碼視點(diǎn)的運(yùn)動信息來分析 多視點(diǎn)視頻的特征，將宏塊歸類為三類宏塊，即運(yùn)動一致區(qū)域的宏塊、運(yùn)動中等一致區(qū)域的 宏塊以及運(yùn)動復(fù)雜區(qū)域的宏塊，對運(yùn)動簡單或運(yùn)動中等一致的區(qū)域，可適當(dāng)降低搜索范圍， 對運(yùn)動復(fù)雜的區(qū)域，對搜索范圍沒有限制。該方法中直接使用相鄰已編碼視點(diǎn)的運(yùn)動矢量， 容易受到相鄰已編碼視點(diǎn)的噪聲運(yùn)動矢量的影響；同時(shí)，搜索范圍的設(shè)置模式較少，只對三 類宏塊分別調(diào)整搜索范圍，且對同一類宏塊的搜索范圍是固定的，因此宏塊搜索范圍的設(shè) 置只有三種模式，只能對每類宏塊設(shè)置搜索范圍，不能對每個(gè)宏塊進(jìn)行搜索范圍自適應(yīng)調(diào)整ο現(xiàn)有的多視點(diǎn)視頻編碼快速運(yùn)動估計(jì)方法主要是利用視差矢量從相鄰已編碼視 點(diǎn)獲取運(yùn)動信息，用于加快運(yùn)動估計(jì)。但這些算法沒有考慮噪聲運(yùn)動矢量和噪聲視差矢量 對算法效果的影響。受圖像噪聲的影響，運(yùn)動估計(jì)得到的運(yùn)動矢量場中存在一些較大偏離 物體真實(shí)運(yùn)動狀態(tài)的噪聲運(yùn)動矢量，同樣；受圖像噪聲的影響，視差估計(jì)得到的視差矢量會 偏離物體真實(shí)視差。如果使用每個(gè)塊的視差矢量來獲取鄰近視點(diǎn)的對應(yīng)塊，則容易受噪聲 視差矢量的影響而偏離真實(shí)的對應(yīng)塊，導(dǎo)致獲取的對應(yīng)塊運(yùn)動信息的不準(zhǔn)確。

發(fā)明內(nèi)容
本發(fā)明提供了一種多視點(diǎn)視頻編碼快速運(yùn)動估計(jì)方法，保證視頻的壓縮效率的同 時(shí)有效降低計(jì)算量。一種多視點(diǎn)視頻編碼快速運(yùn)動估計(jì)方法，包括以下步驟(1)運(yùn)動矢量場的濾波對鄰近視點(diǎn)已編碼幀的運(yùn)動矢量場進(jìn)行空間中值濾波， 消除其中的噪聲矢量，得到反映真實(shí)運(yùn)動狀態(tài)的鄰近視點(diǎn)已編碼幀的運(yùn)動矢量場(濾波后 運(yùn)動矢量場)；(2)全局視差矢量的計(jì)算利用當(dāng)前視點(diǎn)已編碼幀的視差矢量場計(jì)算當(dāng)前視點(diǎn)與 鄰近視點(diǎn)之間的全局視差矢量；(3)參考運(yùn)動矢量的選取利用步驟(2)得到的當(dāng)前視點(diǎn)與鄰近視點(diǎn)之間的全局 視差矢量，從步驟(1)中得到的濾波后運(yùn)動矢量場中，選取率失真代價(jià)最小的矢量作為當(dāng) 前塊的參考運(yùn)動矢量；(4)搜索中心的選取從步驟(3)得到的參考運(yùn)動矢量和空間相鄰已估計(jì)塊的運(yùn) 動矢量中，選取率失真代價(jià)最小的矢量作為當(dāng)前塊運(yùn)動估計(jì)的搜索中心；(5)搜索范圍的選取利用步驟⑷得到的搜索中心與步驟⑶得到的參考運(yùn)動 矢量的偏離程度，選取當(dāng)前塊運(yùn)動估計(jì)的水平方向和豎直方向的搜索范圍；(6)最終運(yùn)動搜索在步驟(5)得到的搜索范圍內(nèi)進(jìn)行最終的運(yùn)動搜索，選取當(dāng)前 塊的最終的運(yùn)動矢量；最終的運(yùn)動搜索可以選用現(xiàn)有的搜索算法；(7)重復(fù)步驟(3) (6)，得到所有塊的最終的運(yùn)動矢量，完成多視點(diǎn)視頻編碼運(yùn) 動估計(jì)。進(jìn)一步地，所述的步驟(1)包括在鄰近視點(diǎn)編碼幀進(jìn)行運(yùn)動估計(jì)的時(shí)候，保存所有塊的運(yùn)動矢量，組成鄰近視點(diǎn) 已編碼幀的運(yùn)動矢量場；將所述的鄰近視點(diǎn)已編碼幀的運(yùn)動矢量場中每個(gè)塊的運(yùn)動矢量 MV'、與其空間相鄰的上邊塊的運(yùn)動矢量MV' u、與其空間相鄰的下邊塊的運(yùn)動矢量WV' B、 與其空間相鄰的左邊塊的運(yùn)動矢量MV' ρ與其空間相鄰的右邊塊的運(yùn)動矢量MV' κ—起 進(jìn)行如式(II)所示的空間中值濾波，得到濾波后運(yùn)動矢量MV"，所有塊的濾波后運(yùn)動矢量 MV"組成濾波后運(yùn)動矢量場；MV" = median(MV'…MV' B, MV' L, MV' E, MV' )(II)。濾波后的運(yùn)動矢量場較濾波前的矢量場更為平滑，更能反映物體的真實(shí)運(yùn)動狀 態(tài)。進(jìn)一步地，所述的步驟(2)包括
5
對當(dāng)前視點(diǎn)已編碼幀的視差矢量場中的矢量取平均，得到平均視差矢量DVato ；對 所述的平均視差矢量DV-進(jìn)行時(shí)域加權(quán)計(jì)算，得到當(dāng)前視點(diǎn)與鄰近視點(diǎn)之間的全局視差矢 量⑶V，如式(III)所示
(III)式(III)中，α是時(shí)域權(quán)重因子，k是⑶V的更新索引，k在每次更新后累加。進(jìn)一步地，所述的步驟(3)包括(3. 1)利用步驟(2)得到的當(dāng)前視點(diǎn)與鄰近視點(diǎn)之間的全局視差矢量GDV來指向 鄰近視點(diǎn)已編碼幀，得到當(dāng)前塊在鄰近視點(diǎn)的對應(yīng)塊，以及對應(yīng)塊覆蓋到的與當(dāng)前塊大小 相同的四個(gè)相似塊；(3. 2)利用所述的四個(gè)相似塊在步驟(1)得到的濾波后運(yùn)動矢量場中對應(yīng)的運(yùn)動 矢量，以及對應(yīng)塊在各個(gè)相似塊所占的面積，加權(quán)計(jì)算對應(yīng)塊的運(yùn)動矢量MV" w，如式(IV) 所示
(IV )式(IV)中，MV〃 MV" ^MV" 2和·" 3是四個(gè)相似塊在步驟(1)得到的濾波 后運(yùn)動矢量場中的運(yùn)動矢量，a0, B1^a2和a3代表了對應(yīng)塊在四個(gè)相似塊中所占的面積；(3. 3)利用式(I)所示的幀間估計(jì)率失真代價(jià)公式，從由對應(yīng)塊運(yùn)動矢量MV" 和 四個(gè)相似塊運(yùn)動矢量MV" 0,MV" pMV" 2、MV" 3組成的運(yùn)動矢量集合Q1中，選取率失真 代價(jià)最小的矢量作為當(dāng)前塊的參考運(yùn)動矢量RMV，即
( V)式(V)中，S為當(dāng)前塊的視頻信號，RMV為參考運(yùn)動矢量，它反映了當(dāng)前塊的真實(shí)運(yùn) 動狀態(tài)，可以將其用作當(dāng)前塊運(yùn)動估計(jì)的參考。進(jìn)一步地，所述的步驟⑷包括(4. 1)將從步驟(3)得到的當(dāng)前塊的參考運(yùn)動矢量RMV、與當(dāng)前塊空間相鄰的左邊 塊的運(yùn)動矢量、與當(dāng)前塊空間相鄰的上邊塊的運(yùn)動矢量MVu、與當(dāng)前塊空間相鄰的上左 塊的運(yùn)動矢量MV皿和與當(dāng)前塊空間相鄰的上右塊的運(yùn)動矢量MVuk、編碼預(yù)測矢量PMV和零 矢量ZMV組成當(dāng)前塊的搜索中心候選集合Ω2 ；(4. 2)利用式(I)所示的幀間估計(jì)率失真代價(jià)公式，從所述的運(yùn)動矢量集合Ω2中 選取當(dāng)前塊率失真代價(jià)最小的矢量作為運(yùn)動估計(jì)的搜索中心CMVjnS (VI)所示 式(VI)中，S是當(dāng)前塊的視頻信號，CMV是運(yùn)動估計(jì)的搜索中心。進(jìn)一步地，所述的步驟(5)包括(5. 1)采用式(VII)和式(VIII)，分別計(jì)算步驟(4)得到的搜索中心CMV與步驟 (3)得到的參考運(yùn)動矢量RMV在水平方向偏離Dx和豎直方向偏離Dy Dx = I CMVx-RMVx (VII)
Dy = I CMVy-RMVy | (VIII) (5.2)將計(jì)算得到的水平方向偏離Dx和豎直方向偏離Dy都乘以控制參數(shù)β得到搜索范圍，其中β是用來權(quán)衡搜索精度和搜索計(jì)算量，其值應(yīng)該大于1，以便將參考運(yùn)動矢 量RMV包含在搜索范圍之內(nèi)；(5. 3)為了提高運(yùn)動估計(jì)的魯棒性，采用式(IX)和式(X)計(jì)算水平方向搜索范 圍SRx和豎直方向搜索范圍SRy，將搜索范圍進(jìn)一步限制在最小搜索范圍和最大搜索范圍之 間SRx = max(SRmin, min(SRmax, β XDx)) (IX)SRy = max(SRmin, min(SRmax, β XDy)) (X)其中，SRmin是運(yùn)動估計(jì)的最小搜索范圍，SRmax是運(yùn)動估計(jì)的最大搜索范圍。本發(fā)明中，對鄰近視點(diǎn)已編碼幀的運(yùn)動矢量場進(jìn)行濾波，消除其中的噪聲運(yùn)動矢 量，得到與真實(shí)運(yùn)動狀態(tài)一致的濾波后運(yùn)動矢量場，從而有效利用相鄰視點(diǎn)的信息；充分利 用運(yùn)動矢量的視點(diǎn)間及空間相關(guān)性，從反映當(dāng)前塊真實(shí)運(yùn)動狀態(tài)的參考運(yùn)動矢量以及空間 相鄰塊的已估計(jì)運(yùn)動矢量中為當(dāng)前塊選取接近最佳運(yùn)動矢量的搜索中心，這樣只需要較小 的搜索范圍就可以將最佳運(yùn)動矢量包含在內(nèi)；同時(shí)，利用搜索中心與參考運(yùn)動矢量的偏離 程度選取運(yùn)動估計(jì)的搜索范圍，以達(dá)到降低運(yùn)動估計(jì)復(fù)雜度的目的。與現(xiàn)有技術(shù)相比，本發(fā)明具有以下有益技術(shù)效果本發(fā)明提供了一種基于運(yùn)動矢量視點(diǎn)間相關(guān)性和空間相關(guān)性的多視點(diǎn)視頻編碼 運(yùn)動估計(jì)方法。該方法適用于多視點(diǎn)視頻編碼的運(yùn)動估計(jì)，與現(xiàn)有技術(shù)相比，具有如下特點(diǎn) 和優(yōu)點(diǎn)有效利用相鄰視點(diǎn)已編碼幀的運(yùn)動矢量場，以及空間相鄰已估計(jì)運(yùn)動矢量，選取反 映真實(shí)運(yùn)動狀態(tài)的參考運(yùn)動矢量和接近最佳運(yùn)動矢量的搜索中心，并利用參考運(yùn)動矢量和 搜索中心的偏離程度來自適應(yīng)選取搜索范圍。該方法可以有效降低多視點(diǎn)編碼運(yùn)動估計(jì)的 計(jì)算量，同時(shí)保持編碼率失真性能。


圖1為本發(fā)明多視點(diǎn)視頻編碼快速運(yùn)動估計(jì)方法的流程圖2為本發(fā)明中運(yùn)動矢量場濾波前后對比圖3為本發(fā)明中對應(yīng)塊和相似塊的獲取示意圖4為本發(fā)明中參考運(yùn)動矢量、搜索中心和搜索范圍的關(guān)系圖。
具體實(shí)施方式
如圖1所示，一種多視點(diǎn)視頻快速運(yùn)動估計(jì)方法，包括以下步驟
(1)運(yùn)動矢量場的濾波；
(2)全局視差矢量計(jì)算；
(3)參考運(yùn)動矢量選??；
(4)搜索中心選??；
(5)搜索范圍選??；
(6)最終運(yùn)動搜索；
(7)完成所有塊運(yùn)動估計(jì)。
上述步驟中，步驟(1)和(2)是幀級操作，步驟(3)、(4)、(5)和(6)是對塊級操
作。所述的塊是宏塊幀間估計(jì)的劃分塊16Χ16、16Χ8、8Χ16、8Χ8、8Χ4、4Χ8和4X4中的一種，以下所述的運(yùn)動矢量場或視差矢量場是所述塊的運(yùn)動矢量或視差矢量的集合。下面以16X16塊為例，具體說明多視點(diǎn)視頻快速運(yùn)動估計(jì)方法的全過程。(1)對鄰近視點(diǎn)已編碼幀的運(yùn)動矢量場進(jìn)行空間中值濾波，消除其中的噪聲矢量， 得到與真實(shí)運(yùn)動狀態(tài)一致的濾波后運(yùn)動矢量場。具體過程如下在鄰近視點(diǎn)編碼幀進(jìn)行16X16塊運(yùn)動估計(jì)的時(shí)候，保存每個(gè)16X16塊的運(yùn)動 矢量，組成鄰近視點(diǎn)已編碼幀的16X16塊運(yùn)動矢量場；將所述的鄰近視點(diǎn)已編碼幀的 16X16塊運(yùn)動矢量場中每個(gè)16X16塊的運(yùn)動矢量MV'、與其空間相鄰的上邊塊的運(yùn)動矢 量MV' u、與其空間相鄰的下邊塊的運(yùn)動矢量MV' B、與其空間相鄰的左邊塊的運(yùn)動矢量 MV' ρ與其空間相鄰的右邊塊的運(yùn)動矢量MV' κ—起進(jìn)行如式(II)所示的空間中值濾波， 得到每個(gè)16X16塊濾波后運(yùn)動矢量MV"，所有16X16塊的濾波后運(yùn)動矢量MV"組成鄰近 視點(diǎn)已編碼幀的16Χ 16塊濾波后的運(yùn)動矢量場；MV" = median(MV'…MV' B, MV' L, MV' E, MV' )(II)在圖像邊界，與當(dāng)前16X16塊空間相鄰的上邊塊、下邊塊、左邊塊和右邊塊可能 不存在，本發(fā)明方法將不存在的塊的運(yùn)動矢量用零矢量ZMV來替代。經(jīng)步驟(1)濾波前后的運(yùn)動矢量場的對比如圖2所示，圖2(a)為濾波前的運(yùn)動矢 量場示意圖，圖2(b)為濾波后的運(yùn)動矢量場示意圖。從圖2中可以看出，濾波后的運(yùn)動矢 量場較濾波前的矢量場更為平滑，更能反映物體的真實(shí)運(yùn)動狀態(tài)。(2)利用當(dāng)前視點(diǎn)已編碼幀的視差矢量場計(jì)算當(dāng)前視點(diǎn)與鄰近視點(diǎn)之間的全局視 差矢量。具體過程如下對當(dāng)前視點(diǎn)已編碼幀的視差矢量場中的矢量取平均，得到平均視差矢量DVato ；對 所述的平均視差矢量DV-進(jìn)行時(shí)域加權(quán)計(jì)算，得到當(dāng)前視點(diǎn)與鄰近視點(diǎn)之間的全局視差矢 量⑶V，如式(III)所示 式(III)中，α是時(shí)域權(quán)重因子，k是⑶V的更新索引，k在每次更新后累加。(3)利用步驟(2)得到的當(dāng)前視點(diǎn)與鄰近視點(diǎn)之間的全局視差矢量，從步驟⑴中 得到的鄰近視點(diǎn)已編碼幀的16X16塊濾波后運(yùn)動矢量場中，選取率失真代價(jià)最小的矢量 作為當(dāng)前16X16塊的參考運(yùn)動矢量。具體過程如下(3. 1)利用步驟(2)得到的當(dāng)前視點(diǎn)與鄰近視點(diǎn)之間的全局視差矢量GDV來指向 鄰近視點(diǎn)已編碼幀，如圖3所示，得到16X 16塊在鄰近視點(diǎn)的對應(yīng)塊(圖3中灰色塊)，以 及對應(yīng)塊覆蓋到的四個(gè)相似塊(圖3中BlOCk0、BlOCkl、BlOCk2和Block3)，這四個(gè)相似塊 的大小與當(dāng)前塊相同；(3. 2)利用所述的四個(gè)相似塊在步驟(1)得到的濾波后運(yùn)動矢量場中對應(yīng)的運(yùn)動 矢量，以及對應(yīng)塊在各個(gè)相似塊所占的面積，加權(quán)計(jì)算對應(yīng)塊的運(yùn)動矢量MV" w，如式(IV) 所示 式(IV)中，MV〃 q、MV〃 i、MV〃 2和·" 3是四個(gè)相似塊在步驟(1)得到的濾波后運(yùn)動矢量場中的運(yùn)動矢量，a0, B1^a2和a3代表了對應(yīng)塊在四個(gè)相似塊中所占的面積；(3. 3)利用式(I)所示的幀間估計(jì)率失真代價(jià)公式，從由對應(yīng)塊運(yùn)動矢量MV" 和 四個(gè)相似塊運(yùn)動矢量MV" 0,MV" pMV" 2、MV" 3組成的運(yùn)動矢量集合Q1中，選取率失真 代價(jià)最小的矢量作為當(dāng)前16 X 16塊的參考運(yùn)動矢量RMV。R^V = argmin/(.S15Wi)(V )
」Wefl1式(V)中，S是當(dāng)前塊的視頻信號，此處的當(dāng)前塊為16X16塊；RMV為參考運(yùn)動矢 量，它反映了當(dāng)前16X16塊的真實(shí)運(yùn)動狀態(tài)，可以將其用作當(dāng)前16X16塊運(yùn)動估計(jì)的參考。(4)從步驟(3)得到的參考運(yùn)動矢量和空間相鄰已估計(jì)塊的運(yùn)動矢量中，選取率 失真代價(jià)最小的矢量作為當(dāng)前16X 16塊運(yùn)動估計(jì)的搜索中心。具體過程如下(4. 1)將從步驟(3)得到的當(dāng)前16 X 16塊的參考運(yùn)動矢量RMV、與當(dāng)前16 X 16塊 空間相鄰的左邊塊的運(yùn)動矢量MVp與當(dāng)前16X16塊空間相鄰的上邊塊的運(yùn)動矢量MVu、與 當(dāng)前16X16塊空間相鄰的上左塊的運(yùn)動矢量MVul和與當(dāng)前16X16塊空間相鄰的上右塊 的運(yùn)動矢量MVrai、編碼預(yù)測矢量PMV和零矢量ZMV組成當(dāng)前16 X 16塊的搜索中心候選集合 Ω2;(4. 2)利用式(I)所示的幀間估計(jì)率失真代價(jià)公式，從所述的搜索中心候選Ω2中 選取當(dāng)前塊率失真代價(jià)最小的矢量作為當(dāng)前16X16塊運(yùn)動估計(jì)的搜索中心CMVJnS (VI) 所示CMV = arg min J(S ,m)(VI)式(VI)中，S是當(dāng)前塊的視頻信號，此處的當(dāng)前塊為16X16塊；CMV是運(yùn)動估計(jì)的
搜索中心。(5)利用步驟⑷得到的搜索中心與步驟⑶得到的參考運(yùn)動矢量的偏離程度， 選取當(dāng)前16X16塊運(yùn)動估計(jì)的水平方向和豎直方向的搜索范圍。具體過程如下(5. 1)采用式(VII)和式(VIII)，分別計(jì)算步驟(4)得到的搜索中心CMV與步驟 (3)得到的參考運(yùn)動矢量RMV在水平方向偏離Dx和豎直方向偏離Dy Dx = I CMVx-RMVx (VII)Dy = I CMVy-RMVy (VIII)(5.2)將計(jì)算得到的水平方向偏離Dx和豎直方向偏離Dy都乘以控制參數(shù)β得到 搜索范圍，其中β是用來權(quán)衡搜索精度和搜索計(jì)算量，其值應(yīng)該大于1，以便將參考運(yùn)動矢 量RMV包含在搜索范圍之內(nèi)；(5.3)為了提高運(yùn)動估計(jì)的魯棒性，采用式(IX)和式(X)計(jì)算水平方向搜索范 圍SRx和豎直方向搜索范圍SRy，將搜索范圍進(jìn)一步限制在最小搜索范圍和最大搜索范圍之 間SRx = max(SRmin, min(SRmax, β XDx)) (IX)SRy = max(SRmin, min(SRmax, β XDy)) (X)其中，SRmin是運(yùn)動估計(jì)的最小搜索范圍，SRmax是運(yùn)動估計(jì)的最大搜索范圍。搜索中心CMV，參考運(yùn)動矢量RMV和搜索范圍的關(guān)系如圖4所示，圖4中搜索范圍 為由SRx和SRy度量的長方形范圍。
9
(6)在步驟(5)得到的搜索范圍內(nèi)進(jìn)行最終的運(yùn)動搜索，選取當(dāng)前16X16塊的最 終的運(yùn)動矢量；(7)重復(fù)步驟(3) (6)，得到所有16 X 16塊的最終的運(yùn)動矢量，完成多視點(diǎn)視頻 編碼運(yùn)動估計(jì)。實(shí)驗(yàn)在多視點(diǎn)視頻編碼參考代碼JMVC4. 0上進(jìn)行，以多視點(diǎn)視頻編碼通用測試條 件為基石出(Su Y P, Vetro A, Smolic A. Common test conditions for multiview video coding. Doc. U211，JVT 21st meeting，Hangzhou，2006)。JMVC 的搜索模式選用全搜索算法， 搜索范圍設(shè)置為64，幀間模式(Inter模式)選用16X16的塊劃分，基礎(chǔ)QP選用22、27，32 和37。實(shí)驗(yàn)選用了六個(gè)典型的多視點(diǎn)視頻測試序列MERL的Exit序列(序列①),MERL的 Ballroom序列(序列②)、KDDI的Racel序列(序列③)、KDDI的Flamenco2序列(序列 ④)、Tanimoto實(shí)驗(yàn)室的Rena序列(序列⑤)和Tanimoto實(shí)驗(yàn)室的Akko&Kayo序列(序 列⑥)。實(shí)驗(yàn)選用了這些序列的前兩個(gè)或三個(gè)視點(diǎn)，KDDI的Flamenco〗序列(序列④)由 于其二維十字排列，只選前兩個(gè)視點(diǎn)，其它序列選前三個(gè)視點(diǎn)。第二個(gè)視點(diǎn)用于實(shí)現(xiàn)本節(jié)算 法，其它視點(diǎn)作為參考視點(diǎn)。為了評估CMV與最佳運(yùn)動矢量的接近程度，表1列出六個(gè)典型序列的第二個(gè)視點(diǎn) 前向時(shí)域預(yù)測的CMV與用全搜索算法得到的最佳運(yùn)動矢量之間的平均直線距離，同時(shí)也給 出了最佳運(yùn)動矢量與CMV的候選矢量之間的平均直線距離。從表1中可以看出，CMV與最 佳運(yùn)動矢量的距離要比候選矢量與最佳運(yùn)動矢量的距離要小，并且其每個(gè)序列的平均距離 都在4個(gè)像素點(diǎn)以內(nèi)，因此只需要較少的搜索范圍就可以將最佳運(yùn)動矢量包含在內(nèi)。另外， 從表1中可以看出RMV與最佳運(yùn)動矢量的距離只比CMV與最佳運(yùn)動矢量的距離稍大，因此 最佳運(yùn)動矢量也在參考運(yùn)動矢量RMV周圍。表1最佳運(yùn)動矢量與搜索中心(CMV)及其候選矢量的平均直線距離(QP = 32)
測試序列與最佳運(yùn)動矢量的平均直線距離(像素)CMVRMVPMVMVlMVuMFulWurZMV序列①1.82.12.53.73.13.93.83.2序列②3.53.94.66.25.86.86.75.6序列③2.63.14.04.04.75.04.99.7序列④2.32.63.14.14.14.64.63.2序列⑤3.53.85.07.66.28.18.15.3序列⑥2.32.63.74.93.85.35.36.6平均2.73.03.85.14.65.65.65.6 從表1可以看出，CMV接近當(dāng)前塊的最佳運(yùn)動矢量，它近似的反映了最佳運(yùn)動矢量 的位置。RMV是從相鄰視點(diǎn)濾波后的運(yùn)動矢量場中得到的參考運(yùn)動矢量，它是當(dāng)前塊的真實(shí)
10運(yùn)動狀態(tài)的預(yù)測。CMV相對RMV的距離反映了最佳運(yùn)動矢量相對于真實(shí)運(yùn)動狀態(tài)的偏離程 度。如果CMV和RMV的相距較近，則說明最佳運(yùn)動矢量和真實(shí)運(yùn)動狀態(tài)一致，只需在CMV周 圍進(jìn)行小范圍的搜索就可以。如果CMV和RMV的相距較遠(yuǎn)，則最佳運(yùn)動矢量較大的偏離實(shí) 際運(yùn)動狀態(tài)，其狀態(tài)較為活躍，需要在CMV周圍增大搜索范圍。大部分情況下，由于視點(diǎn)間 的運(yùn)動相關(guān)性，CMV和RMV相距較近，因此整體的搜索范圍得到了減少。本發(fā)明方法對選取的搜索范圍內(nèi)進(jìn)行運(yùn)動搜索可以采用現(xiàn)有的各種搜索算法，此 處在搜索范圍內(nèi)使用全搜索算法來選取最終運(yùn)動矢量。為了評估本發(fā)明方法的性能，實(shí) 驗(yàn)以JMVC全搜索算法為參考，統(tǒng)計(jì)本發(fā)明方法的信噪比變化(Bjontegaard delta PSNR， BDPSNR)和碼率變化(Bjontegaard delta bit rate, BDBR)來衡量率失真性能，統(tǒng)計(jì)本發(fā) 明方法的非錨定幀編碼時(shí)間減少量(Dtime)來衡量計(jì)算量的變化。為了單純評測運(yùn)動估計(jì) 的性能，實(shí)驗(yàn)中將第二個(gè)視點(diǎn)的非錨定幀的視差估計(jì)關(guān)閉。式(IX)和式(X)中的控制系數(shù) 設(shè)置為β = 1.3, SRmax = 64，SRmin = 4。表2所示為，以JMVC中的全搜索算法為參考，本發(fā)明方法的BDPSNR，BDBR和 Dtime0其中BDPSNR為正數(shù)和BDBR為負(fù)數(shù)代表算法具有更好的率失真性能，Dtime為負(fù)值 代表算法編碼時(shí)間的降低。從表2中可以看出，和JMVC中的全搜索算法相比，本文方法平均降低95%的編碼 時(shí)間。不管是運(yùn)動幅度較大的Racel序列(序列③)和Ballroom序列(序列②)，或是運(yùn)動 幅度適中的Rena序列(序列⑤)和Akko&Kayo序列(序列⑥)，還是靜止區(qū)域較多的Exit 序列(序列①)和Flamenco〗序列(序列④)，整體編碼時(shí)間的降低較為均勻。在率失真 性能方面，Exit序列(序列①)的BDPSNR降低了 0. 004dB, BDBR增加了 0. 24%，但其它序 列的BDPSNR都有所提高，BDBR都有所降低。六個(gè)序列的平均BDPSNR提高了 0. 021dB,平均 BDBR減少了 0.48%。以上數(shù)據(jù)表明，本發(fā)明方法在大幅降低編碼計(jì)算量的同時(shí)保持了與全 搜索算法一致的編碼率失真性能。上述實(shí)驗(yàn)結(jié)果是在幀間模式使用16X16劃分的情況下得到，當(dāng)Inter模式使用其 它更小的劃分，本文算法同樣適用，可以得到類似的結(jié)果。表權(quán)利要求
一種多視點(diǎn)視頻編碼快速運(yùn)動估計(jì)方法，其特征在于，包括以下步驟(1)對鄰近視點(diǎn)已編碼幀的運(yùn)動矢量場進(jìn)行空間中值濾波，消除其中的噪聲矢量，得到反映真實(shí)運(yùn)動狀態(tài)的濾波后運(yùn)動矢量場；(2)利用當(dāng)前視點(diǎn)已編碼幀的視差矢量場計(jì)算當(dāng)前視點(diǎn)與鄰近視點(diǎn)之間的全局視差矢量；(3)利用步驟(2)得到的當(dāng)前視點(diǎn)與鄰近視點(diǎn)之間的全局視差矢量，從步驟(1)中得到的濾波后運(yùn)動矢量場中，選取率失真代價(jià)最小的矢量作為當(dāng)前塊的參考運(yùn)動矢量；(4)從步驟(3)得到的參考運(yùn)動矢量和空間相鄰已估計(jì)塊的運(yùn)動矢量中，選取率失真代價(jià)最小的矢量作為當(dāng)前塊運(yùn)動估計(jì)的搜索中心；(5)利用步驟(4)得到的搜索中心與步驟(3)得到的參考運(yùn)動矢量的偏離程度，選取當(dāng)前塊運(yùn)動估計(jì)的水平方向和豎直方向的搜索范圍；(6)在步驟(5)得到的搜索范圍內(nèi)進(jìn)行最終的運(yùn)動搜索，選取當(dāng)前塊的最終的運(yùn)動矢量；(7)重復(fù)步驟(3)～(6)，得到所有塊的最終的運(yùn)動矢量，完成多視點(diǎn)視頻編碼運(yùn)動估計(jì)。
2.根據(jù)權(quán)利要求1所述的多視點(diǎn)視頻編碼快速運(yùn)動估計(jì)方法，其特征在于，所述的步 驟(1)中空間中值濾波過程包括在鄰近視點(diǎn)編碼幀進(jìn)行運(yùn)動估計(jì)的時(shí)候，保存所有塊的運(yùn)動矢量，組成鄰近視點(diǎn)已編 碼幀的運(yùn)動矢量場；將所述的鄰近視點(diǎn)已編碼幀的運(yùn)動矢量場中每個(gè)塊的運(yùn)動矢量MV'、 與其空間相鄰的上邊塊的運(yùn)動矢量MV' u、與其空間相鄰的下邊塊的運(yùn)動矢量MV' B、與其 空間相鄰的左邊塊的運(yùn)動矢量MV' ρ與其空間相鄰的右邊塊的運(yùn)動矢量MV' 起進(jìn)行 如式(II)所示的空間中值濾波，得到濾波后運(yùn)動矢量MV"，所有塊的濾波后運(yùn)動矢量MV" 組成濾波后運(yùn)動矢量場；
3.根據(jù)權(quán)利要求1所述的多視點(diǎn)視頻編碼快速運(yùn)動估計(jì)方法，其特征在于，所述的步 驟(2)中當(dāng)前視點(diǎn)與鄰近視點(diǎn)之間的全局視差矢量的計(jì)算過程如下對當(dāng)前視點(diǎn)已編碼幀的視差矢量場中的矢量取平均，得到平均視差矢量DVatc ；對所述 的平均視差矢量DVato進(jìn)行時(shí)域加權(quán)計(jì)算，得到當(dāng)前視點(diǎn)與鄰近視點(diǎn)之間的全局視差矢量 ⑶V，如式(III)所示 式(III)中，α是時(shí)域權(quán)重因子，k是全局視差矢量⑶V的更新索引。
4.根據(jù)權(quán)利要求1所述的多視點(diǎn)視頻編碼快速運(yùn)動估計(jì)方法，其特征在于，所述的步 驟(3)中當(dāng)前塊的參考運(yùn)動矢量的選取過程如下(3. 1)利用步驟(2)得到的當(dāng)前視點(diǎn)與鄰近視點(diǎn)之間的全局視差矢量GDV來指向鄰近 視點(diǎn)已編碼幀，得到當(dāng)前塊在鄰近視點(diǎn)的對應(yīng)塊，以及對應(yīng)塊覆蓋到的與當(dāng)前塊大小相同 的四個(gè)相似塊；(3. 2)利用所述的四個(gè)相似塊在步驟(1)得到的濾波后運(yùn)動矢量場中對應(yīng)的運(yùn)動矢量，以及對應(yīng)塊在各個(gè)相似塊所占的面積，加權(quán)計(jì)算對應(yīng)塊的運(yùn)動矢量MV" w，如式(IV)所 示經(jīng)"一經(jīng)·> A0 + MF",x α, + MV\x a2 + MV\x a3(IV)Wa0+at +a2+ a3式(IV)中，MV〃 MV" pMV" 2和·" 3是四個(gè)相似塊在步驟(1)得到的濾波后運(yùn) 動矢量場中的運(yùn)動矢量，a0, B1^a2和a3代表了對應(yīng)塊在四個(gè)相似塊中所占的面積；(3.3)利用幀間估計(jì)率失真代價(jià)公式，從由對應(yīng)塊運(yùn)動矢量MV" w和四個(gè)相似塊運(yùn)動 矢量MV" 0,MV" pMV" 2、MV" 3組成的運(yùn)動矢量集合Q1中，選取率失真代價(jià)最小的矢量 作為當(dāng)前塊的參考運(yùn)動矢量RMV。
5.根據(jù)權(quán)利要求1所述的多視點(diǎn)視頻編碼快速運(yùn)動估計(jì)方法，其特征在于，所述的步 驟(4)中當(dāng)前塊運(yùn)動估計(jì)的搜索中心的選取過程如下(4. 1)將從步驟(3)得到的當(dāng)前塊的參考運(yùn)動矢量RMV、與當(dāng)前塊空間相鄰的左邊塊的 運(yùn)動矢量MVp與當(dāng)前塊空間相鄰的上邊塊的運(yùn)動矢量MVu、與當(dāng)前塊空間相鄰的上左塊的 運(yùn)動矢量MV皿和與當(dāng)前塊空間相鄰的上右塊的運(yùn)動矢量MVuk、編碼預(yù)測矢量PMV和零矢量 ZMV組成當(dāng)前塊的搜索中心候選集合Ω2 ；(4. 2)利用幀間估計(jì)率失真代價(jià)公式，從所述的搜索中心候選集合Ω 2中選取當(dāng)前塊率 失真代價(jià)最小的矢量作為運(yùn)動估計(jì)的搜索中心CMV。
6.根據(jù)權(quán)利要求1所述的多視點(diǎn)視頻編碼快速運(yùn)動估計(jì)方法，其特征在于，所述的步 驟(5)中搜索范圍的選取過程如下(5. 1)采用式(VII)和式(VIII)，分別計(jì)算步驟(4)得到的搜索中心CMV與步驟(3) 得到的參考運(yùn)動矢量RMV在水平方向偏離Dx和豎直方向偏離Dy Dx= ICMVx-RMVx (VII)Dy = I CMVy-RMVy (VIII)(5.2)將計(jì)算得到的水平方向偏離Dx和豎直方向偏離Dy都乘以控制參數(shù)β得到搜索 范圍；(5. 3)采用式(IX)和式(X)計(jì)算水平方向搜索范圍SRx和豎直方向搜索范圍SRy SRx = max (SRmin, min (SRmax, β XDx)) (IX)SRy = max (SRmin, min (SRmax, β XDy)) (X)其中，SRmin是運(yùn)動估計(jì)的最小搜索范圍，SRmax是運(yùn)動估計(jì)的最大搜索范圍。
全文摘要
本發(fā)明公開了一種多視點(diǎn)視頻編碼快速運(yùn)動估計(jì)方法，包括以下步驟對鄰近視點(diǎn)已編碼幀的運(yùn)動矢量場進(jìn)行空間中值濾波；利用當(dāng)前視點(diǎn)已編碼幀的視差矢量場計(jì)算當(dāng)前視點(diǎn)與鄰近視點(diǎn)之間的全局視差矢量；利用全局視差矢量從濾波后運(yùn)動矢量場中，選取參考運(yùn)動矢量；利用參考運(yùn)動矢量和空間相鄰已估計(jì)塊的運(yùn)動矢量，選取運(yùn)動估計(jì)的搜索中心；利用搜索中心與參考運(yùn)動矢量的偏離程度，選取運(yùn)動估計(jì)的搜索范圍；在搜索范圍內(nèi)進(jìn)行最終的運(yùn)動搜索，選取當(dāng)前塊的最終運(yùn)動矢量，相同方法完成所有塊的最終運(yùn)動矢量的選取，完成多視點(diǎn)視頻編碼運(yùn)動估計(jì)。本發(fā)明方法適用于多視點(diǎn)視頻編碼的運(yùn)動估計(jì)，可以有效降低運(yùn)動估計(jì)的計(jì)算量，同時(shí)保持編碼率失真性能。
文檔編號H04N7/26GK101917619SQ201010262078
公開日2010年12月15日 申請日期2010年8月20日 優(yōu)先權(quán)日2010年8月20日
發(fā)明者周承濤, 朱威, 林翔宇, 陳耀武 申請人:浙江大學(xué)