專利名稱：：一種多視點視頻編碼方法
技術(shù)領(lǐng)域：
：本發(fā)明涉及一種多視點視頻編碼方法，屬于多視點視頻編碼
技術(shù)領(lǐng)域：
。
背景技術(shù)：
：隨著通信與計算機(jī)視覺技術(shù)的發(fā)展，人們對于視頻的要求不在滿足于簡單的二維平面視頻，隨之產(chǎn)生了多視點視頻。與普通的視頻相比，多視點視頻能夠提供更好的交互性以及更逼真的3D影像。針對多視點視頻相應(yīng)地出現(xiàn)了一些新興的應(yīng)用，例如任意視點視頻/電視，3D視頻/電視以及沉浸式視頻會議等。多視點視頻是由性能相似位置不同的一組攝像機(jī)對同一場景拍攝得到，由于其數(shù)據(jù)量相對于單個視頻隨攝像機(jī)數(shù)量的增加而成倍增加，對多視點視頻進(jìn)行高效壓縮成為實現(xiàn)多視點視頻應(yīng)用的一項關(guān)鍵技術(shù)。多視點視頻中各個視點的圖像之間存在著明顯的數(shù)據(jù)冗余，即各個視點之間具有很強(qiáng)的相關(guān)性。當(dāng)前，多視點視頻編碼是基于現(xiàn)有單個視點傳統(tǒng)編碼技術(shù)的擴(kuò)展。利用傳統(tǒng)視頻編碼中的運動估計和補(bǔ)償來消除時間上的數(shù)據(jù)冗余，同時利用合理的視差估計和補(bǔ)償有效地消除各視點圖像之間的數(shù)據(jù)冗余。視差估計和運動估計技術(shù)在原理上是相同的，都是對于待編碼的圖像塊在參考幀中搜尋與其差異最小的圖像塊，只是參考幀的選擇不同。運動估計的參考幀是同一個視點內(nèi)不同時間點的視頻圖像，而視差估計的參考幀是不同視點的視頻圖像。由于在傳統(tǒng)視頻編碼領(lǐng)域，基于塊預(yù)測結(jié)構(gòu)的H.264/AVC已經(jīng)發(fā)展地十分成熟，因此X牙于多視點視頻編碼技術(shù)的研究和應(yīng)用主要是基于H.264/AVC標(biāo)準(zhǔn)。基于H.264/AVC多視點視頻編碼技術(shù)具體在實現(xiàn)的時候，首先將編碼圖像按指定的大小(16x16)劃分為不同的宏塊，然后對于同一宏塊采用不同的模式對其進(jìn)行預(yù)編碼，得到各個模式的率失真(RateDistortion,RD)開銷，即RD開銷，最后選取RD開銷最小的模式作為該宏塊的最終編碼模式。RD開銷通過公式(1)計算得到<formula>formulaseeoriginaldocumentpage4</formula>(1)其中加x"代表編碼宏塊的大小，"是搜索到的運動/視差矢量，義(M)是拉格朗日乘子，及W)為對于該模式的比特開銷(包括模式索引號、參考幀索引號和運動/視差矢量差值等)。5L4Z^/J)是待編碼宏塊和預(yù)測宏塊的絕對誤差和，可通過公式(2)得到，它反映了圖像的失真i'。<formula>formulaseeoriginaldocumentpage4</formula>(2)其中尸和尸分別代表待編碼幀和參考幀，《和&分別是運動/視差矢量的水平分量和垂直分量。宏塊釆用的模式可分為幀內(nèi)(Intra)模式、跳過(Skip)模式、運動估計模式、視差估計模式，圖1表示運動估計和視差估計模式以16xl6大小的宏塊為單元，按分塊的方式又分為7種模式16x16、16x8、8x16、8x8、8x4、4x8和4x4?，F(xiàn)有的多視點視頻編碼技術(shù)在編碼時需要遍歷以上所有模式，其計算復(fù)雜度相當(dāng)高，不利于多視點視頻技術(shù)的實際應(yīng)用。"相鄰塊"的概念，相鄰塊的定義如圖2所示，A、B和C分別為當(dāng)前宏塊在同一圖像幀中的上塊、右上塊和左塊，它們被定義為當(dāng)前宏塊的相鄰塊，如果當(dāng)前宏塊的右上塊(即B)不存在，則B塊用當(dāng)前宏塊的D塊(即左上塊)來替代。
發(fā)明內(nèi)容本發(fā)明的目的在于，提供一種快速有效的多視點視頻編碼方法，在保證多視點視頻編碼的質(zhì)量的同時，降低多視點視頻編碼技術(shù)的計算復(fù)雜度。一種多視點視頻編碼方法，包括以下步驟步驟A:根據(jù)已編碼的相鄰塊的參考幀信息，確定當(dāng)前宏塊先進(jìn)行運動估計模式還是先進(jìn)行視差估計模式，如果先進(jìn)行運動估計模式轉(zhuǎn)到步驟B,否則轉(zhuǎn)到步驟C;步驟B:對當(dāng)前宏塊遍歷幀內(nèi)模式、Skip模式和運動估計的7種模式，并計箅各個模式的RD開銷，得到值E,將E值最小的模式作為暫時的最佳模式；通過得到的暫時最佳模式進(jìn)行不同的視差估計模式計算，最后得到當(dāng)前宏塊的最佳模式作為最終的編碼模式，對當(dāng)前宏塊編碼結(jié)束；步驟C:對當(dāng)前宏塊遍歷幀內(nèi)模式、Skip模式和視差估計的7種模式，并計算各個模式的RD開銷，得到值F，將F值最小的模式作為暫時的最佳模式；通過得到的暫時最佳模式進(jìn)行不同的運動估計模式計算，最后得到當(dāng)前宏塊的最佳模式作為最終的編碼模式，對當(dāng)前宏塊編碼結(jié)束。本發(fā)明的優(yōu)點在于(1)本發(fā)明利用運動估計和視差估計模式之間的相關(guān)性，通過提前結(jié)束一些不必要的模式計算，降低了多視點視頻編碼的計算復(fù)雜度；(2)本發(fā)明在幾乎不降低圖像質(zhì)量的前提下，相比于遍歷所有編碼模式，減少了50%以上的編碼時間；(3)本發(fā)明方法具有可擴(kuò)展性利用本發(fā)明方法，可以結(jié)合現(xiàn)有的快速視差估計和快速運動估計技術(shù)，進(jìn)一步降低多視點視頻編碼的計算復(fù)雜度。圖1為現(xiàn)有技術(shù)中宏塊以16x16單元的劃分方式；圖2為現(xiàn)有技術(shù)中相鄰塊的定義示意圖；圖3為本發(fā)明的方法流程圖4為本發(fā)明的步驟B的方法流程圖5為本發(fā)明的步驟C的方法流程圖6為實施例中"Ballroom"多視點視頻序列8個視點中的前3個視點圖像；圖7為實施例中"Exit"多視點視頻序列8個視點中的前3個視點圖像；圖8為實施例中"Racel"多視點視頻序列8個視點中的前3個視點圖像；圖9為實施例中"Ballroom"多視點視頻序列第2個視點的編碼率失真比較曲線圖；圖10為實施例中"Exit"多視點視頻序列第2個視點的編碼率失真比較曲線圖；圖ll為實施例中"Racel"多視點視頻序列第2個視點的編碼率失真比較曲線圖。具體實施例方式下面將結(jié)合附圖和實施例對本發(fā)明作進(jìn)一步的詳細(xì)說明。本發(fā)明中的一種多視點視頻編碼方法，流程如圖3所示，該方法包括以下步驟步驟A:根據(jù)已編碼的相鄰塊的參考幀信息，確定當(dāng)前宏塊先進(jìn)行運動估計模式還是先進(jìn)行視差估計模式，如果先進(jìn)行運動估計模式轉(zhuǎn)到步驟B，否則轉(zhuǎn)到步驟C。所述步驟A具體包括以下步驟步驟A1:統(tǒng)計已編碼的相鄰塊的參考幀信息，即統(tǒng)計已編碼相鄰塊最終的編碼模式中，視差估計模式占多數(shù)還是運動估計模式占多數(shù)。步驟A2:通過統(tǒng)計的參考幀信息決定當(dāng)前宏塊進(jìn)行運動估計模式和視差估計模式的順序，若相鄰塊最終的編碼方式中視差估計模式占多數(shù)，則當(dāng)前宏塊先進(jìn)行視差估計模式，轉(zhuǎn)到步驟C,否則先進(jìn)行運動估計模式，轉(zhuǎn)到步驟B。步驟B:對當(dāng)前宏塊遍歷幀內(nèi)模式、Skip模式和運動估計的7種模式，并計算各個模式的RD開銷，得到值E,將E值最小的模式作為暫時的最佳模式；通過得到的暫時最佳模式進(jìn)行不同的視差估計模式計算，最后得到當(dāng)前宏塊的最佳模式作為最終的編碼模式，對當(dāng)前宏塊編碼結(jié)束。流程如圖4所示，所述步驟B具體包括以下步驟步驟B1:對當(dāng)前宏塊遍歷Skip模式、幀內(nèi)模式以及運動估計的7種模式，并計算各個模式的RD開銷，得到E，將得到E值最小的模式作為暫時的最佳模式；如果該模式為Skip模式，則轉(zhuǎn)到步驟B2;如果該模式為幀內(nèi)模式，則轉(zhuǎn)到步驟B4;否則轉(zhuǎn)到步驟B5。步驟B2:計算當(dāng)前宏塊視差估計16xl6模式的RD開銷，記為0^16)<16，若0^16)(16小于步驟B1中的Skip模式的RD開銷，Skip模式的RD開銷記為CoW，，即CoW16xl6<Gw^，轉(zhuǎn)到步驟B3，否則以Skip模式作為最佳模式轉(zhuǎn)到步驟B7。步驟B3:計算當(dāng)前宏塊視差估計的16x8模式和8x16模式的RD開銷，與步驟B2中的16xl6模式的RD開銷Co^^相比，得到此時RD開銷最小的模式為最佳模式，轉(zhuǎn)到步驟B7。步驟B4:遍歷當(dāng)前宏塊視差估計的7種模式，分別計算7種模式的RD開銷，與步驟Bl中的幀內(nèi)模式的RD開銷相比，得到此時RD開銷最小的模式為最佳模式，轉(zhuǎn)到步驟B7。步驟B5:通過步驟B1得到的最佳運動估計模式，其RD開銷記為Ow^，計算相應(yīng)分塊方式的視差估計模式的RD開銷,記為Co冉，如果Co<CoWr,轉(zhuǎn)到步驟B6，否則以Co^對應(yīng)的模式作為最佳模式轉(zhuǎn)到步驟B7。所述的相應(yīng)分塊方式的視差估計模式，指例如步驟Bl中得到的暫時最佳模式為運動估計16xl6模式，那對應(yīng)分塊方式的視差估計模式為視差估計16xl6模式，以此類推。步驟B6:遍歷視差估計除步驟B5中的其余模式并得到各模式的RD開銷，與步驟B5中的Ow^相比得到RD開銷最小的模式為最佳模式，轉(zhuǎn)到步驟B7。所述的其余模式，例如步驟B5中計算了視差估計16x16模式，那么此時需要計箅視差估計16x8、8x16、8x8、8x4、4x8和4x4模式，以此類推。步驟B7:以得到的最佳*莫式作為當(dāng)前宏塊最終的編碼模式，當(dāng)前宏塊編碼結(jié)束。步驟C:對當(dāng)前宏塊遍歷幀內(nèi)模式、Skip模式和枧差估計的7種模式，并計算各個模式的RD開銷，得到F，將F值最小的模式作為暫時的最佳模式；通過得到的暫時最佳模式進(jìn)行不同的運動估計模式計算，最后得到當(dāng)前宏塊的最佳t莫式作為最終的編碼模式，對當(dāng)前宏塊編碼結(jié)束。流程如圖5所示，所述步驟C具體包括以下步驟步驟C1:對當(dāng)前宏塊遍歷Skip模式、幀內(nèi)模式以及視差估計的7種模式，并計算各個模式的RD開銷,得到值F，將得到F值最小的模式作為暫時的最佳模式;如果該模式為Skip模式，則轉(zhuǎn)到步驟C2;如果該模式為幀內(nèi)模式，則轉(zhuǎn)到步驟C4;否則轉(zhuǎn)到步驟C5。步驟C2:計箅當(dāng)前宏塊運動估計16xl6模式的RD開銷，記為CoW'16><16，若0^'16)(16小于步驟C1中的Skip模式的RD開銷，Skip模式的RD開銷為Cow'鄉(xiāng)，即CoW'lfel6<CoW'鄉(xiāng)，轉(zhuǎn)到步驟C3，否則以Skip模式為最佳模式轉(zhuǎn)到步驟C7。步驟C3:計算當(dāng)前宏塊運動估計16x8模式和8x16模式的RD開銷，與步驟C2中16xl6模式的RD開銷Co^M6相比，得到此時RD開銷最小的^莫式為最佳模式，轉(zhuǎn)到步驟C7。步驟C4:遍歷當(dāng)前宏塊運動估計的7種模式，分別計算7種模式的RD開銷，與步驟CI中的幀內(nèi)模式的RD開銷相比，得到此時RD開銷最小的模式為最佳模式，轉(zhuǎn)到步驟C7。步驟C5:通過步驟C1得到的最佳視差估計模式，其RD開銷記為O^V，計算相應(yīng)分塊方式的運動估計模式的RD開銷，記為Ow/"如果CoW',Co^,轉(zhuǎn)到步驟C6，否則以7Cosf'r對應(yīng)的+莫式為最佳模式轉(zhuǎn)到步驟C7。所述的相應(yīng)分塊方式的運動估計模式，例如步驟Cl中得到的暫時最佳模式為視差估計16xl6模式，那對應(yīng)分塊方式的運動估計模式為運動估計16xl6模式，以此類推。步驟C6:遍歷運動估計的除步驟C5中的其余模式并得到各模式的RD開銷，與步驟C5中的Ow^相比得到此時RD開銷最小的模式為最佳模式，轉(zhuǎn)到步驟C7。所述的其余模式，例如步驟C5中計算了運動估計16x16模式，那么此時需要計算運動估計16x8、8x16、8x8、8x4、4x8和4x4模式，以此類推。步驟C7:以得到的最佳，莫式作為當(dāng)前宏塊最終的編碼模式，當(dāng)前宏塊編碼結(jié)束。實施例選取具有8個視點的"Ballroom"、"Exit"和"Racel"三組標(biāo)準(zhǔn)多視點視頻序列，釆用本發(fā)明的多視點視頻編碼方法進(jìn)行編碼，并與遍歷所有模式的編碼方法進(jìn)行比較。圖6、圖7、圖8依次為"Ballroom"、"Exit"和"Racel"的多視點視頻序列，每個圖中有3個不同視點圖像，其圖像尺寸均為640x480,YUV(4:2:0)格式，各視點的間距為20cm,"Ballroom"和"Exit"采集的幀率為25幀/秒，"Racel"采集的幀率為30幀/秒。其中"Ballroom"序列運動信息較為復(fù)雜，"Exit"序列靜止的背景信息較多，"Racel"序列相對于前2個序列，釆集的攝像機(jī)組存在著運動。圖9、圖10、圖ll為不同碼率(bitrate)下對圖6、圖7、圖8中的第2個視點的視頻數(shù)據(jù)釆用本發(fā)明多視點視頻編碼方法及現(xiàn)有的遍歷所有模式的方法進(jìn)行編碼后的解碼重建圖像的平均峰值信噪比(PeakSignal-to-NoiseRatio,PSNR)曲線。其中，橫坐標(biāo)為碼率(bitrate),縱坐標(biāo)為峰值信噪比(PSNR)，第2個視點的視頻圖像在做視差估計時，釆用第l、3個視點的在同一時刻的圖像作為參考幀。由圖9、圖10、圖ll可見采用本發(fā)明的多視點視頻編碼方法同遍歷所有模式的多視點視頻編碼方法得到的重建圖像的峰值信噪比曲線非常接近，表明采用本發(fā)明多視點視頻編碼方法所獲得的編碼質(zhì)量與采用遍歷所有模式的多視點視頻編碼方法所獲得的編碼質(zhì)量基本相同，只有微小下降。采用本發(fā)明多視點視頻編碼方法與采用遍歷所有模式的方法得到三組標(biāo)準(zhǔn)多視點視頻序列的編碼后碼率、解碼圖像峰值信噪比PSNR以及編碼過程的時耗。其中碼率反映了壓縮性能，PSNR反映了解碼圖像的質(zhì)量，時耗反映了編碼的計算復(fù)雜度。表1給出了在不同量化參數(shù)(QuantificationParameter,QP)下，QP分另iJ取27、29、30、32時，對三組標(biāo)準(zhǔn)多視點視頻序列的第2個視點的視頻數(shù)據(jù)采用本發(fā)明多視點視頻編碼方法得到的編碼后碼率、解碼圖像峰值信噪比PSNR以及編碼過程的時耗與采用遍歷所有模式的方法得到的相應(yīng)參數(shù)之間的差值，即A碼率、APSNR和A時耗。由表l可見，與采用遍歷所有模式的多視點視頻編碼方法相比，采用本發(fā)明的多視點視頻編碼方法的整個編碼說明書第6/6頁過程的時耗減少了55.54%~62.90%，而PSNR的下降不超過0.026dB,碼率的增加不超過1.4%。顯然，本發(fā)明方法明顯降低了整個多視點視頻編碼系統(tǒng)的計算復(fù)雜度。表1本發(fā)明方法和遍歷所有模式的多視點視頻編碼方法的編碼性能比較<table>tableseeoriginaldocumentpage9</column></row><table>權(quán)利要求1、一種多視點視頻編碼方法，包括以下步驟步驟A根據(jù)已編碼的相鄰塊的參考幀信息，確定當(dāng)前宏塊先進(jìn)行運動估計模式還是先進(jìn)行視差估計模式，如果先進(jìn)行運動估計模式轉(zhuǎn)到步驟B，否則轉(zhuǎn)到步驟C；所述步驟A具體包括以下步驟步驟A1統(tǒng)計已編碼的相鄰塊的參考幀信息，統(tǒng)計已編碼相鄰塊最終的編碼模式中，視差估計模式占多數(shù)還是運動估計模式占多數(shù)；步驟A2通過統(tǒng)計的參考幀信息決定當(dāng)前宏塊進(jìn)行運動估計模式和視差估計模式的順序，若相鄰塊最終的編碼方式中視差估計模式占多數(shù)，則當(dāng)前宏塊先進(jìn)行視差估計模式，轉(zhuǎn)到步驟C，否則先進(jìn)行運動估計模式，轉(zhuǎn)到步驟B；其特征在于，還包括步驟B對當(dāng)前宏塊遍歷幀內(nèi)模式、Skip模式和運動估計的7種模式，并計算各個模式的RD開銷，得到值E，將E值最小的模式作為暫時的最佳模式；通過得到的暫時最佳模式進(jìn)行不同的視差估計模式計算，最后得到當(dāng)前宏塊的最佳模式作為最終的編碼模式，對當(dāng)前宏塊編碼結(jié)束；所述步驟B具體包括以下步驟步驟B1對當(dāng)前宏塊遍歷Skip模式、幀內(nèi)模式以及運動估計的7種模式，并計算各個模式的RD開銷，得到值E，將得到E值最小的模式作為暫時的最佳模式；如果該模式為Skip模式，則轉(zhuǎn)到步驟B2；如果該模式為幀內(nèi)模式，則轉(zhuǎn)到步驟B4；否則轉(zhuǎn)到步驟B5；步驟B2計算當(dāng)前宏塊視差估計16×16模式的RD開銷，記為Cost16×16，若Cost16×16小于步驟B1中的Skip模式的RD開銷，Skip模式的RD開銷記為CostSkip，即Cost16×16＜CostSkip，轉(zhuǎn)到步驟B3，否則以Skip模式作為最佳模式轉(zhuǎn)到步驟B7；步驟B3計算當(dāng)前宏塊視差估計的16×8模式和8×16模式的RD開銷，與步驟B2中的16×16模式的RD開銷Cost16×16相比，得到此時RD開銷最小的模式為最佳模式，轉(zhuǎn)到步驟B7；步驟B4遍歷當(dāng)前宏塊視差估計的7種模式，分別計算7種模式的RD開銷，與步驟B1中的幀內(nèi)模式的RD開銷相比，得到此時RD開銷最小的模式為最佳模式，轉(zhuǎn)到步驟B7；步驟B5通過步驟B1得到的最佳運動估計模式，其RD開銷記為CostT，計算相應(yīng)分塊方式的視差估計模式的RD開銷，記為CostV，如果CostV＜CostT，轉(zhuǎn)到步驟B6，否則以CostT對應(yīng)的模式作為最佳模式轉(zhuǎn)到步驟B7；步驟B6遍歷視差估計除步驟B5中的其余模式并得到各模式的RD開銷，與步驟B5中的CostV相比得到RD開銷最小的模式為最佳模式，轉(zhuǎn)到步驟B7；步驟B7以得到的最佳模式作為當(dāng)前宏塊最終的編碼模式，當(dāng)前宏塊編碼結(jié)束；步驟C對當(dāng)前宏塊遍歷幀內(nèi)模式、Skip模式和視差估計的7種模式，并計算各個模式的RD開銷，得到值F，將F值最小的模式作為暫時的最佳模式；通過得到的暫時最佳模式進(jìn)行不同的運動估計模式計算，最后得到當(dāng)前宏塊的最佳模式作為最終的編碼模式，對當(dāng)前宏塊編碼結(jié)束；所述步驟C具體包括以下步驟步驟C1對當(dāng)前宏塊遍歷Skip模式、幀內(nèi)模式以及視差估計7種模式，并計算各個模式的RD開銷，得到值F，將得到F值最小的模式作為暫時的最佳模式；如果該模式為Skip模式，則轉(zhuǎn)到步驟C2；如果該模式為幀內(nèi)模式，則轉(zhuǎn)到步驟C4；否則轉(zhuǎn)到步驟C5；步驟C2計算當(dāng)前宏塊運動估計16×16模式的RD開銷，記為Cost′16×16，若Cost′16×16小于步驟C1中的Skip模式的RD開銷，Skip模式的RD開銷記為Cost′Skip，即Cost16×16＜Cost′Skip，轉(zhuǎn)到步驟C3，否則以Skip模式為最佳模式轉(zhuǎn)到步驟C7；步驟C3計算當(dāng)前宏塊運動估計16×8模式和8×16模式的RD開銷，與步驟C2中16×16模式的RD開銷Cost′16×16相比，得到此時RD開銷最小的模式為最佳模式，轉(zhuǎn)到步驟C7；步驟C4遍歷當(dāng)前宏塊運動估計的7種模式，分別計算7種模式的RD開銷，與步驟C1中的幀內(nèi)模式的RD開銷相比，得到此時RD開銷最小的模式為最佳模式，轉(zhuǎn)到步驟C7；步驟C5通過步驟C1得到的最佳視差估計模式，其RD開銷記為Cost′V，計算相應(yīng)分塊方式的運動估計模式的RD開銷，記為Cost′T，如果Cost′T＜Cost′V，轉(zhuǎn)到步驟C6，否則以Cost′V對應(yīng)的模式為最佳模式轉(zhuǎn)到步驟C7；步驟C6遍歷運動估計除步驟C5中的其余模式并得到各模式的RD開銷，與步驟C5中的Cost′T相比得到此時RD開銷最小的模式為最佳模式，轉(zhuǎn)到步驟C7；步驟C7以得到的最佳模式作為當(dāng)前宏塊最終的編碼模式，當(dāng)前宏塊編碼結(jié)束。全文摘要本發(fā)明公開了一種多視點視頻編碼方法，首先根據(jù)已編碼相鄰塊的參考幀信息，確定先進(jìn)行運動估計模式還是視差估計模式，然后對當(dāng)前宏塊遍歷幀內(nèi)模式、Skip模式、運動估計或視差估計的7種模式，并計算各個模式的RD開銷，確定暫時的最佳模式；通過得到的暫時最佳模式進(jìn)行不同的視差估計模式或運動估計模式計算，最后得到的最佳模式作為最終的編碼模式，對當(dāng)前宏塊編碼結(jié)束；本發(fā)明利用運動估計和視差估計模式之間的相關(guān)性，通過提前結(jié)束不必要的模式計算，降低多視點視頻編碼的計算復(fù)雜度；在幾乎不降低圖像質(zhì)量的前提下，相比于遍歷所有編碼模式，減少了50％以上的編碼時間。文檔編號H04N7/32GK101557519SQ20091008456公開日2009年10月14日申請日期2009年5月20日優(yōu)先權(quán)日2009年5月20日發(fā)明者劉庸民,劉榮科,崔競飛,李君燁申請人:北京航空航天大學(xué)