專利名稱：使用空間縮放預(yù)測的視頻編解碼方法
技術(shù)領(lǐng)域：
本發(fā)明涉及數(shù)字視頻編解碼技術(shù)領(lǐng)域，特別是涉及到一種使用視頻序列的空間縮放信息對當(dāng)前幀進(jìn)行預(yù)測的編碼和解碼方法。
背景技術(shù)：
目前主流的基于塊匹配混合編碼框架的視頻編解碼標(biāo)準(zhǔn)，例如MPEG4，H. 264/AVC,AVS等，在幀間預(yù)測中，從空間上主要考慮了圖像塊在二維平面中的運(yùn)動，即橫向和縱向的運(yùn)動。通過基于塊匹配的運(yùn)動估計(jì)得到當(dāng)前圖像塊的運(yùn)動矢量，找出當(dāng)前圖像塊在前一幀或多幀中，以及在后一幀中的對應(yīng)塊，用這些對應(yīng)塊對當(dāng)前圖像塊進(jìn)行預(yù)測，并將運(yùn)動向量編入碼流。此外，對運(yùn)動向量同樣進(jìn)行了預(yù)測，即使用當(dāng)前塊周圍一些塊的運(yùn)動矢量計(jì)算當(dāng)前塊的預(yù)測運(yùn)動矢量，而僅將預(yù)測運(yùn)動矢量和通過運(yùn)動估計(jì)得到的實(shí)際運(yùn)動矢量之差編入碼流，大大節(jié)約了編碼所需比特?cái)?shù)?！ぴ诖蟛糠忠曨l序列中，圖像內(nèi)容都不是簡單的在二維平面中運(yùn)動，而是存在縮放現(xiàn)象。場景中的物體相對于拍攝鏡頭的距離發(fā)生變化，會引起物體的縮放；攝像機(jī)拉伸鏡頭會造成整個場景的縮放。因此，如果當(dāng)前塊和參考幀中對應(yīng)塊存在縮放關(guān)系，使用現(xiàn)有視頻編碼標(biāo)準(zhǔn)中的運(yùn)動估計(jì)算法則得不到最佳匹配的塊。而如果能利用視頻序列中的縮放關(guān)系進(jìn)行輔助預(yù)測，則能很好地提升編碼質(zhì)量。經(jīng)過對現(xiàn)有文獻(xiàn)檢索和調(diào)研發(fā)現(xiàn)，香港城市大學(xué)的Lai-Man Po等人于2010年發(fā)表的〈〈Subsampled Block-Matching for Zoom Motion Compensated Prediction)) SP提出了利用縮放信息進(jìn)行視頻編碼的方法。該論文中提出，利用原編解碼標(biāo)準(zhǔn)中分像素預(yù)測所需的插值圖像，來生成某些特定縮放比的參考幀。同時(shí)，使用多幀參考的參考幀索引來表示原多幀參考的參考幀和進(jìn)行縮放之后的參考幀。該方法能提升編碼性能，并能較為方便地整合到現(xiàn)有編解碼框架中。但是由于該方法只能使用特定縮放比的參考幀，而實(shí)際應(yīng)用中的視頻縮放比是不確定的，因此該方法不能達(dá)到較高的編碼質(zhì)量提升。同時(shí)，由于編碼需要生成較多的參考幀，因此使用到的參考幀索引值會比較大，影響了編碼性能。因此，本發(fā)明提出針對每一個宏塊通過縮放預(yù)測，使用不同的縮放步長和縮放窗口生成不同的縮放參考幀的方法，使得對縮放的預(yù)測更加精確。同時(shí)，提出使用參考幀索引預(yù)測的方法來預(yù)測參考幀索引編號方式，減小了為表示參考幀索引需消耗的比特?cái)?shù)。

發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種利用視頻序列的空間縮放信息輔助壓縮的視頻編解碼方法，在不大幅增加解碼復(fù)雜度的情況下，提高視頻壓縮的質(zhì)量和效率。為實(shí)現(xiàn)上述目的，根據(jù)本發(fā)明的一方面，提供了一種視頻編碼方法，使運(yùn)動估計(jì)在原始參考幀的不同縮放比的縮放參考幀上進(jìn)行，以查找最佳匹配塊。所述方法包括在每一個圖像幀中記錄原始參考幀數(shù)目R、縮放層層數(shù)L和最小縮放步長S，縮放層層數(shù)及最小縮放步長可以人為設(shè)定或通過前面若干幀估計(jì)得到；所述原始參考幀即當(dāng)前幀在原始視頻序列中前后若干幀未經(jīng)縮放的重建幀；所述圖像幀中一個宏塊的一個原始參考幀具有一組共L個相等縮放步長的包括所述原始參考巾貞在內(nèi)的縮放參考巾貞組,所述縮放參考巾貞組的縮放步長以及縮放窗口通過縮放預(yù)測得到；不同宏塊可以具有不同縮放步長及縮放窗口的縮放參考幀；所述宏塊內(nèi)的子塊可以在所述原始參考幀的縮放參考幀組中進(jìn)行運(yùn)動估計(jì)，尋找最佳匹配塊；所述宏塊選擇的參考幀的索引值可以采用不同的方法進(jìn)行編號，編號的方法通過參考幀索引預(yù)測得出。所述縮放參考幀組是由一系列根據(jù)原始參考幀使用不同縮放比進(jìn)行雙線性插值縮放變換得到的縮放參考幀組成，其中包含縮放比為I的縮放參考幀，即原始參考幀。這些縮放參考幀的縮放比從小到大排列，相鄰縮放比之間 具有相等的縮放步長。所述縮放步長以及縮放窗口由縮放預(yù)測得到。所述縮放預(yù)測包括將當(dāng)前宏塊左方、左上方、上方、右上方宏塊中，可用宏塊的縮放比平均值Ztl作為當(dāng)前宏塊的縮放比預(yù)測值；所述可用宏塊是指宏塊存在，并且其縮放比也存在的宏塊；根據(jù)Ztl和I的大小關(guān)系以及所述當(dāng)前幀縮放層層數(shù)L，通過表I查詢縮放窗口設(shè)置。其中，當(dāng)前幀縮放層層數(shù)L可表示為3n+k(n為自然數(shù)，k= 1，2，3)
20和1的大I丄的如估縮放比IZ0的參I縮放比之U :且縮放比I縮放比<1的
小關(guān)系考頓數(shù)目 —<為>的_考幀數(shù)號參考幀數(shù)目
權(quán)利要求
1.一種使用空間縮放預(yù)測的視頻編碼方法，其特征在于 在一幀編碼圖像頭中記錄該圖像的原始參考幀數(shù)目R、縮放層層數(shù)L和最小縮放步長S ;所述原始參考幀是當(dāng)前幀在原始視頻序列中前后若干個未經(jīng)縮放的重建幀；所述縮放層層數(shù)是對一個原始參考幀經(jīng)縮放得到的縮放參考幀組中參考幀的個數(shù)，其中包括了縮放比為I的原始參考幀本身； 對同一宏塊不同原始參考幀進(jìn)行縮放生成各個原始參考幀的縮放參考幀組時(shí)，要使用相同的縮放窗口和縮放步長； 不同宏塊可以擁有不同的縮放窗口和縮放步長； 縮放窗口和縮放步長通過縮放預(yù)測得到； 將所有參考幀排布成按時(shí)間維度和縮放維度組織的二維參考幀矩陣，對矩陣中參考幀按橫向或縱向進(jìn)行編號作為參考幀索引； 對參考幀編號的方式通過參考幀索引預(yù)測得到。
2.如權(quán)利要求I所述的視頻編碼方法，其中，所述最小縮放步長S，是指該幀圖像中對任意一個宏塊的任意一個原始參考幀進(jìn)行縮放，允許的兩個相鄰的縮放比之差的最小值。
3.如權(quán)利要求I所述的視頻編碼方法，其中，所述縮放預(yù)測方法包括 當(dāng)前宏塊左方、左上方、上方、右上方宏塊中，若宏塊存在且宏塊的縮放比也存在，則為可用宏塊； 使用當(dāng)前周圍的可用宏塊縮放比的平均值Ztl作為當(dāng)前宏塊的縮放比預(yù)測值； 跟據(jù)所述縮放比預(yù)測值Ztl、所述當(dāng)前幀的縮放層層數(shù)L、所述當(dāng)前幀的最小縮放步長通過查表方法求得縮放窗口； 跟據(jù)縮放窗口求得縮放步長。
4.如權(quán)利要求3所述的縮放預(yù)測方法，其中，所述查表方法包括 將所述當(dāng)前幀的縮放層層數(shù)表示為3n+k(n為自然數(shù)，k= 1,2,3)的形式； 跟據(jù)所述當(dāng)前宏塊的縮放比預(yù)測值Ztl和I的大小關(guān)系，以及k的取值，在下表中查詢縮放比在不同區(qū)間內(nèi)的縮放參考幀數(shù)目。
5.如權(quán)利要求3所述的縮放預(yù)測方法，其中，所述的跟據(jù)縮放窗口求得縮放步長的方法為 當(dāng)縮放比預(yù)測值Ztl同I的差的絕對值大于最小縮放步長S的n倍時(shí)，縮放比在Ztl和I之間的縮放參考幀有n+1個，其中包含I不包含Ztl，將I和Ztl之間的縮放比值平均分為n+1份，即求得縮放步長為
6.如權(quán)利要求I所述的視頻編碼方法，其中，所述的參考幀索引預(yù)測方法為 當(dāng)前宏塊左方、左上方、上方、右上方宏塊中，若宏塊存在且宏塊的縮放比也存在，則為可用宏塊；若所述可用宏塊的縮放比同時(shí)大于1，或者同時(shí)小于1，則以時(shí)間維度優(yōu)先，先編號同一時(shí)刻不同縮放比的參考巾貞;反之，則先編號同一縮放比不同時(shí)刻的參考中貞。
7.一種使用空間縮放預(yù)測的視頻解碼方法，其特征在于 先解碼出該圖像的原始參考幀數(shù)目R、縮放層層數(shù)L和最小縮放比S ； 在解碼每個宏塊時(shí)，先進(jìn)行如權(quán)利要求6所述的參考幀索引預(yù)測，并跟據(jù)參考幀索引計(jì)算得出所述宏塊所用的參考幀在參考幀矩陣中的位置； 進(jìn)行如權(quán)利要求3所述的縮放預(yù)測，求得縮放窗口及縮放步長； 計(jì)算參考幀的縮放比； 根據(jù)所述宏塊的各個子塊的運(yùn)動矢量以及參考幀的縮放比從原始參考幀對應(yīng)位置的圖像塊通過雙線性差值縮放操作求出所述各個子塊的預(yù)測子塊。
全文摘要
本發(fā)明公開了一種使用空間縮放預(yù)測的視頻編解碼方法。所述編碼方法包括利用縮放信息，在原始參考幀不同縮放比的縮放參考幀上做運(yùn)動估計(jì)，找到最佳匹配；利用縮放預(yù)測通過預(yù)先設(shè)定的縮放層數(shù)、最小縮放步長以及縮放預(yù)測值來估計(jì)所述縮放參考幀的縮放步長和縮放窗口；利用參考幀索引預(yù)測來預(yù)測原始參考幀和縮放參考幀的編號方式，節(jié)省編碼參考幀索引所需的比特?cái)?shù)。所述解碼方法解碼每個宏塊時(shí)包括先進(jìn)行參考幀索引預(yù)測，并找出參考幀所在參考幀矩陣中的位置；進(jìn)行縮放預(yù)測，找出參考幀縮放比；根據(jù)縮放比和MV生成預(yù)測塊；最后進(jìn)行運(yùn)動補(bǔ)償?shù)炔襟E。
文檔編號H04N7/26GK102752588SQ20111010254
公開日2012年10月24日 申請日期2011年4月22日 優(yōu)先權(quán)日2011年4月22日
發(fā)明者王振宇, 王榮剛, 董勝富, 高文 申請人:北京大學(xué)深圳研究生院