專(zhuān)利名稱(chēng)：：利用合成參考幀的視頻編解碼方法及裝置的制作方法
技術(shù)領(lǐng)域：
：本發(fā)明屬于數(shù)字視頻壓縮編解碼
技術(shù)領(lǐng)域：
，涉及一種運(yùn)動(dòng)補(bǔ)償幀間預(yù)測(cè)視頻編解碼的方法，以及采用該方法的視頻編碼裝置和視頻解碼裝置，尤其是使用一種新的合成參考幀作為幀間預(yù)測(cè)編解碼的參考幀，取代或部分取代傳統(tǒng)的參考幀。
背景技術(shù)：
：視頻監(jiān)控是安全防范行業(yè)中的一個(gè)核心組成部分，由于安防行業(yè)對(duì)系統(tǒng)間互聯(lián)互通需求有較低的碼率，并對(duì)視頻信息有大量存儲(chǔ)的迫切需求，隨著視頻監(jiān)控規(guī)模的擴(kuò)大，大量的視頻信息傳輸和存貯需要大容量的網(wǎng)絡(luò)通信和磁盤(pán)，成本很高。而在視頻監(jiān)控中，采集視頻圖像的攝像機(jī)有固定安裝,也有帶云臺(tái)和鏡頭控制，即可以改變監(jiān)控的場(chǎng)景，但大多被攝場(chǎng)景長(zhǎng)時(shí)間不變。所以在視頻監(jiān)控中大多視頻信號(hào)場(chǎng)景區(qū)會(huì)長(zhǎng)時(shí)間不變,但在攝像機(jī)正被控制時(shí)場(chǎng)景將會(huì)改變。當(dāng)天氣變化時(shí),如有云飄過(guò)，陽(yáng)光改變使陰影變化等情況時(shí),視頻圖像場(chǎng)景也會(huì)受到影響。用于視頻監(jiān)控的攝像機(jī)，通常有較大的噪聲，尤其是當(dāng)光照條件不好時(shí)，如室內(nèi)、夜間，噪聲更大，這就大大影響了視頻的壓縮效率，導(dǎo)致視頻編碼碼率很高。隨著可視電話(huà)的廣泛應(yīng)用，應(yīng)用在可視電話(huà)中的視頻編解碼技術(shù)也越來(lái)越關(guān)鍵。圖像的清晰度和連續(xù)性和時(shí)延是衡量可視電話(huà)質(zhì)量的主要方面。在可視電話(huà)中視頻圖像往往也存在較大的噪聲，影響了圖像質(zhì)量，對(duì)視頻編碼效率帶來(lái)了影響。視頻信息一般來(lái)說(shuō)占有的頻帶較寬，尤其是活動(dòng)圖像，存儲(chǔ)和傳輸所需的數(shù)據(jù)量大，在不壓縮的條件下，標(biāo)準(zhǔn)清晰度電視(SDTV)的傳輸速率在140Mbit/s左右，高清晰度電視(HDTV)則高達(dá)1000Mbit/s。HDTV經(jīng)過(guò)壓縮后的速率只有20Mbit/s,而可視電話(huà)在PSTN上傳輸時(shí)，可壓縮為20Kbit/s左右。并且視頻監(jiān)控中有多用戶(hù)同時(shí)監(jiān)控，隨著攝像機(jī)數(shù)目的增多，導(dǎo)致視頻監(jiān)控中傳輸和錄像的數(shù)據(jù)量非常龐大。為了節(jié)約帶寬，更有效地利用現(xiàn)有窄帶網(wǎng)絡(luò)，降低數(shù)字設(shè)備的存儲(chǔ)量和復(fù)雜度，必須對(duì)視頻信息進(jìn)行高效的壓縮。一系列視頻壓縮編碼標(biāo)準(zhǔn)(H.261,H.263,MPEG-1，MPEG-2,MPEG-4，H.264,AVS等)的出現(xiàn)，反映了視頻應(yīng)用向高壓縮率和網(wǎng)絡(luò)化的發(fā)展趨勢(shì)。基于運(yùn)動(dòng)補(bǔ)償?shù)念A(yù)測(cè)的主要功能是消除視頻序列在時(shí)間上的冗余，視頻編碼的大部分編碼效率來(lái)自于預(yù)測(cè)模塊。視頻編碼過(guò)程就是對(duì)視頻序列的每一幀圖像進(jìn)行編碼的過(guò)程。因此，參考幀在運(yùn)動(dòng)補(bǔ)償?shù)念A(yù)測(cè)過(guò)程中占據(jù)著非常重要的作用。本發(fā)明人申請(qǐng)的專(zhuān)利申請(qǐng)?zhí)枮?00710071114.5的《利用動(dòng)態(tài)背景幀的視頻編碼方法》公開(kāi)了一種利用動(dòng)態(tài)背景幀作為參考幀的視頻編碼方法，該方法對(duì)于有噪聲的背景圖像區(qū)有較好的性能，但因只針對(duì)有噪聲的背景圖像區(qū)，必須與傳統(tǒng)的參考幀一起使用才能獲得較好的總體編碼性能。而本發(fā)明給出一種不依賴(lài)于噪聲估計(jì)的預(yù)測(cè)性能更好的參考幀合成和使用方法，不僅考慮了背景區(qū)圖像編碼，也考慮了活動(dòng)區(qū)圖像編碼，因而本發(fā)明方法使用上更靈活。
發(fā)明內(nèi)容針對(duì)視頻監(jiān)控中的應(yīng)用，視頻序列圖像中的噪聲往往較大，這些噪聲帶來(lái)的干擾，將使得編碼過(guò)程中幀間預(yù)測(cè)變得不準(zhǔn)確，匹配塊之間的誤差變大，使得視頻數(shù)據(jù)不能得到有效壓縮。本發(fā)明提出了一種利用合成參考幀的視頻編碼方法和裝置以及視頻解碼方法和裝置，它可以提高視頻監(jiān)控中的視頻序列運(yùn)動(dòng)估計(jì)的準(zhǔn)確性，降低預(yù)測(cè)誤差，提高編碼效率，并且復(fù)雜度不增加。在對(duì)幀間預(yù)測(cè)幀進(jìn)行編解碼時(shí)，傳統(tǒng)算法用以前的I幀(幀內(nèi)預(yù)測(cè)幀)或P幀(前向預(yù)測(cè)幀)的重建幀作為參考幀，對(duì)當(dāng)前圖像幀進(jìn)行預(yù)測(cè)編解碼，即在參考幀上搜索與當(dāng)前編碼宏塊或其子塊最匹配的參考?jí)K作為對(duì)當(dāng)前宏塊的預(yù)測(cè)。本發(fā)明用已編碼的I幀和P幀動(dòng)態(tài)合成參考幀，合成參考幀與傳統(tǒng)視頻編解碼算法用作參考幀的I幀和P幀的重建幀對(duì)應(yīng)，即每個(gè)I幀和P幀的重建幀都可以有對(duì)應(yīng)的合成參考幀，因此可用一個(gè)合成參考幀取代原I幀或P幀的重建幀作為參考幀，對(duì)當(dāng)前幀進(jìn)行預(yù)測(cè)編解碼。傳統(tǒng)的視頻編解碼方法也可用多個(gè)參考幀進(jìn)行預(yù)測(cè)，本發(fā)明用一個(gè)或多個(gè)合成參考幀取代或部分取代原I幀或P幀的重建幀作為參考幀，也用在原參考幀基礎(chǔ)上增加合成參考幀為附加的參考幀，從而提高了預(yù)測(cè)精度。特別地，在雙向預(yù)測(cè)編解碼時(shí)，傳統(tǒng)的視頻編解碼算法是用前后二個(gè)參考幀對(duì)當(dāng)前編解碼圖像幀進(jìn)行預(yù)測(cè)的。由于合成參考幀是利用I幀重建生成的，或是利用P幀的重建宏塊與已有合成參考幀或?qū)?yīng)預(yù)測(cè)塊合成(更新)的，即合成參考幀與對(duì)它更新的I幀或P幀對(duì)應(yīng)。因此，合成參考幀可以替代原用于雙向預(yù)測(cè)的參考幀(I幀或P幀的重建幀)，對(duì)當(dāng)前編解碼宏塊進(jìn)行預(yù)測(cè)。本發(fā)明提出的利用合成參考幀(synthesizedreferenceframe,簡(jiǎn)稱(chēng)為SR幀)的視頻編解碼方法，主要包括了合成參考幀的動(dòng)態(tài)生成及更新方法，以及采用合成參考幀做幀間預(yù)測(cè)參考幀等技術(shù)。具體地，本發(fā)明的利用合成參考幀的視頻編碼方法，它利用巳編碼的圖像信息作為參考幀對(duì)后繼編碼的圖像幀進(jìn)行預(yù)測(cè)編碼，其特征在于所述參考幀包括合成參考幀，該合成參考幀被每個(gè)幀內(nèi)編碼幀的重建幀重置更新，并被隨后的幀間預(yù)測(cè)幀的重建圖像信息按宏塊或其子塊更新，更新后的合成參考幀在后繼的圖像幀編碼時(shí)被用作參考幀進(jìn)行預(yù)測(cè)，并被繼續(xù)更新。本發(fā)明利用合成參考幀視頻編碼方法中，合成參考幀的一種按宏塊動(dòng)態(tài)更新的過(guò)程如下:1)若當(dāng)前編碼幀為I幀，則合成參考幀內(nèi)容更新為當(dāng)前幀的編碼重建幀；2)若當(dāng)前編碼幀為P幀，對(duì)合成參考幀中的每個(gè)宏塊分別采用如下方式更新(a)若當(dāng)前宏塊為I宏塊編碼，則與當(dāng)前宏塊相對(duì)應(yīng)的合成參考幀宏塊用當(dāng)前重建宏塊替換；(b)若當(dāng)前宏塊采用了前向預(yù)測(cè)，將與當(dāng)前宏塊相對(duì)應(yīng)的合成參考幀宏塊用其原值和當(dāng)前重建宏塊分別用一更新系數(shù)進(jìn)行加權(quán)平均更新；若當(dāng)前編碼重建宏塊的像素值用i7表示，編碼當(dāng)前宏塊時(shí)對(duì)應(yīng)的現(xiàn)有的合成參考幀宏塊的像素值為^Ve，用當(dāng)前編碼宏塊更新后合成參考幀宏塊的像素值為Sr,則&=(1-",戸+"尸(1)其中a對(duì)于不同的圖像區(qū)域是不同的，如靜止區(qū)域應(yīng)取較小值，變化區(qū)域應(yīng)取較大值。運(yùn)動(dòng)估計(jì)準(zhǔn)確，殘差較小時(shí)可取較小值，否則取較大值。3)若當(dāng)前幀為雙向預(yù)測(cè)幀B幀，合成參考幀不更新。4)對(duì)更新后的合成參考幀進(jìn)行去塊濾波。本發(fā)明的另外一種更新合成參考幀的方法是以宏塊中的子塊為單位更新，對(duì)更新后的合成參考幀進(jìn)行去塊濾波，更新過(guò)程如下1)若當(dāng)前幀為I幀，則合成參考幀內(nèi)容更新為當(dāng)前幀的重建幀;2)若當(dāng)前幀為P幀，對(duì)合成參考幀中的每個(gè)宏塊的子塊分別采用如下方式更新(a)若當(dāng)前子塊為I宏塊中的子塊編碼，或是幀內(nèi)編碼子塊，則與當(dāng)前子塊相對(duì)應(yīng)的合成參考幀子塊用當(dāng)前重建子塊替換；(b)若當(dāng)前子塊采用了前向預(yù)測(cè)，根據(jù)當(dāng)前子塊運(yùn)動(dòng)估計(jì)后得到的最佳運(yùn)動(dòng)矢量、所用參考幀和量化后的殘差情況，將與當(dāng)前子塊相對(duì)應(yīng)的合成參考幀子塊用當(dāng)前子塊的預(yù)測(cè)值和當(dāng)前重建子塊以不同的更新系數(shù)進(jìn)行更新，更新公式如下&=(1—a)尸+aF(2)其中&是當(dāng)前子塊對(duì)應(yīng)的SR幀子塊的像素值，戶(hù)是當(dāng)前子塊的預(yù)測(cè)值，F(xiàn)是當(dāng)前重建子塊的像素值，a是根據(jù)當(dāng)俞子塊參考幀的選用、最佳運(yùn)動(dòng)矢量和量化后的殘差情況自適應(yīng)調(diào)節(jié)的更新系數(shù)；(c)否則當(dāng)前子塊相對(duì)應(yīng)的合成參考幀子塊不更新；3)若當(dāng)前幀為雙向預(yù)測(cè)幀B幀，合成參考幀不更新。由于重建圖像F可表示為^=戶(hù)+6("(3)其中。(r)是殘差經(jīng)量化和反量化后的值，代入(2)式得^P+(l-")x,(4)可見(jiàn)，這種合成參考幀的更新過(guò)程與圖像重建過(guò)程是相似的，所不同的是對(duì)反量化后的殘差進(jìn)行了乘于(l-a)的修正。上述更新過(guò)程中更新系數(shù)a由如下幾個(gè)因素確定當(dāng)前宏塊或子塊所用的參考幀類(lèi)型；最佳運(yùn)動(dòng)矢量長(zhǎng)度是否小于一個(gè)閾值；當(dāng)前子塊量化后的殘差平均能量是否小于一個(gè)閾值。若當(dāng)前子塊采用SR幀作參考幀，因SR幀己經(jīng)過(guò)幀間濾波，可用較大權(quán)值，更新系數(shù)a應(yīng)取較小值；運(yùn)動(dòng)矢量越小，說(shuō)明越有可能是靜止區(qū)域，更新系數(shù)a應(yīng)取較小值，否則取較大值；殘差平均能量越小，說(shuō)明預(yù)測(cè)越正確，即當(dāng)前子塊與參考圖像越匹配，更新系數(shù)a應(yīng)取較小值，否則取較大值。上述更新過(guò)程中更新系數(shù)a也可以是當(dāng)前子塊量化后的殘差平均能量的遞增函數(shù)，該函數(shù)是預(yù)先確定的非線(xiàn)性函數(shù)或分段線(xiàn)性函數(shù)。這里所述的殘差平均能量是指當(dāng)前子塊預(yù)測(cè)殘差量化后的絕對(duì)值或平方值的平均值。對(duì)含噪視頻序列編碼時(shí)，噪聲容易造成運(yùn)動(dòng)搜索過(guò)程中的匹配誤差，使殘差能量增大，因此，若子塊殘差平均能量較小，更新系數(shù)應(yīng)取較小的實(shí)數(shù)，使更新后的SR幀子塊由當(dāng)前子塊的預(yù)測(cè)值主導(dǎo)。在圖像上的靜止區(qū)域，由于變化主要由噪聲或攝像機(jī)輕微抖動(dòng)引起的，(1)和(2)中可采用較小更新系數(shù)a。采用靜止區(qū)域檢測(cè)技術(shù)檢測(cè)圖像內(nèi)容不變的靜止區(qū)域，在該區(qū)域中進(jìn)行較強(qiáng)的平滑濾波，有利于減小噪聲的影響，但幾乎不影響圖像的清晰度。若宏塊分為幾個(gè)子塊分別迸行預(yù)測(cè)，則宏塊運(yùn)動(dòng)矢量是指各分塊運(yùn)動(dòng)矢量的平均。利用合成參考幀視頻編碼形成的碼流，必須釆用同樣利用合成參考幀視頻編碼方法解碼。利用合成參考幀視頻解碼方法中，合成參考幀的生成和更新過(guò)程是與利用合成參考幀視頻編碼方法完全相同的，它利用己解碼重建的圖像幀進(jìn)行更新。本發(fā)明中的利用上述合成參考幀技術(shù)的視頻編碼裝置，其特征在于它包括合成參考幀的生成模塊。所述合成參考幀的生成模塊包括合成參考幀合成單元、合成參考幀存貯和濾波單元，其中，合成參考幀存貯和濾波單元包括去塊濾波器和幀存貯器SRMO和SRMl,其中SRM0用于更新合成參考幀，濾波單元對(duì)SRMO中的合成參考幀進(jìn)行濾波后存于SRM1中，即SRM1中存放的是濾波后合成參考幀，簡(jiǎn)稱(chēng)為濾波合成參考幀，直接用作進(jìn)行幀間預(yù)測(cè)的參考幀。在有多個(gè)合成參考幀作為參考幀時(shí)，合成參考幀的生成模塊中可包括多個(gè)去塊濾波器和幀存貯器，每個(gè)合成參考幀至少對(duì)應(yīng)一個(gè)用于存放濾波后合成參考幀的幀存貯器和對(duì)應(yīng)的去塊濾波器。如果多個(gè)合成參考幀采用相同的方法更新，只是對(duì)應(yīng)不同圖像幀，則只需用一個(gè)去塊濾波器，或相當(dāng)于采用直通濾波器，用幀存復(fù)制或幀存排序?qū)崿F(xiàn)參考幀管理。本發(fā)明中的利用合成參考幀的視頻解碼裝置，其特征在于它包括合成參考幀的生成模塊。所述合成參考幀的生成模塊包括合成參考幀合成單元、合成參考幀存貯和濾波單元，其中，合成參考幀存貯和濾波單元包括去塊濾波器和幀存貯器SRM0和SRM1，其中SRM0用于更新合成參考幀，濾波單元對(duì)SRMO中的合成參考幀進(jìn)行濾波后存于SRM1中，即SRM1中存放的是濾波后合成參考幀，簡(jiǎn)稱(chēng)為濾波合成參考幀，直接用作進(jìn)行幀間預(yù)測(cè)的參考幀。在有多個(gè)合成參考幀作為參考幀時(shí)，合成參考幀的生成模塊中可包括多個(gè)去塊濾波器和幀存貯器，每個(gè)合成參考幀至少對(duì)應(yīng)一個(gè)用于存放濾波后合成參考幀的幀存貯器和對(duì)應(yīng)的去塊濾波器。如果多個(gè)合成參考幀采用相同的方法更新，只是對(duì)應(yīng)不同圖像幀，則只需用一個(gè)去塊濾波器，或相當(dāng)于采用直通濾波器，用幀存復(fù)制或幀存排序?qū)崿F(xiàn)參考幀管理。由本發(fā)明的視頻編解碼方法可見(jiàn)，I幀編解碼完成后，合成參考幀被I幀重置更新，因而不改變碼流的隨機(jī)訪(fǎng)問(wèn)點(diǎn)。同時(shí)，I幀對(duì)應(yīng)的合成參考幀與該I幀的重建幀相同，因此用該合成參考幀與用I幀的重建幀進(jìn)行幀間預(yù)測(cè)是等效的。本發(fā)明的有益效果是在本發(fā)明中，合成參考幀在視頻編解碼過(guò)程中合成，由于采用加權(quán)的方法來(lái)更新合成參考幀的像素值，進(jìn)行了自適應(yīng)幀間濾波，因而對(duì)噪聲有較好的抑制作用，將其作為編解碼過(guò)程中的參考幀，可提高運(yùn)動(dòng)估計(jì)的準(zhǔn)確性,減小預(yù)測(cè)誤差，提高了編碼效率，同時(shí)改善了主觀(guān)質(zhì)量。當(dāng)遇到I宏塊編解碼時(shí)，將I重建宏塊直接復(fù)制給對(duì)應(yīng)的合成參考幀宏塊，能夠較好地保護(hù)大運(yùn)動(dòng)的圖像內(nèi)容。因此，即使將合成參考幀用作唯一的參考幀仍有相當(dāng)好的壓縮效果，與多參考幀相比復(fù)雜度大幅減小。本發(fā)明的解碼輸出圖像可以是當(dāng)前幀的解碼重建圖像或是當(dāng)前幀的SR幀圖像。用解碼重建圖像輸出時(shí)，由于SR幀有幀間濾波作用，對(duì)基于'SR幀預(yù)測(cè)的解碼重建圖像有間接的濾波作用。也可采角SR幀作為輸出圖像，這時(shí)有更強(qiáng)的濾波作用，可以提高圖像主觀(guān)效果。為了提高靈活性，可在視頻序列中每個(gè)隨機(jī)訪(fǎng)問(wèn)點(diǎn)開(kāi)始的序列頭中或圖像頭或其它語(yǔ)法元素中記錄或傳輸合成參考幀的更新參數(shù)a，最佳運(yùn)動(dòng)矢量長(zhǎng)度閾值，殘差平均能量閾值，預(yù)定的非線(xiàn)性函數(shù)或分段線(xiàn)性函數(shù)參數(shù)等信息。本發(fā)明中的合成參考幀可在視頻解碼器中重建生成及動(dòng)態(tài)更新，從而不需要傳輸額外數(shù)據(jù)，只要在序列頭中傳輸更新參數(shù)和相關(guān)閾值或?qū)陦K的參考幀標(biāo)志作擴(kuò)展即可兼容已有標(biāo)準(zhǔn)算法。圖1為本發(fā)明的利用SR幀的視頻編碼方法總流程圖；圖2為本發(fā)明宏塊編碼和合成參考幀宏塊更新流程圖；圖3為本發(fā)明宏塊編碼和合成參考幀子塊更新流程圖；圖4為本發(fā)明一種利用SR幀的視頻編碼裝置結(jié)構(gòu)示意圖；圖5為本發(fā)明另一種利用SR幀的視頻編碼裝置結(jié)構(gòu)示意圖；圖6為本發(fā)明一種利用SR幀的視頻解碼裝置結(jié)構(gòu)示意圖；圖7為本發(fā)明的利用SR幀的視頻解碼方法總流程圖；圖8為本發(fā)明宏塊解碼和合成參考幀宏塊更新流程圖；圖9為本發(fā)明另一種利用SR幀的視頻解碼裝置結(jié)構(gòu)示意圖；表1和表2為本發(fā)明的利用合成參考幀的視頻編碼方法與傳統(tǒng)編碼方法性能比較。具體實(shí)施方式實(shí)施例l:一種利用合成參考幀的視頻編碼方法及其裝置本發(fā)明提出的利用合成參考幀的視頻編碼方法，結(jié)合附圖l、2、4詳細(xì)說(shuō)明如下1)編碼開(kāi)始的時(shí)候，需要為合成參考幀分配兩個(gè)幀存SRM0和SRM1。幀存大小為一幀數(shù)據(jù)的大小。其中SRM0用于進(jìn)行合成參考幀的更新，存放未經(jīng)去塊濾波的合成參考幀,各合成參考幀可以復(fù)用一個(gè)SRMO;SRM1用于存放去塊濾波后的合成參考幀，可直接用于幀間預(yù)測(cè)。2)讀入一幀圖像，若當(dāng)前編碼幀為I幀，則合成參考幀幀存SRMO更新為當(dāng)前幀未經(jīng)去塊濾波的重建幀。轉(zhuǎn)至步驟5)。3)若當(dāng)前編碼幀為前向預(yù)測(cè)幀(P幀)，讀入該P(yáng)幀的一個(gè)宏塊(a)若當(dāng)前宏塊為I宏塊編碼，則當(dāng)前宏塊幀內(nèi)編碼完成后與當(dāng)前宏塊相對(duì)應(yīng)的幀存SRMO內(nèi)的宏塊用當(dāng)前重建宏塊替換，即Sr-F，其中F表示當(dāng)前重建宏塊像素值，Sr,表示當(dāng)前編碼宏塊更新后合成參考幀宏塊像素值。(b)若當(dāng)前宏塊采用了前向預(yù)測(cè)編碼，當(dāng)當(dāng)前宏塊為非skip模式時(shí)若當(dāng)前宏塊選用合成參考幀SRM1進(jìn)行運(yùn)動(dòng)估計(jì)且運(yùn)動(dòng)矢量小于某一閾值TH1，則當(dāng)前宏塊編碼完成后與當(dāng)前宏塊相對(duì)應(yīng)的幀存SRM0內(nèi)的宏塊用其原像素值和當(dāng)前重建宏塊按一種加權(quán)平均更新，即Sr二(l一a)S^e+aF，其中a為一個(gè)更新系數(shù)且0〈a〈l;否則a用另一個(gè)更新系數(shù)。其中Sr^表示與當(dāng)前編碼宏塊對(duì)應(yīng)的現(xiàn)有的合成參考幀宏塊像素值。當(dāng)當(dāng)前宏塊為skip模式時(shí)則當(dāng)前宏塊編碼完成后與當(dāng)前宏塊相對(duì)應(yīng)的幀存SRMO內(nèi)的宏塊像素值不更新。編碼完當(dāng)前P幀的所有宏塊且對(duì)應(yīng)的幀存SRMO內(nèi)的宏塊更新完成后，轉(zhuǎn)至步驟5)。4)若當(dāng)前幀為雙向預(yù)測(cè)幀(B幀)，則對(duì)B幀利用合成參考幀前向SRM1和后向SRM1對(duì)其進(jìn)行預(yù)測(cè)編碼。B幀內(nèi)宏塊編碼過(guò)程中，對(duì)應(yīng)的幀存SRMO內(nèi)的宏塊不更新。B幀編碼結(jié)束后，轉(zhuǎn)至步驟6)。5)等到當(dāng)前幀(I幀，P幀)編碼完成后，對(duì)幀存SRMO進(jìn)行去塊濾波，并且將SRMO去塊濾波后的內(nèi)容存入幀存SRMl,用來(lái)作為下一幀的參考幀。6)重復(fù)2)-5)完成視頻序列的編碼。如圖3所示，本發(fā)明的利用合成參考幀的視頻編碼裝置，它具有運(yùn)動(dòng)估計(jì)，運(yùn)動(dòng)補(bǔ)償和幀內(nèi)預(yù)測(cè)、變換和量化、熵編碼、反變換和反量化、去塊濾波、重建幀存、以及合成參考幀生成模塊各單元。所述合成參考幀生成模塊包括SR幀合成單元，前參考幀存貯器SRM0和SRM1，后參考幀存lt器SRMO和SRM1，以及濾波單元，其中SRMO用于更新合成參考幀，SRM1用于存放經(jīng)去塊濾波后用于預(yù)測(cè)的合成參考幀(即濾波合成參考幀)。實(shí)施例2:另一種利用合成參考幀的視頻編碼方法及其裝置一種利用合成參考幀的視頻編碼方法，結(jié)合附圖1、3、5詳細(xì)說(shuō)明如下1)編碼開(kāi)始的時(shí)候，需要為合成參考幀分配n個(gè)幀存構(gòu)成的參考幀堆，幀存數(shù)量可隨需要而定，多個(gè)幀存用于支持多參考幀預(yù)測(cè)，并設(shè)一個(gè)SR幀緩存SRMO。幀存大小為一幀數(shù)據(jù)的大小。2)讀入一幀圖像，若當(dāng)前編碼幀為I幀，則對(duì)其進(jìn)行傳統(tǒng)的編碼，并將合成參考幀緩存SRMO中的內(nèi)容更新為當(dāng)前幀未經(jīng)去塊濾波的重建幀。轉(zhuǎn)至步驟5)。3)若當(dāng)前編碼幀為前向預(yù)測(cè)幀(P幀)，讀入該P(yáng)幀的一個(gè)宏塊(a)若當(dāng)前宏塊為I宏塊編碼，則當(dāng)前宏塊幀內(nèi)編碼完成后與當(dāng)前宏塊相對(duì)應(yīng)的SR幀緩存SRMO內(nèi)的宏塊用當(dāng)前重建宏塊替換，即Sr-F，其中F表示當(dāng)前重建宏塊，Sr,表示當(dāng)前編碼宏塊對(duì)應(yīng)SRMO中宏塊。(b)若當(dāng)前宏塊采用了前向預(yù)測(cè)編碼，當(dāng)當(dāng)前宏塊為非skip模式時(shí)，SRMO緩存按宏塊中的子塊進(jìn)行更新若當(dāng)前子塊運(yùn)動(dòng)矢量小于閾值TH1，且當(dāng)前子塊預(yù)測(cè)殘差平均能量小于閾值TH2，則當(dāng)前子塊編碼完成后與當(dāng)前子塊相對(duì)應(yīng)的SRMO內(nèi)的子塊用對(duì)當(dāng)前子塊的預(yù)測(cè)值和當(dāng)前重建子塊按一種加權(quán)平均更新，即5V二(1一^)P+",F，其中",為一個(gè)更新系數(shù)，0<%<1;否則若當(dāng)前子塊預(yù)測(cè)殘差平均能量小于閾值TH3，則用另一個(gè)更新系數(shù)《2按同樣方式更新；否則用另一個(gè)更新系數(shù)^按同樣方式更新。其中尸表示對(duì)當(dāng)前子塊編碼的最佳預(yù)測(cè)值。當(dāng)當(dāng)前宏塊為skip模式時(shí)則當(dāng)前宏塊編碼完成后與當(dāng)前宏塊相對(duì)應(yīng)的SRM0幀存內(nèi)的宏塊不更新。編碼完當(dāng)前P幀的所有宏塊且對(duì)應(yīng)的SRM0幀存內(nèi)的宏塊更新完成后，轉(zhuǎn)至步驟5)。4)若當(dāng)前幀為雙向預(yù)測(cè)幀(B幀)，則采用傳統(tǒng)編碼方法對(duì)當(dāng)前幀利用幀存中的合成參考幀進(jìn)行雙向預(yù)測(cè)編碼，合成參考幀幀存內(nèi)的內(nèi)容不更新。B幀編碼結(jié)束后，轉(zhuǎn)至步驟6)。5)等到當(dāng)前幀(I幀，P幀)編碼完成后，對(duì)幀存SRMO中的圖像進(jìn)行去塊濾波，并且將去塊濾波后的內(nèi)容存入合成參考幀堆，用來(lái)作為下一幀的參考幀。6)重復(fù)2)-5)完成視頻序列的編碼。如圖5所示，本發(fā)明的一種利用合成參考幀的視頻編碼裝置，它具有運(yùn)動(dòng)估計(jì)、運(yùn)動(dòng)補(bǔ)償、幀內(nèi)預(yù)測(cè)、變換和量化、熵編碼、反變換和反量化、SR幀合成及SRMO、去塊濾波、參考幀存、以及更新參數(shù)確定各單元。所述更新參數(shù)確定單元根據(jù)運(yùn)動(dòng)估計(jì)得到的最佳運(yùn)動(dòng)矢量、反量化后的殘差計(jì)算得到的殘差平均能量確定當(dāng)前子塊合成參考幀的更新參數(shù)；SR幀合成及SRMO單元是SR幀更新過(guò)程的執(zhí)行單元，用所確定的更新參數(shù)執(zhí)行按子塊的SR幀更新，更新后的未去塊濾波的SR幀存入SRMO。SRM0中的內(nèi)容經(jīng)去塊濾波后存入?yún)⒖紟?，作為以后圖像幀編碼的參考幀。視頻編碼裝置的其它單元的工作與傳統(tǒng)編碼器相同。實(shí)施例3:—種利用合成參考幀的視頻解碼方法及其裝置本發(fā)明提出的利用合成參考幀的視頻解碼方法，結(jié)合附圖6、7、8詳細(xì)說(shuō)明如下本實(shí)施例的合成參考幀的生成和更新過(guò)程與實(shí)施例1完成相同，只是其中宏塊重建值和運(yùn)動(dòng)矢量是通過(guò)視頻解碼得到的，與編碼端完全一致。如圖6所示，本發(fā)明利用合成參考幀的視頻解碼裝置，它具有運(yùn)動(dòng)補(bǔ)償和幀內(nèi)預(yù)測(cè)、熵解碼、反變換和反量化、去塊濾波、重建幀存、以及合成參考幀生成模塊各單元。所述合成參考幀生成模塊包括SR幀合成單元，前參考幀存貯器SRM0和SRM1，后參考幀存貯器S賜0和SRM1，以及濾波單元，其中SRMO用于更新合成參考幀，SRM1用于存放經(jīng)去塊濾波后用于預(yù)測(cè)的合成參考幀(即濾波合成參考幀)。實(shí)施例4:另一種利用合成參考幀的視頻解碼方法及其裝置一種利用合成參考幀的視頻編碼方法及其裝置，結(jié)合附圖9說(shuō)明如下-本實(shí)施例的合成參考幀的生成和更新過(guò)程與實(shí)施例2完成相同，只是其中宏塊重建值和運(yùn)動(dòng)矢量是通過(guò)視頻解碼得到的，與編碼端完全一致。如圖9所示，本發(fā)明利用合成參考幀的視頻解碼裝置，它具有運(yùn)動(dòng)補(bǔ)償和幀內(nèi)預(yù)測(cè)、熵解碼、反變換和反量化、SR幀去塊濾波、重建圖像去塊濾波、重建圖像幀存、SR幀合成及SRM0、參考幀堆、更新參數(shù)確定各單元。所述更新參數(shù)確定單元根據(jù)熵解碼得到的子塊運(yùn)動(dòng)矢量、反變換反量化后的殘差計(jì)算得到的殘差平均能量確定當(dāng)前子塊合成參考幀的更新參數(shù)；SR幀合成及SRM0單元是SR幀更新過(guò)程的執(zhí)行單元，用所確定的更新參數(shù)執(zhí)行按子塊的SR幀更新，更新后的未去塊濾波的SR幀存入SRMO。SRMO中的內(nèi)容經(jīng)去塊濾波后存入?yún)⒖紟?，作為以后圖像幀解碼運(yùn)動(dòng)補(bǔ)償?shù)膮⒖紟?。視頻解碼裝置的其它單元的工作與傳統(tǒng)編碼器相同，所不同的是重建圖像不用于運(yùn)動(dòng)補(bǔ)償?shù)膮⒖紟?。在本解碼器中，可有二種圖像輸出，一種是解碼重建圖像，另一種是SR幀圖像。SR幀圖像實(shí)際是經(jīng)幀間濾波后的重建圖像幀，可用作實(shí)際輸出。若只采用SR幀圖像輸出，則重建圖像去塊和重建圖像幀存可省去。實(shí)施例5:—種利用合成參考幀的視頻編碼器本實(shí)施例是以在國(guó)家視頻編碼標(biāo)準(zhǔn)AVS-P2的源代碼rm52j—rl為實(shí)驗(yàn)平臺(tái)。AVS-P2對(duì)于幀間預(yù)測(cè)幀最多有兩個(gè)參考幀refO和refl。其中ref0為時(shí)域上離當(dāng)前幀較近的那一幀。在本實(shí)施例中，我們?nèi)サ魝鹘y(tǒng)的參考幀refl，引入本發(fā)明中的合成參考幀來(lái)取代傳統(tǒng)的參考幀refl。其中合成參考幀在編解碼過(guò)程中的更新情況在上的
發(fā)明內(nèi)容和實(shí)施例1中都已經(jīng)詳細(xì)給出。需要說(shuō)明的是，編碼P幀時(shí)，若當(dāng)前宏塊為前向預(yù)測(cè)選用合成參考幀進(jìn)行預(yù)測(cè)編碼，則與當(dāng)前宏塊對(duì)應(yīng)的合成參考幀的宏塊按其原像素值和當(dāng)前重建宏塊以如下系數(shù)加權(quán)更新<formula>formulaseeoriginaldocumentpage12</formula>;若當(dāng)前宏塊為前向預(yù)測(cè)且沒(méi)有選用合成參考幀進(jìn)行預(yù)測(cè)編碼時(shí)，則與當(dāng)前宏塊對(duì)應(yīng)的合成參考幀的宏塊按其原像素值和當(dāng)前重建宏塊以如下系數(shù)加權(quán)更新<formula>formulaseeoriginaldocumentpage12</formula>。其中F表示當(dāng)前編解碼宏塊值，Sr表示當(dāng)前編解碼宏塊更新后合成參考幀宏塊像素值，Srp^表示與當(dāng)前編解碼宏塊對(duì)應(yīng)的原合成參考幀宏塊像素值。對(duì)國(guó)家視頻編碼標(biāo)準(zhǔn)AVS的標(biāo)準(zhǔn)監(jiān)控序列substation,yuv按本實(shí)施例所述方法進(jìn)行編碼，統(tǒng)計(jì)數(shù)據(jù)如表l所示。實(shí)驗(yàn)表明，用合成參考幀取代AVS-P2源代碼中的傳統(tǒng)參考幀中時(shí)域上離當(dāng)前幀較遠(yuǎn)的參考幀時(shí)，編碼性能有顯著提高。使得編碼碼率明顯下降，且解碼后重建圖像主觀(guān)質(zhì)量也有明顯改善。實(shí)施例6:另一種利用合成參考幀的視頻編碼器測(cè)試本實(shí)施例是以在國(guó)家視頻編碼標(biāo)準(zhǔn)AVS-P2的源代碼為實(shí)驗(yàn)平臺(tái)。AVS-P2對(duì)于幀間預(yù)測(cè)幀最多有兩個(gè)參考幀refO和refl。在本實(shí)施例中，我們?nèi)サ魝鹘y(tǒng)的兩幀參考幀，引入本發(fā)明中的動(dòng)態(tài)合成的合成參考幀，即在編解碼過(guò)程中合成參考幀是僅有的參考幀。其中合成參考幀在編解碼過(guò)程中的更新情況在上面的
發(fā)明內(nèi)容和實(shí)施例1中都已經(jīng)詳細(xì)給出。需要說(shuō)明的是，編碼P幀時(shí)，若當(dāng)前宏塊為前向預(yù)測(cè)且為非skip模式，且運(yùn)動(dòng)矢量小于l，則與當(dāng)前宏塊對(duì)應(yīng)的合成參考幀的宏塊按其原像素值和當(dāng)前重建宏塊以如下系數(shù)加權(quán)更新315V-;j&Vre+7^;若當(dāng)前宏塊為前向預(yù)測(cè)且為非skip模式，且運(yùn)動(dòng)矢量不小于l時(shí)，則與當(dāng)前宏塊對(duì)應(yīng)的合成參考幀的宏塊按其原像素值和當(dāng)前重建宏塊以如下系數(shù)加權(quán)更新5>=|5>^+|,。其中F表示當(dāng)前編解碼宏塊值，&表示當(dāng)前編解碼宏塊更新后合成參考幀宏塊像素值，表示與當(dāng)前編解碼宏塊對(duì)應(yīng)的原有的合成參考幀宏塊像素值。對(duì)國(guó)家視頻編碼標(biāo)準(zhǔn)AVS的標(biāo)準(zhǔn)監(jiān)控序列substation,yuv用本實(shí)施例所述方法進(jìn)行編碼，統(tǒng)計(jì)數(shù)據(jù)如表2所示。實(shí)驗(yàn)表明，用合成參考幀取代AVS-P2源代碼中的所有的傳統(tǒng)參考幀時(shí)，編碼性能(PSNR和碼率)比用傳統(tǒng)的一幀參考幀編碼時(shí)有顯著提高，與用傳統(tǒng)的兩幀參考幀編碼時(shí)性能相當(dāng)，甚至比其好，同碼率主觀(guān)質(zhì)量明顯提高。最后，還需要指出的是，本發(fā)明不限于上述實(shí)施方式。本領(lǐng)域的普通技術(shù)人員能從本發(fā)明公開(kāi)的內(nèi)容直接導(dǎo)出或聯(lián)想到的所有變形，均應(yīng)認(rèn)為是本發(fā)明的保護(hù)范圍。表l:本發(fā)明的利用合成參考幀的視頻編碼方法與傳統(tǒng)編碼方法性能比較<table>tableseeoriginaldocumentpage14</column></row><table>表2:本發(fā)明的利用合成參考幀的視頻編碼方法與傳統(tǒng)編碼方法性能t匕較傳統(tǒng)單參考幀編碼方法傳統(tǒng)雙參考幀編碼方法實(shí)施例4<table>tableseeoriginaldocumentpage14</column></row><table>權(quán)利要求1.一種利用合成參考幀的視頻編解碼方法，它利用已編碼的圖像信息作為參考幀對(duì)后繼編碼的圖像幀進(jìn)行預(yù)測(cè)編碼和解碼，其特征在于所述的參考幀包括合成參考幀，該合成參考幀被每個(gè)幀內(nèi)編碼幀的重建幀重置更新，并被隨后的幀間預(yù)測(cè)幀的重建圖像信息按宏塊或其子塊更新，更新后的合成參考幀在后繼的圖像幀編碼時(shí)被用作參考幀進(jìn)行預(yù)測(cè)，并被繼續(xù)更新。2.如權(quán)利要求1所述的利用合成參考幀的視頻編解碼方法，其特征在于，所述合成參考幀的更新過(guò)程如下1)若當(dāng)前編碼幀為I幀，則合成參考幀內(nèi)容更新為當(dāng)前幀的編碼重建幀；2)若當(dāng)前編碼幀為P幀，對(duì)合成參考幀中的每個(gè)宏塊分別釆用如下方式更新(a)若當(dāng)前宏塊為I宏塊編碼，則與當(dāng)前宏塊相對(duì)應(yīng)的合成參考幀宏塊用當(dāng)前重建宏塊值替換；(b)若當(dāng)前宏塊采用了前向預(yù)測(cè)，根據(jù)當(dāng)前子塊運(yùn)動(dòng)估計(jì)后得到的最佳運(yùn)動(dòng)矢量、所用參考幀和量化后的殘差情況，將與當(dāng)前宏塊相對(duì)應(yīng)的合成參考幀宏塊用其原值和當(dāng)前重建宏塊值用不同的更新系數(shù)進(jìn)行加權(quán)平均更新；(C)否則，當(dāng)前宏塊相對(duì)應(yīng)的合成參考幀宏塊不更新；3)若當(dāng)前幀為雙向預(yù)測(cè)幀B幀，合成參考幀不更新；4)對(duì)更新后的合成參考幀進(jìn)行去塊濾波。3.如權(quán)利要求1所述的利用合成參考幀的視頻編解碼方法，其特征在于，所述合成參考幀是以宏塊中的子塊為單位更新，更新過(guò)程為1)若當(dāng)前幀為I幀，則合成參考幀內(nèi)容更新為當(dāng)前幀的重建幀；2)若當(dāng)前幀為P幀，對(duì)合成參考幀中的每個(gè)宏塊的子塊分別采用如下方式更新(a)若當(dāng)前子塊為I宏塊中的子塊編碼，或是幀內(nèi)編碼子塊，則與當(dāng)前子塊相對(duì)應(yīng)的合成參考幀子塊用當(dāng)前重建子塊替換；(b)若當(dāng)前子塊采用了前向預(yù)測(cè)，根據(jù)當(dāng)前子塊運(yùn)動(dòng)估計(jì)后得到的最佳運(yùn)動(dòng)矢量、所用參考幀和量化后的殘差情況，將與當(dāng)前子塊相對(duì)應(yīng)的合成參考幀子塊用當(dāng)前子塊的預(yù)測(cè)值和當(dāng)前重建子塊以不同的更新系數(shù)進(jìn)行更新；(c)否則當(dāng)前子塊相對(duì)應(yīng)的合成參考幀子塊不更新；3)若當(dāng)前幀為雙向預(yù)測(cè)幀B幀，合成參考幀不更新；4)對(duì)更新后的合成參考幀進(jìn)行去塊濾波。4.如權(quán)利要求2或3所述的合成參考幀更新方法，其特征在于，更新系數(shù)由如下三個(gè)因素確定當(dāng)前宏塊或子塊所用的參考幀類(lèi)型；最佳運(yùn)動(dòng)矢量長(zhǎng)度是否小于一個(gè)閾值；當(dāng)前子塊量化后的殘差平均能量是否小于一個(gè)閾值。5.如權(quán)利要求2或3所述的合成參考幀更新方法，其特征在于，更新系數(shù)是當(dāng)前宏塊或子塊量化后的殘差平均能量的遞增函數(shù)，該函數(shù)是預(yù)先確定的非線(xiàn)性函數(shù)或分段線(xiàn)性函數(shù)。6.如權(quán)利要求2或3所述的合成參考幀更新方法，其特征在于，它還進(jìn)行靜止區(qū)域檢測(cè)，靜止區(qū)域用于確定合成參考幀的更新系數(shù)。7.—種利用合成參考幀的視頻編碼裝置，利用已編碼的圖像信息作為參考幀對(duì)后繼編碼的圖像幀進(jìn)行預(yù)測(cè)編碼，其特征在于，它包括如權(quán)利要求1至3任一項(xiàng)所述合成參考幀的生成模塊。8.如權(quán)利要求7所述的利用合成參考幀的視頻編碼裝置，其特征在于，所述合成參考幀的生成模塊包括合成參考幀合成單元、合成參考幀存貯和濾波單元，其中，合成參考幀存貯和濾波單元包括去塊濾波器和幀存貯器SRM0和SRM1，其中SRM0用于更新合成參考幀，濾波單元對(duì)SRM0中的合成參考幀進(jìn)行濾波后存于SRM1中，直接用作進(jìn)行幀間預(yù)測(cè)的參考幀。9.一種利用合成參考幀的視頻解碼裝置，利用已解碼的圖像信息作為參考幀對(duì)后繼解碼的圖像幀進(jìn)行預(yù)測(cè)解碼，其特征在于，它包括如權(quán)利要求1至3任一項(xiàng)所述合成參考幀的生成模塊。10.如權(quán)利要求9所述的利用合成參考幀的視頻解碼裝置，其特征在于，所述合成參考幀的生成模塊包括合成參考幀合成單元、合成參考幀存貯和濾波單元，其中，合成參考幀存貯和濾波單元包括去塊濾波器和幀存貯器SRM0和SRM1，其中SRM0用于更新合成參考幀，濾波單元對(duì)SRM0中的合成參考幀進(jìn)行濾波后存于SRM1中，用作直接進(jìn)行幀間預(yù)測(cè)的參考幀。全文摘要本發(fā)明公開(kāi)了一種利用合成參考幀的視頻編解碼方法及裝置，它利用已編碼的圖像信息作為參考幀對(duì)后繼編碼的圖像幀進(jìn)行預(yù)測(cè)編碼和解碼，所述的參考幀包括合成參考幀，該合成參考幀被每個(gè)幀內(nèi)編碼幀的重建幀重置更新，并被隨后的幀間預(yù)測(cè)幀的重建圖像信息按宏塊或其子塊更新，更新后的合成參考幀在后繼的圖像幀編碼時(shí)被用作參考幀進(jìn)行預(yù)測(cè)，并被繼續(xù)更新。本發(fā)明可以提高視頻監(jiān)控中的視頻序列運(yùn)動(dòng)估計(jì)的準(zhǔn)確性，降低預(yù)測(cè)誤差，提高編碼效率，并且復(fù)雜度不增加。文檔編號(hào)H04N7/32GK101272494SQ200810087379公開(kāi)日2008年9月24日申請(qǐng)日期2008年3月21日優(yōu)先權(quán)日2008年1月25日發(fā)明者劉云海,超盧,唐慧明,張玉潔,戚華飛,樓洛陽(yáng),露虞申請(qǐng)人:浙江大學(xué)