專利名稱：可伸縮視頻編碼錯誤隱藏方法、解碼器和系統(tǒng)的制作方法
可伸縮視頻編碼錯誤隱藏方法、解碼器和系統(tǒng)技術(shù)領(lǐng)域
本申請涉及視頻編碼技術(shù)領(lǐng)域，特別是涉及一種可伸縮視頻編碼錯誤隱藏方法、 解碼器和系統(tǒng)。
背景技術(shù)：
近年來，隨著英特網(wǎng)以及第三代移動通信技術(shù)的普及，視頻服務(wù)正面臨著飛速的發(fā)展。為了使視頻流能夠更好地適應(yīng)各種不同的網(wǎng)絡(luò)環(huán)境和用戶終端，SVC(Scalabile Video Coding，可伸縮視頻編碼)碼流被認(rèn)為是目前解決這一問題的最好方法。
SVC碼流能提供一個空間、時間、質(zhì)量可伸縮的碼流，從這個碼流中可以抽取子碼流，以滿足網(wǎng)絡(luò)傳輸速率以及終端用戶對視頻在空間、時間和信噪比等方面的需求。在SVC 碼流中，最低質(zhì)量層被稱作基本層，增強(qiáng)空間分辨率、時間分辨率或者信噪比強(qiáng)度的層被稱作增強(qiáng)層。其中，為實現(xiàn)空間可伸縮性，可以利用層間的運(yùn)動、紋理和殘差信息，使用分層編碼方法；為實現(xiàn)時間可伸縮性，采用分級雙向編碼幀編碼方法；為實現(xiàn)信噪比可伸縮性，可以使用粗粒度可伸縮性和中粒度可伸縮性兩種方法，這兩種方法采用與空間可伸縮性相似的層間預(yù)測方法。
雖然視頻編碼算法充分利用了空間、時間和層間的冗余，最大限度地提高了編碼效率，但是在實際視頻應(yīng)用中可用帶寬動態(tài)變化或路由阻塞，造成碼流傳輸出錯，進(jìn)一步影響到當(dāng)前幀、時間后續(xù)幀以及后續(xù)層幀，從而使視頻質(zhì)量大大降低?，F(xiàn)有的差錯控制方法包括錯誤彈性方法和錯誤隱藏方法。錯誤彈性方法是在編碼端加入一定的冗余，使解碼端在丟包情況下，在一定程度上盡量減少視頻質(zhì)量損失，提高視頻總體質(zhì)量。錯誤隱藏方法是在解碼端利用空間、時間和層間正確接收的信息對丟失部分進(jìn)行重建。
在SVC中，由于分層技術(shù)的使用，可最大限度的利用層間相關(guān)性進(jìn)行錯誤隱藏。如
公開日期為2009年11月18日，公開號為CN101583045A的專利申請“基于OBMC (Overlapped Block Motion Compensation，重疊塊運(yùn)動補(bǔ)償)的SVC層間錯誤隱藏方法”，在使用基本層幀的運(yùn)動矢量之前根據(jù)增強(qiáng)層幀和基本層幀的空間分辨率比率判斷是否進(jìn)行尺度放大，在找出若干補(bǔ)償塊進(jìn)行OBMC加權(quán)之后，對基本層幀的殘差數(shù)據(jù)采取可能的上采樣濾波，加到 OBMC方法的重建值上，避免了使用單一運(yùn)動矢量做運(yùn)動補(bǔ)償所帶來的塊效應(yīng)問題。
然而上述基于OBMC的SVC層間錯誤隱藏方法適用于均勻運(yùn)動序列，基本層幀為幀間編碼幀，且增強(qiáng)層幀無連續(xù)丟包的情況。但是當(dāng)基本層幀為幀內(nèi)編碼幀時，由于基本層幀不具有運(yùn)動矢量以及殘差信息，從而對該基本層幀的殘差數(shù)據(jù)上采樣后得到的重建值準(zhǔn)確度降低，進(jìn)一步導(dǎo)致包含該基本層幀和增強(qiáng)層幀的編碼幀與后續(xù)參考該編碼幀的編碼幀質(zhì)量降低，從而導(dǎo)致視頻模糊。發(fā)明內(nèi)容
有鑒于此，本申請實施例公開一種可伸縮視頻編碼錯誤隱藏方法、解碼器和系統(tǒng)， 以提高編碼幀質(zhì)量，進(jìn)一步提高視頻清晰度。技術(shù)方案如下
基于本申請實施例的一方面，公開一種可伸縮視頻編碼錯誤隱藏方法，包括
解碼正確編碼幀的基本層幀和增強(qiáng)層幀；
對正確解碼幀中的基本層幀進(jìn)行上采樣，計算上采樣后的基本層幀中的各個像素的邊緣強(qiáng)度，依據(jù)所述各個像素的邊緣強(qiáng)度，將基本層幀的各個像素進(jìn)行分類，得出像素分類結(jié)果；
依據(jù)所述像素分類結(jié)果，對正確解碼幀中增強(qiáng)層幀的各個像素進(jìn)行分類，依據(jù)基本層幀和增強(qiáng)層幀像素分類，確定與所述像素分類對應(yīng)的維納濾波器；
當(dāng)丟失的增強(qiáng)層幀對應(yīng)的基本層幀為幀間編碼幀，且增強(qiáng)層的丟幀次數(shù)未超過預(yù)設(shè)次數(shù)時，判斷基本層幀中的解碼宏塊是幀間編碼塊還是幀內(nèi)編碼塊；
若所述基本層幀中的解碼宏塊為幀間編碼塊，獲取所述基本層幀間編碼塊對應(yīng)的重建值、運(yùn)動矢量和殘差信息；
對所述運(yùn)動矢量進(jìn)行上采樣；
判斷上采樣后的運(yùn)動矢量坐標(biāo)是否超過所述丟失的增強(qiáng)層幀的參考幀邊界，如果是，對所述重建值進(jìn)行上采樣，計算上采樣后的重建值中的各個像素的邊緣強(qiáng)度，選取與所述各個像素的邊緣強(qiáng)度對應(yīng)的維納濾波器，對像素進(jìn)行濾波，濾波后的像素組成的重建值作為所述丟失的增強(qiáng)層幀中對應(yīng)的解碼宏塊的錯誤隱藏值，如果否，用上采樣后的運(yùn)動矢量和上采樣后的殘差信息進(jìn)行運(yùn)動補(bǔ)償，得出對應(yīng)的所述丟失的增強(qiáng)層幀中的解碼宏塊的錯誤隱藏值；
若所述基本層幀中解碼宏塊為幀內(nèi)編碼塊，獲取所述幀內(nèi)編碼塊對應(yīng)的重建值；
對所述重建值進(jìn)行上采樣，計算上采樣后的重建值中的各個像素的邊緣強(qiáng)度，選取與所述各個像素的邊緣強(qiáng)度對應(yīng)的維納濾波器，對像素進(jìn)行濾波，濾波后的像素組成的重建值作為丟失的增強(qiáng)層幀中對應(yīng)的解碼宏塊的錯誤隱藏值。
優(yōu)選地，還包括當(dāng)所述丟失的增強(qiáng)層幀對應(yīng)的基本層幀為幀間編碼幀，且增強(qiáng)層的丟幀次數(shù)超過預(yù)設(shè)次數(shù)時，采用重編碼方法，得到重編基本層幀，所述重編碼方法為，獲取所述丟失的增強(qiáng)層幀對應(yīng)的基本層幀，將基本層幀作為原始幀，將到該基本層幀時間上最近的正確解碼幀中的基本層幀為參考幀，對原始幀進(jìn)行編碼，得出重編碼基本層幀；
判斷重編碼基本層幀中的解碼宏塊是幀間編碼塊還是幀內(nèi)編碼塊；
若所述重編碼基本層幀中的解碼宏塊為幀間編碼塊，獲取該幀間編碼塊對應(yīng)的原始重建值、運(yùn)動矢量和殘差信息，所述原始重建值在解碼正確編碼幀的基本層幀和增強(qiáng)層幀時獲得；
對所述運(yùn)動矢量進(jìn)行上采樣；
判斷上采樣后的運(yùn)動矢量坐標(biāo)是否超過所述丟失的增強(qiáng)層幀的參考幀邊界，如果是，對所述原始重建值進(jìn)行上采樣，計算上采樣后的原始重建值中的各個像素的邊緣強(qiáng)度， 選取與所述各個像素的邊緣強(qiáng)度對應(yīng)的維納濾波器，對像素進(jìn)行濾波，濾波后的像素組成的重建值作為所述丟失的增強(qiáng)層幀中對應(yīng)的解碼宏塊的錯誤隱藏值，如果否，用上采樣后的運(yùn)動矢量和上采樣后的殘差信息進(jìn)行運(yùn)動補(bǔ)償，得出對應(yīng)的所述丟失的增強(qiáng)層幀中的解碼宏塊的錯誤隱藏值；
若所述重編碼基本層幀中的解碼宏塊為幀內(nèi)編碼塊，獲取該幀內(nèi)編碼塊對應(yīng)的原始重建值，所述原始重建值在解碼正確編碼幀的基本層幀和增強(qiáng)層幀時獲得；
對所述原始重建值進(jìn)行上采樣，計算上采樣后的原始重建值中的各個像素的邊緣強(qiáng)度，選取與所述各個像素的邊緣強(qiáng)度對應(yīng)的維納濾波器，對像素進(jìn)行濾波，濾波后的像素組成的重建值作為丟失的增強(qiáng)層幀中對應(yīng)的解碼宏塊的錯誤隱藏值。
優(yōu)選地，還包括當(dāng)所述丟失的增強(qiáng)層幀對應(yīng)的基本層幀為幀內(nèi)編碼幀，采用重編碼方法，得到重編基本層幀，該重編碼方法為，獲取所述丟失的增強(qiáng)層幀對應(yīng)的基本層幀， 將基本層幀作為原始幀，將到該基本層幀時間上最近的正確編碼幀中的基本層幀為參考幀，對原始幀進(jìn)行編碼，得出重編基本層幀；
判斷重編碼基本層幀中的解碼宏塊是幀間編碼塊還是幀內(nèi)編碼塊；
若所述重編碼基本層幀中的解碼宏塊為幀間編碼塊，獲取該幀間編碼塊對應(yīng)的原始重建值、運(yùn)動矢量和殘差信息，所述原始重建值在解碼正確編碼幀的基本層幀和增強(qiáng)層幀時獲得；
對所述運(yùn)動矢量進(jìn)行上采樣；
判斷上采樣后的運(yùn)動矢量坐標(biāo)是否超過所述丟失的增強(qiáng)層幀的參考幀邊界，如果是，對所述原始重建值進(jìn)行上采樣，計算上采樣后的原始重建值中的各個像素的邊緣強(qiáng)度， 選取與所述各個像素的邊緣強(qiáng)度對應(yīng)的維納濾波器，對像素進(jìn)行濾波，濾波后的像素組成的重建值作為所述丟失的增強(qiáng)層幀中對應(yīng)的解碼宏塊的錯誤隱藏值，如果否，用上采樣后的運(yùn)動矢量和上采樣后的殘差信息進(jìn)行運(yùn)動補(bǔ)償，得出對應(yīng)的所述丟失的增強(qiáng)層幀中的解碼宏塊的錯誤隱藏值；
若所述重編碼基本層幀中的解碼宏塊為幀內(nèi)編碼塊，獲取該幀內(nèi)編碼塊對應(yīng)的原始重建值；
對所述原始重建值進(jìn)行上采樣，計算上采樣后的原始重建值中的各個像素的邊緣強(qiáng)度，選取與所述各個像素的邊緣強(qiáng)度對應(yīng)的維納濾波器，對像素進(jìn)行濾波，濾波后的像素組成的重建值作為丟失的增強(qiáng)層幀中對應(yīng)的解碼宏塊的錯誤隱藏值。
優(yōu)選地，所述對原始幀進(jìn)行編碼包括采用4X4編碼塊對原始幀進(jìn)行編碼。
優(yōu)選地，所述重編基本層幀中幀間編碼塊和幀內(nèi)編碼塊的個數(shù)可以通過調(diào)節(jié)拉格朗日參數(shù)λ來控制，其中λ = λ 0/α，λ 0為原始拉格朗日參數(shù)，α為錯誤隱藏質(zhì)量參數(shù)， α > O。
優(yōu)選地，還包括針對任一像素分類結(jié)果，判斷所述像素分類結(jié)果中像素個數(shù)是否小于預(yù)設(shè)閾值T ；
在所述像素分類結(jié)果中像素個數(shù)小于預(yù)設(shè)閾值T時，將該像素分類結(jié)果中的像素劃分到與該像素分類結(jié)果中的像素的邊緣強(qiáng)度最接近的類中，其中預(yù)設(shè)閾值T為Ν/16/4，N 為圖像中的像素總個數(shù)。
優(yōu)選地，像素分類結(jié)果的個數(shù)依據(jù)公式var_SObel(i，j) = min(n, [sobel (i, j)]) 確定，其中n為給定值，sobel (i，j)為像素的邊緣強(qiáng)度。
基于本申請實施例的一方面，公開一種解碼器，包括
解碼裝置，用于解碼正確編碼幀的基本層幀和增強(qiáng)層幀；
與所述解碼裝置相連的第一分類器，用于對正確解碼幀中的基本層幀進(jìn)行上采樣，計算上采樣后的基本層幀中的各個像素的邊緣強(qiáng)度，依據(jù)所述各個像素的邊緣強(qiáng)度，將基本層幀的各個像素進(jìn)行分類，得出像素分類結(jié)果；
與所述第一分類器相連的濾波器確定裝置，用于依據(jù)所述像素分類結(jié)果，對正確解碼幀中增強(qiáng)層幀的各個像素進(jìn)行分類，依據(jù)基本層幀和增強(qiáng)層幀像素分類，確定與所述像素分類對應(yīng)的維納濾波器；
與所述濾波器確定裝置相連的判斷裝置，用于當(dāng)丟失的增強(qiáng)層幀對應(yīng)的基本層幀為幀間編碼幀，且增強(qiáng)層的丟幀次數(shù)未超過預(yù)設(shè)次數(shù)時，判斷基本層幀中的解碼宏塊是幀間編碼塊還是幀內(nèi)編碼塊；
與所述判斷裝置相連的獲取裝置，用于在所述判斷裝置判斷所述解碼宏塊為幀間編碼塊，獲取所述基本層幀間編碼塊對應(yīng)的重建值、運(yùn)動矢量和殘差信息；在所述判斷裝置判斷所述解碼宏塊為幀內(nèi)編碼塊，獲取所述幀內(nèi)編碼塊對應(yīng)的重建值；
與所述獲取裝置相連的第一重建裝置，用于對所述運(yùn)動矢量進(jìn)行上采樣，判斷上采樣后的運(yùn)動矢量坐標(biāo)是否超過所述丟失的增強(qiáng)層幀的參考幀邊界，如果是，對所述重建值進(jìn)行上采樣，計算上采樣后的重建值中的各個像素的邊緣強(qiáng)度，選取與所述各個像素的邊緣強(qiáng)度對應(yīng)的維納濾波器，對像素進(jìn)行濾波，濾波后的像素組成的重建值作為所述丟失的增強(qiáng)層幀中對應(yīng)的解碼宏塊的錯誤隱藏值，如果否，用上采樣后的運(yùn)動矢量和上采樣后的殘差信息進(jìn)行運(yùn)動補(bǔ)償，得出對應(yīng)的所述丟失的增強(qiáng)層幀中的解碼宏塊的錯誤隱藏值；
與所述獲取裝置相連的第二重建裝置，用于對所述重建值進(jìn)行上采樣，計算上采樣后的重建值中的各個像素的邊緣強(qiáng)度，選取與所述各個像素的邊緣強(qiáng)度對應(yīng)的維納濾波器，對像素進(jìn)行濾波，濾波后的像素組成的重建值作為丟失的增強(qiáng)層幀中對應(yīng)的解碼宏塊的錯誤隱藏值。
優(yōu)選地，還包括連接在所述濾波器確定裝置和所述判斷裝置之間的重編碼裝置， 用于當(dāng)所述丟失的增強(qiáng)層幀對應(yīng)的基本層幀為幀間編碼幀，且增強(qiáng)層的丟幀次數(shù)超過預(yù)設(shè)次數(shù)，或者當(dāng)所述丟失的增強(qiáng)層幀對應(yīng)的基本層幀為幀內(nèi)編碼幀，采用重編碼方法，得到重編基本層幀，該重編碼方法為，獲取所述丟失的增強(qiáng)層幀對應(yīng)的基本層幀，將基本層幀作為原始幀，將到該基本層幀時間上最近的正確編碼幀中的基本層幀為參考幀，對原始幀進(jìn)行編碼，得出重編基本層幀；
判斷裝置，還用于判斷重編基本層幀中的解碼宏塊是幀間編碼塊還是幀內(nèi)編碼塊。
優(yōu)選地，所述重編碼裝置具體采用4X4編碼塊對原始幀進(jìn)行編碼。
優(yōu)選地，所述重編基本層幀中幀間編碼塊和幀內(nèi)編碼塊的個數(shù)可以通過調(diào)節(jié)拉格朗日參數(shù)λ來控制，其中λ = λ 0/α，λ 0為原始拉格朗日參數(shù)，α為錯誤隱藏質(zhì)量參數(shù)， α > O。
優(yōu)選地，還包括連接在所述第一分類器和所述濾波器確定裝置之間的第一個數(shù)判斷裝置和第二分類器，其中
所述第一個數(shù)判斷裝置與所述第一分類器相連，用于針對任一像素分類結(jié)果，判斷所述像素分類結(jié)果中像素個數(shù)是否小于預(yù)設(shè)閾值T ；
所述第二分類器連接在所述第一個數(shù)判斷裝置和所述濾波器確定裝置之間，用于在所述第一分類器得出的像素分類結(jié)果中像素個數(shù)小于預(yù)設(shè)閾值T時，將該像素分類結(jié)果中的像素劃分到與該像素分類結(jié)果中的像素的邊緣強(qiáng)度最接近的類中，其中預(yù)設(shè)閾值T為 Ν/16/4，Ν為圖像中的像素總個數(shù)。
優(yōu)選地，還包括連接在所述第一分類器和所述濾波器確定裝置之間的第二個數(shù)判斷裝置和第三分類器，其中
所述第二個數(shù)判斷裝置與所述第一分類器相連，用于針對任一像素分類結(jié)果，判斷所述像素分類結(jié)果中像素個數(shù)是否小于預(yù)設(shè)閾值T ；
所述第三分類器連接在所述第二個數(shù)判斷裝置和所述濾波器確定裝置之間，用于在所述第一分類器得出的像素分類結(jié)果中像素個數(shù)小于預(yù)設(shè)閾值T時，將該像素分類結(jié)果中的像素劃分到與該像素分類結(jié)果中的像素的邊緣強(qiáng)度最接近的類中，其中預(yù)設(shè)閾值T為 N/16/4，N為圖像中的像素總個數(shù)。
優(yōu)選地，所述第一分類器中像素分類結(jié)果的個數(shù)依據(jù)公式var_SObel(i，j)= min(n, [sobel(i, j)])確定，其中n為給定值，sobel(i, j)為像素的邊緣強(qiáng)度。
基于本申請實施例的另一方面，公開一種可伸縮視頻編碼錯誤隱藏系統(tǒng)，包括編碼器和傳輸設(shè)備，還包括上述解碼器。
應(yīng)用上述技術(shù)方案，在丟失的增強(qiáng)層幀對應(yīng)的基本層幀為幀間編碼幀，且丟幀次數(shù)未超過預(yù)設(shè)次數(shù)情況下，在幀間編碼幀中的解碼宏塊為幀間編碼塊或幀內(nèi)編碼塊時進(jìn)行不同處理，得到重建的增強(qiáng)層幀的錯誤隱藏值；在丟失的增強(qiáng)層幀對應(yīng)的基本層幀為幀間編碼幀，且丟幀次數(shù)超過預(yù)設(shè)次數(shù)情況下或者丟失的增強(qiáng)層幀對應(yīng)的基本層幀為幀內(nèi)編碼幀，采用重編碼方法，得到重編基本層幀，在重編基本層幀中的的解碼宏塊為幀間編碼塊或幀內(nèi)編碼塊時進(jìn)行不同處理，得到重建的增強(qiáng)層幀的錯誤隱藏值。與現(xiàn)有技術(shù)相比，提高了重建的增強(qiáng)層幀的質(zhì)量，從而提高視頻清晰度，避免視頻出現(xiàn)拉絲現(xiàn)象。


圖1為本申請公開的可伸縮視頻編碼錯誤隱藏方法的一種局部流程圖2為本申請公開的可伸縮視頻編碼錯誤隱藏方法中編碼幀接收示意圖3為本申請公開的可伸縮視頻編碼錯誤隱藏方法的另一種局部流程圖4為本申請公開的可伸縮視頻編碼錯誤隱藏方法的再一種局部流程圖5為本申請公開的可伸縮視頻編碼錯誤隱藏方法的完整流程圖6為foreman序列經(jīng)過不同錯誤隱藏方法的峰值信噪比增益結(jié)果示意圖7為foothll序列經(jīng)過不同錯誤隱藏方法的峰值信噪比增益結(jié)果示意圖8為具有靜止背景的序列經(jīng)過不同錯誤隱藏方法的SSIM增益結(jié)果示意圖9為具有靜止背景的序列經(jīng)過不同錯誤隱藏方法的PSNR增益結(jié)果示意圖10為運(yùn)動平穩(wěn)的paris序列經(jīng)過不同錯誤隱藏方法的PSNR增益結(jié)果示意圖11為運(yùn)動平穩(wěn)的container序列經(jīng)過不同錯誤隱藏方法的PSNR增益結(jié)果示意圖12為本申請公開的解碼器的一種結(jié)構(gòu)示意圖13為本申請公開的解碼器的另一種結(jié)構(gòu)示意圖14為本申請公開的解碼器的再一種結(jié)構(gòu)示意圖15為本申請公開的解碼器的再一種結(jié)構(gòu)示意圖。
具體實施方式
上述基于OBMC的SVC層間錯誤隱藏方法以BLSkip (Base Layer Skip，基本層復(fù)用)方法為基礎(chǔ)，在找出若干補(bǔ)償塊進(jìn)行OBMC加權(quán)之后，對基本層幀的殘差數(shù)據(jù)進(jìn)行上采樣濾波，加到OBMC方法的重建值上，進(jìn)而可以依據(jù)該重建值，得出基本層幀對應(yīng)的增強(qiáng)層幀。
然而，發(fā)明人經(jīng)過多次實驗發(fā)現(xiàn)，上采樣后的運(yùn)動矢量坐標(biāo)超過運(yùn)動補(bǔ)償過程中參考幀邊界，從而導(dǎo)致依據(jù)上采樣后的運(yùn)動矢量和殘差信息進(jìn)行運(yùn)動補(bǔ)償?shù)贸龅脑鰪?qiáng)層幀對應(yīng)的幀間編碼塊質(zhì)量降低，即增強(qiáng)層幀質(zhì)量降低，進(jìn)一步導(dǎo)致視頻出現(xiàn)拉絲現(xiàn)象。為了解決該問題，本申請實施例公開了一種可伸縮視頻編碼錯誤隱藏方法，對上采樣后的運(yùn)動矢量坐標(biāo)是否超過運(yùn)動補(bǔ)償過程中參考幀邊界進(jìn)行不同處理，以解決視頻出現(xiàn)的拉絲現(xiàn)象。
為使本申請的上述目的、特征和優(yōu)點能夠更加明顯易懂，下面結(jié)合附圖和具體實施方式
對本申請作進(jìn)一步詳細(xì)的說明。
一個實施例
請參閱圖1，圖1為本申請實施例公開的可伸縮視頻編碼錯誤隱藏方法的流程圖， 其適用于丟失的增強(qiáng)層幀對應(yīng)的基本層幀為幀間編碼幀，且增強(qiáng)層的丟幀次數(shù)未超過預(yù)設(shè)次數(shù)的情況，可以包括如下步驟
SlOl 解碼正確編碼幀的基本層幀和增強(qiáng)層幀。其中正確編碼幀為基本層幀和增強(qiáng)層幀的解碼結(jié)果分別與各自的編碼結(jié)果一致的幀，如圖2所示。圖2為編碼幀接收示意圖，其中BL表示為基本層，EL表示為增強(qiáng)層，每個線框表示一幀，粗線框表示幀內(nèi)編碼幀，細(xì)線框表示幀間編碼幀，實線框表示幀正確接收，虛線框表示幀丟失。從圖2中可以看出由左至右，第5個增強(qiáng)層幀丟失，第1至第4個基本層幀和增強(qiáng)層幀正確接收，第1至第 4個編碼幀則為正確編碼幀。
S102:對正確編碼幀中的基本層幀進(jìn)行上采樣，計算上采樣后的基本層幀中的各個像素的邊緣強(qiáng)度，依據(jù)邊緣強(qiáng)度，將基本層幀的各個像素進(jìn)行分類，得出像素分類結(jié)果。
上述計算上采樣后的基本層幀中的各個像素的邊緣強(qiáng)度可以采用Sobel算子計算，具體為依據(jù)下述公式
權(quán)利要求
1.一種可伸縮視頻編碼錯誤隱藏方法，其特征在于，包括 解碼正確編碼幀的基本層幀和增強(qiáng)層幀；對正確解碼幀中的基本層幀進(jìn)行上采樣，計算上采樣后的基本層幀中的各個像素的邊緣強(qiáng)度，依據(jù)所述各個像素的邊緣強(qiáng)度，將基本層幀的各個像素進(jìn)行分類，得出像素分類結(jié)果；依據(jù)所述像素分類結(jié)果，對正確解碼幀中增強(qiáng)層幀的各個像素進(jìn)行分類，依據(jù)基本層幀和增強(qiáng)層幀像素分類，確定與所述像素分類對應(yīng)的維納濾波器；當(dāng)丟失的增強(qiáng)層幀對應(yīng)的基本層幀為幀間編碼幀，且增強(qiáng)層的丟幀次數(shù)未超過預(yù)設(shè)次數(shù)時，判斷基本層幀中的解碼宏塊是幀間編碼塊還是幀內(nèi)編碼塊；若所述基本層幀中的解碼宏塊為幀間編碼塊，獲取所述基本層幀間編碼塊對應(yīng)的重建值、運(yùn)動矢量和殘差信息；對所述運(yùn)動矢量進(jìn)行上采樣；判斷上采樣后的運(yùn)動矢量坐標(biāo)是否超過所述丟失的增強(qiáng)層幀的參考幀邊界，如果是， 對所述重建值進(jìn)行上采樣，計算上采樣后的重建值中的各個像素的邊緣強(qiáng)度，選取與所述各個像素的邊緣強(qiáng)度對應(yīng)的維納濾波器，對像素進(jìn)行濾波，濾波后的像素組成的重建值作為所述丟失的增強(qiáng)層幀中對應(yīng)的解碼宏塊的錯誤隱藏值，如果否，用上采樣后的運(yùn)動矢量和上采樣后的殘差信息進(jìn)行運(yùn)動補(bǔ)償，得出對應(yīng)的所述丟失的增強(qiáng)層幀中的解碼宏塊的錯誤隱藏值；若所述基本層幀中解碼宏塊為幀內(nèi)編碼塊，獲取所述幀內(nèi)編碼塊對應(yīng)的重建值； 對所述重建值進(jìn)行上采樣，計算上采樣后的重建值中的各個像素的邊緣強(qiáng)度，選取與所述各個像素的邊緣強(qiáng)度對應(yīng)的維納濾波器，對像素進(jìn)行濾波，濾波后的像素組成的重建值作為丟失的增強(qiáng)層幀中對應(yīng)的解碼宏塊的錯誤隱藏值。
2.根據(jù)權(quán)利要求1所述的可伸縮視頻編碼錯誤隱藏方法，其特征在于，還包括當(dāng)所述丟失的增強(qiáng)層幀對應(yīng)的基本層幀為幀間編碼幀，且增強(qiáng)層的丟幀次數(shù)超過預(yù)設(shè)次數(shù)時，采用重編碼方法，得到重編基本層幀，所述重編碼方法為，獲取所述丟失的增強(qiáng)層幀對應(yīng)的基本層幀，將基本層幀作為原始幀，將到該基本層幀時間上最近的正確解碼幀中的基本層幀為參考幀，對原始幀進(jìn)行編碼，得出重編碼基本層幀；判斷重編碼基本層幀中的解碼宏塊是幀間編碼塊還是幀內(nèi)編碼塊； 若所述重編碼基本層幀中的解碼宏塊為幀間編碼塊，獲取該幀間編碼塊對應(yīng)的原始重建值、運(yùn)動矢量和殘差信息，所述原始重建值在解碼正確編碼幀的基本層幀和增強(qiáng)層幀時獲得；對所述運(yùn)動矢量進(jìn)行上采樣；判斷上采樣后的運(yùn)動矢量坐標(biāo)是否超過所述丟失的增強(qiáng)層幀的參考幀邊界，如果是， 對所述原始重建值進(jìn)行上采樣，計算上采樣后的原始重建值中的各個像素的邊緣強(qiáng)度，選取與所述各個像素的邊緣強(qiáng)度對應(yīng)的維納濾波器，對像素進(jìn)行濾波，濾波后的像素組成的重建值作為所述丟失的增強(qiáng)層幀中對應(yīng)的解碼宏塊的錯誤隱藏值，如果否，用上采樣后的運(yùn)動矢量和上采樣后的殘差信息進(jìn)行運(yùn)動補(bǔ)償，得出對應(yīng)的所述丟失的增強(qiáng)層幀中的解碼宏塊的錯誤隱藏值；若所述重編碼基本層幀中的解碼宏塊為幀內(nèi)編碼塊，獲取該幀內(nèi)編碼塊對應(yīng)的原始重建值，所述原始重建值在解碼正確編碼幀的基本層幀和增強(qiáng)層幀時獲得；對所述原始重建值進(jìn)行上采樣，計算上采樣后的原始重建值中的各個像素的邊緣強(qiáng)度，選取與所述各個像素的邊緣強(qiáng)度對應(yīng)的維納濾波器，對像素進(jìn)行濾波，濾波后的像素組成的重建值作為丟失的增強(qiáng)層幀中對應(yīng)的解碼宏塊的錯誤隱藏值。
3.根據(jù)權(quán)利要求1所述的可伸縮視頻編碼錯誤隱藏方法，其特征在于，還包括當(dāng)所述丟失的增強(qiáng)層幀對應(yīng)的基本層幀為幀內(nèi)編碼幀，采用重編碼方法，得到重編基本層幀，該重編碼方法為，獲取所述丟失的增強(qiáng)層幀對應(yīng)的基本層幀，將基本層幀作為原始幀，將到該基本層幀時間上最近的正確編碼幀中的基本層幀為參考幀，對原始幀進(jìn)行編碼， 得出重編基本層幀；判斷重編碼基本層幀中的解碼宏塊是幀間編碼塊還是幀內(nèi)編碼塊；若所述重編碼基本層幀中的解碼宏塊為幀間編碼塊，獲取該幀間編碼塊對應(yīng)的原始重建值、運(yùn)動矢量和殘差信息，所述原始重建值在解碼正確編碼幀的基本層幀和增強(qiáng)層幀時獲得；對所述運(yùn)動矢量進(jìn)行上采樣；判斷上采樣后的運(yùn)動矢量坐標(biāo)是否超過所述丟失的增強(qiáng)層幀的參考幀邊界，如果是， 對所述原始重建值進(jìn)行上采樣，計算上采樣后的原始重建值中的各個像素的邊緣強(qiáng)度，選取與所述各個像素的邊緣強(qiáng)度對應(yīng)的維納濾波器，對像素進(jìn)行濾波，濾波后的像素組成的重建值作為所述丟失的增強(qiáng)層幀中對應(yīng)的解碼宏塊的錯誤隱藏值，如果否，用上采樣后的運(yùn)動矢量和上采樣后的殘差信息進(jìn)行運(yùn)動補(bǔ)償，得出對應(yīng)的所述丟失的增強(qiáng)層幀中的解碼宏塊的錯誤隱藏值；若所述重編碼基本層幀中的解碼宏塊為幀內(nèi)編碼塊，獲取該幀內(nèi)編碼塊對應(yīng)的原始重建值；對所述原始重建值進(jìn)行上采樣，計算上采樣后的原始重建值中的各個像素的邊緣強(qiáng)度，選取與所述各個像素的邊緣強(qiáng)度對應(yīng)的維納濾波器，對像素進(jìn)行濾波，濾波后的像素組成的重建值作為丟失的增強(qiáng)層幀中對應(yīng)的解碼宏塊的錯誤隱藏值。
4.根據(jù)權(quán)利要求2或3任意一項所述的可伸縮視頻編碼錯誤隱藏方法，其特征在于，所述對原始幀進(jìn)行編碼包括采用4X4編碼塊對原始幀進(jìn)行編碼；所述重編基本層幀中幀間編碼塊和幀內(nèi)編碼塊的個數(shù)可以通過調(diào)節(jié)拉格朗日參數(shù)入來控制，其中λ = λΟ/α , λ0為原始拉格朗日參數(shù)，α為錯誤隱藏質(zhì)量參數(shù)，α >0。
5.根據(jù)權(quán)利要求1至3任意一項所述的可伸縮視頻編碼錯誤隱藏方法，其特征在于，還包括針對任一像素分類結(jié)果，判斷所述像素分類結(jié)果中像素個數(shù)是否小于預(yù)設(shè)閾值Τ，所述像素分類結(jié)果的個數(shù)依據(jù)公式var_SObel(i，j) =min(n, [sobel(i, j)])確定，其中n 為給定值，sobeKi, j)為像素的邊緣強(qiáng)度；在所述像素分類結(jié)果中像素個數(shù)小于預(yù)設(shè)閾值T時，將該像素分類結(jié)果中的像素劃分到與該像素分類結(jié)果中的像素的邊緣強(qiáng)度最接近的類中，其中預(yù)設(shè)閾值T為N/16/4，N為圖像中的像素總個數(shù)。
6.一種解碼器，其特征在于，包括解碼裝置，用于解碼正確編碼幀的基本層幀和增強(qiáng)層幀；與所述解碼裝置相連的第一分類器，用于對正確解碼幀中的基本層幀進(jìn)行上采樣，計算上采樣后的基本層幀中的各個像素的邊緣強(qiáng)度，依據(jù)所述各個像素的邊緣強(qiáng)度，將基本層幀的各個像素進(jìn)行分類，得出像素分類結(jié)果；與所述第一分類器相連的濾波器確定裝置，用于依據(jù)所述像素分類結(jié)果，對正確解碼幀中增強(qiáng)層幀的各個像素進(jìn)行分類，依據(jù)基本層幀和增強(qiáng)層幀像素分類，確定與所述像素分類對應(yīng)的維納濾波器；與所述濾波器確定裝置相連的判斷裝置，用于當(dāng)丟失的增強(qiáng)層幀對應(yīng)的基本層幀為幀間編碼幀，且增強(qiáng)層的丟幀次數(shù)未超過預(yù)設(shè)次數(shù)時，判斷基本層幀中的解碼宏塊是幀間編碼塊還是幀內(nèi)編碼塊；與所述判斷裝置相連的獲取裝置，用于在所述判斷裝置判斷所述解碼宏塊為幀間編碼塊，獲取所述基本層幀間編碼塊對應(yīng)的重建值、運(yùn)動矢量和殘差信息；在所述判斷裝置判斷所述解碼宏塊為幀內(nèi)編碼塊，獲取所述幀內(nèi)編碼塊對應(yīng)的重建值；與所述獲取裝置相連的第一重建裝置，用于對所述運(yùn)動矢量進(jìn)行上采樣，判斷上采樣后的運(yùn)動矢量坐標(biāo)是否超過所述丟失的增強(qiáng)層幀的參考幀邊界，如果是，對所述重建值進(jìn)行上采樣，計算上采樣后的重建值中的各個像素的邊緣強(qiáng)度，選取與所述各個像素的邊緣強(qiáng)度對應(yīng)的維納濾波器，對像素進(jìn)行濾波，濾波后的像素組成的重建值作為所述丟失的增強(qiáng)層幀中對應(yīng)的解碼宏塊的錯誤隱藏值，如果否，用上采樣后的運(yùn)動矢量和上采樣后的殘差信息進(jìn)行運(yùn)動補(bǔ)償，得出對應(yīng)的所述丟失的增強(qiáng)層幀中的解碼宏塊的錯誤隱藏值；與所述獲取裝置相連的第二重建裝置，用于對所述重建值進(jìn)行上采樣，計算上采樣后的重建值中的各個像素的邊緣強(qiáng)度，選取與所述各個像素的邊緣強(qiáng)度對應(yīng)的維納濾波器， 對像素進(jìn)行濾波，濾波后的像素組成的重建值作為丟失的增強(qiáng)層幀中對應(yīng)的解碼宏塊的錯誤隱藏值。
7.根據(jù)權(quán)利要求6所述的解碼器，其特征在于，還包括連接在所述濾波器確定裝置和所述判斷裝置之間的重編碼裝置，用于當(dāng)所述丟失的增強(qiáng)層幀對應(yīng)的基本層幀為幀間編碼幀，且增強(qiáng)層的丟幀次數(shù)超過預(yù)設(shè)次數(shù)，或者當(dāng)所述丟失的增強(qiáng)層幀對應(yīng)的基本層幀為幀內(nèi)編碼幀，采用重編碼方法，得到重編基本層幀，該重編碼方法為，獲取所述丟失的增強(qiáng)層幀對應(yīng)的基本層幀，將基本層幀作為原始幀，將到該基本層幀時間上最近的正確編碼幀中的基本層幀為參考幀，對原始幀進(jìn)行編碼，得出重編基本層幀；判斷裝置，還用于判斷重編基本層幀中的解碼宏塊是幀間編碼塊還是幀內(nèi)編碼塊； 連接在所述第一分類器和所述濾波器確定裝置之間的第一個數(shù)判斷裝置和第二分類器，其中所述第一個數(shù)判斷裝置與所述第一分類器相連，用于針對任一像素分類結(jié)果，判斷所述像素分類結(jié)果中像素個數(shù)是否小于預(yù)設(shè)閾值T，所述第一分類器中像素分類結(jié)果的個數(shù)依據(jù)公式 var_SObel(i，j) =min(n, [sobel(i, j)])確定，其中n 為給定值，sobel(i, j) 為像素的邊緣強(qiáng)度；所述第二分類器連接在所述第一個數(shù)判斷裝置和所述濾波器確定裝置之間，用于在所述第一分類器得出的像素分類結(jié)果中像素個數(shù)小于預(yù)設(shè)閾值T時，將該像素分類結(jié)果中的像素劃分到與該像素分類結(jié)果中的像素的邊緣強(qiáng)度最接近的類中，其中預(yù)設(shè)閾值T為 N/16/4，N為圖像中的像素總個數(shù)。
8.根據(jù)權(quán)利要求7所述的解碼器，其特征在于，所述重編碼裝置具體采用4X4編碼塊對原始幀進(jìn)行編碼；所述重編基本層幀中幀間編碼塊和幀內(nèi)編碼塊的個數(shù)可以通過調(diào)節(jié)拉格朗日參數(shù)入來控制，其中λ = λΟ/α , λΟ為原始拉格朗日參數(shù)，α為錯誤隱藏質(zhì)量參數(shù)，α >0。
9.根據(jù)權(quán)利要求6所述的解碼器，其特征在于，還包括連接在所述第一分類器和所述濾波器確定裝置之間的第二個數(shù)判斷裝置和第三分類器，其中所述第二個數(shù)判斷裝置與所述第一分類器相連，用于針對任一像素分類結(jié)果，判斷所述像素分類結(jié)果中像素個數(shù)是否小于預(yù)設(shè)閾值Τ，所述第一分類器中像素分類結(jié)果的個數(shù)依據(jù)公式 var_SObel(i，j) =min(n, [sobel(i, j)])確定，其中n 為給定值，sobel(i, j) 為像素的邊緣強(qiáng)度；所述第三分類器連接在所述第二個數(shù)判斷裝置和所述濾波器確定裝置之間，用于在所述第一分類器得出的像素分類結(jié)果中像素個數(shù)小于預(yù)設(shè)閾值T時，將該像素分類結(jié)果中的像素劃分到與該像素分類結(jié)果中的像素的邊緣強(qiáng)度最接近的類中，其中預(yù)設(shè)閾值T為 N/16/4，N為圖像中的像素總個數(shù)。
10.一種可伸縮視頻編碼錯誤隱藏系統(tǒng)，包括編碼器和傳輸設(shè)備，其特征在于，還包括如權(quán)利要求6至9任意一項所述的解碼器。
全文摘要
本申請公開了一種可伸縮視頻編碼錯誤隱藏方法、解碼器和系統(tǒng)。一種可伸縮視頻編碼錯誤隱藏方法，在丟失的增強(qiáng)層幀對應(yīng)的基本層幀為幀間編碼幀，且丟幀次數(shù)未超過預(yù)設(shè)次數(shù)情況下，在幀間編碼幀中的解碼宏塊為幀間編碼塊或幀內(nèi)編碼塊時進(jìn)行不同處理，得到重建的增強(qiáng)層幀的錯誤隱藏值；在丟失的增強(qiáng)層幀對應(yīng)的基本層幀為幀間編碼幀，且丟幀次數(shù)超過預(yù)設(shè)次數(shù)情況下或者丟失的增強(qiáng)層幀對應(yīng)的基本層幀為幀內(nèi)編碼幀，采用重編碼方法，得到重編基本層幀，在重編基本層幀中的解碼宏塊為幀間編碼塊或幀內(nèi)編碼塊時進(jìn)行不同處理，得到重建的增強(qiáng)層幀的錯誤隱藏值。與現(xiàn)有技術(shù)相比，提高了重建的增強(qiáng)層幀的質(zhì)量，從而提高視頻清晰度，避免視頻出現(xiàn)拉絲現(xiàn)象。
文檔編號H04N7/32GK102547282SQ20111045204
公開日2012年7月4日 申請日期2011年12月29日 優(yōu)先權(quán)日2011年12月29日
發(fā)明者張冬, 李厚強(qiáng) 申請人:中國科學(xué)技術(shù)大學(xué)