專利名稱：一種視頻編解碼的圖像視覺效果提升方法
一種視頻編解碼的圖像視覺效果提升方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種視頻編碼方法，具體涉及一種用于視頻編碼的視頻編解碼的圖像 視覺效果提升方法。
背景技術(shù)：
從人的視覺系統(tǒng)看，色彩可用亮度、色調(diào)和飽和度來描述，通常把色調(diào)和飽和度通 稱為色度，用來表示顏色的類別與深淺程度。視頻編碼處理中，對于不同的幀，人們關(guān)心的 區(qū)域在動態(tài)變化，這就需要算法能根據(jù)編碼源圖像的變化，動態(tài)調(diào)整變換函數(shù)，以使得在各 種場景下，圖像的亮度值分布能按需求方向得到改善。亮度值變換中，通過大量統(tǒng)計實驗取 得固定變化函數(shù)及其參數(shù)集，一般情況下，可以達到加強的目的。但在某些特殊場景(如整 體很暗的場景)，若按一般場景處理，將會致使圖像視覺質(zhì)量下降。對于物體的色彩信息，人們總是希望色彩越豐富越好。由此在視覺舒適度要求下， 變換強度越大越能提升色度信息不足的圖像的色彩。而人類的膚色介于黃、紅之間，若對于 全局區(qū)域采用同一模式，取大的調(diào)整值，會產(chǎn)生膚色視覺區(qū)域不舒適感，取小的值會制約其 他色彩域的物體要求彩色信息增強的目的。若將算法依賴于膚色區(qū)域的檢測，一則增加計 算量，二則沒有一種準(zhǔn)確率100%膚色區(qū)域檢測算法、而且會產(chǎn)生由離散點域錯判帶來的平 衡過渡問題等。雖然人的視覺對亮度的敏感程度遠(yuǎn)強于對顏色濃淡的敏感程度，但有時視 頻編碼器所處理的圖像序列攜帶的色度信息不足，如攝像頭獲得的圖像，從而需要利用前 處理技術(shù)，增強圖像的色彩。目前的色彩處理手段多為基于RGB、HSV色彩模型，而編碼源格 式采取亮度信息與色度信息的分離表示模式即YUV。雖然通過色彩空間轉(zhuǎn)換技術(shù)可以實現(xiàn) 各種模型之間的轉(zhuǎn)換，但由此變換與反變換而帶來的計算量也是很大的。圖像信息源經(jīng)過壓縮編解碼后，質(zhì)量會有不同程度的下降?；诜綁K的編解碼策 略帶來的方塊效應(yīng)、高頻信息的削弱與丟失等問題存在于解碼端圖像序列中。為了在保護 邊界高頻信息不丟失的情況下消除方塊問題，同時，考慮到基于方塊的編解碼策略的特點， 方塊效應(yīng)多出現(xiàn)在塊與塊的交界處，所以采用基于方塊的邊界自適應(yīng)增強法。

發(fā)明內(nèi)容為了提高編碼端圖像源的視覺效果，本發(fā)明提供了一種視頻編解碼的圖像視覺效 果提升方法。該方法采用了邊界信息增強技術(shù)，提升圖像的高頻信息含量，同時分別提出亮 度與色度的自適應(yīng)增強技術(shù)來改善圖像亮度信息分布、增強圖像色度信息。本發(fā)明方法在編碼端包括以下步驟S11 提取圖像邊界信息，增強邊界信息操作，步驟為S111 提取圖像f (x，y)邊界信息h(x，y)h(x, y) = Y (f (x, y))S112 對提取的邊界信息h(x，y)再作變換，獲取邊界增強圖像g(x，y)g(x, y) = (t (f(x, y), h(x, y))
其中f(x，y)為編碼端原始圖像亮度值，、(x)為邊界信息提取函數(shù)， (f(x,y), h(x, y))為針對原始圖像與邊界信息特點所選用的變換函數(shù)；S12 自適應(yīng)亮度變換，改善圖像的亮度值分布g，(x, y) = ￥ (f(x, y), a (k) | k = 1，2， ，K)，其中g(shù)’ (x,y)為變換后亮度值，￥(x, a (k) | k = 1，2， ，K)為變換函數(shù)，其中 a (k)為變換函數(shù)￥(x，a (k) |k= 1，2，...，K)的參數(shù)集，K為參數(shù)個數(shù)；S13 色度信息自適應(yīng)增強，在UV色度空間作色度信息自適應(yīng)增強， 其中識(11(\7)，"1^,>0, ,%，/ ，代)為變換函數(shù)，《為權(quán)重函數(shù)，由％、％確定而 色度偏差位置，0u、決定色度調(diào)節(jié)步長。圖像信息源經(jīng)過壓縮編解碼后，質(zhì)量會有不同程度的下降，基于方塊的編解碼策 略帶來的方塊效應(yīng)、高頻信息的削弱與丟失等問題存在于解碼端圖像序列中，同時考慮到 提升解碼端圖像的視覺效果的需要，本發(fā)明提供了一種視頻編解碼的圖像視覺效果提升方 法。本發(fā)明方法在解碼端包括以下步驟在解碼端包括S21 根據(jù)方塊統(tǒng)計特性，選擇處理模式 if (t_0 > Thres_l)mode =平坦區(qū)域處理法elsemode =復(fù)雜區(qū)域處理法由確定的處理模式，進行去除塊效應(yīng)與增強邊界信息操作；其中f (X，y)為解碼端原始圖像值，t_0為統(tǒng)計區(qū)域的統(tǒng)計特性變量名，n… =0,1,2)為統(tǒng)計特征函數(shù)，為與、相應(yīng)的統(tǒng)計區(qū)域，Thres_l為判斷當(dāng)前處理區(qū)域是 平坦區(qū)域還是復(fù)雜區(qū)域的閾值；S22 自適應(yīng)亮度變換，改善圖像的亮度值分布g(x，y) = ￥ (f(x, y), a (k) | k = 1，2， ，K)，其中f (x，y)為解碼端原始圖像亮度值，g(x, y)為變換后亮度值，V (x, a (k) k =1，2，...，K)為變換函數(shù)，其中a (k)為變換函數(shù)V(x，a (k) |k= 1，2，...，K)的參數(shù) 集，K為參數(shù)個數(shù)；S23 色度信息自適應(yīng)增強，在UV色度空間作色度信息自適應(yīng)增強， 其中識(11^，丫)，”(^), ，％，/ ,雙)為變換函數(shù)，《為權(quán)重函數(shù)，由a u、a v確定UV
色度偏差位置，0u、決定色度調(diào)節(jié)步長。通過上述方法，可以自適應(yīng)調(diào)整去除方塊效應(yīng)、增強圖像亮度、色度信息，達到提 升編解碼后圖像的客觀效果與主觀效果的目的。而在解碼端采用本發(fā)明的自適應(yīng)邊界信 息增強技術(shù)，可以在提升處理速度的同時保持分離法在增強邊界信息與去除方塊效應(yīng)的效 果，可以非常顯著地提高圖像的客觀效果與主觀效果。
圖1是本發(fā)明方法在編碼端的流程示意圖；圖2是圖1所示的邊界信息增強的流程示意意圖；圖3是圖1所示的自適應(yīng)亮度變換的流程示意意圖；圖4是圖1所示的色度信息自適應(yīng)增強的流程示意圖；圖5是本發(fā)明方法在解碼端的流程示意圖；圖6是測試源格式_WMV原始解碼端圖像的原始解碼圖像、采用現(xiàn)有技術(shù)分離法以 及采用自適應(yīng)邊界增強圖像處理的對比圖；圖7是測試源格式_WMV原始解碼端圖像與采用本發(fā)明處理后圖像的效果的對比 圖。
具體實施方式參見圖1，圖1是本發(fā)明的視頻編解碼的圖像視覺效果提升方法在編碼端的流程 示意圖。該方法在編碼端包括以下步驟1.本步驟進行邊界信息增強處理，如圖2所示進一步包括以下步驟al 提取圖像f(x，y)邊界信息h(x，y)h(x, y) = Y (f (x, y))bl 對提取的邊界信息h(x，y)再作變換，獲取邊界增強圖像g(x，y)g (x，y) = (t (f (x，y)，h (x，y))其中f(x，y)為編碼端原始圖像亮度值，ct(f(x,y),h(x, y))為針對原始圖像與 邊界信息特點所選用的變換函數(shù)，Y (x)邊界信息提取函數(shù)，根據(jù)不同應(yīng)用要求可取不同方 法，就導(dǎo)數(shù)法而言，可取一階導(dǎo)數(shù)、二階等，如梯度模提取法 2.視頻編碼處理中，對于不同的幀，人們關(guān)心的區(qū)域在動態(tài)變化，這就需要算法能 根據(jù)編碼源圖像的變化，動態(tài)調(diào)整變換函數(shù)，以使得在各種場景下，圖像的亮度值分布能按 需求方向得到改善，亮度值變換中，通過大量統(tǒng)計實驗取得固定變化函數(shù)及其參數(shù)集，一般 情況下，可以達到加強的目的，但在某些特殊場景(如整體很暗的場景)，若按一般場景處 理，將會致使圖像視覺質(zhì)量下降。本步驟進行自適應(yīng)亮度變換，改善圖像的亮度值分布，自適應(yīng)亮度值變換的原理 就是，根據(jù)變換前圖像亮度值的統(tǒng)計特性，自適應(yīng)更新變換函數(shù)的參數(shù)集，從而使得變換函 數(shù)隨著不同的圖像特性，動態(tài)的調(diào)整變換函數(shù)，來優(yōu)化處理方法g(x，y) = ￥ (f(x, y), a (k) | k = 1，2， ，K)，其中f (x，y)為解碼端原始圖像亮度值，g(x, y)為變換后亮度值，V (x, a (k) k =1，2，...，K)為變換函數(shù)，其中a (k)為變換函數(shù)V(x，a (k) |k= 1，2，...，K)的參數(shù) 集，K為參數(shù)個數(shù)；如圖3所示，步驟2進一步包括以下步驟
a2 設(shè)當(dāng)前幀圖像的特征空間為f = Y。^ Ij統(tǒng)計亮度信息獲 取圖像整體統(tǒng)計特性，for (k = 0 ;k < M ；k++) i f (f (x, y) G I k)計算 I k 統(tǒng)計特性外(/(太，力)最后，獲得該幀圖像統(tǒng)計特性他(/江力)I k = 1，2，...,M}.其中I k，灼(/(U)),分別為圖像特征子空間、I k的統(tǒng)計特性；b2:根據(jù)視覺特點結(jié)合區(qū)域統(tǒng)計特性調(diào)整閾值，將圖像劃分為不同的區(qū)域
N
" = 由全局與區(qū)域統(tǒng)計關(guān)系n(x，①” o2, ...，oN)，調(diào)整統(tǒng)計特性門限閾值 t=i ， P' H = ratio* (PH，，①2， ，①N)其中叱為Q k的統(tǒng)計特性 PH、P' 別為整體統(tǒng)計信息獲取的閾值與調(diào)整后的閾值，ratio為不同圖像幀采 用的局部信息調(diào)整因子；c2 由統(tǒng)計特性得到變換函數(shù)參數(shù)值a (k) = nk(P' H)k = 1，2，.Knk(x)為變換函數(shù)V (x，a (k) |k = 1，2， ，K)的參數(shù)a (k)的調(diào)節(jié)函數(shù)。d2 利用亮度變換函數(shù)￥(f(x, y)，a (k) |k = 1,2, ... , K)，進行亮度變換，改善 圖像亮度信息的分布。其中f (x，y)為解碼端原始圖像亮度值，g(x, y)為變換后亮度值，V (x, a (k) k =1，2，...，K)為變換函數(shù)，其中a (k)為變換函數(shù)V(x，a (k) |k= 1，2，...，K)的參數(shù) 集，K為參數(shù)個數(shù)。3.色度信息自適應(yīng)增強，在UV色度空間作色度信息自適應(yīng)增強， 其中<Ku(x,y),v(x，力,a ,orv,/ ，/ v)為變換函數(shù)，w為權(quán)重函數(shù)，由a u、a v確定UV
色度偏差位置，0U、決定色度調(diào)節(jié)步長。如圖4所示，進一步包括以下步驟a3 通過統(tǒng)計當(dāng)前圖像幀UV特性，獲取UV空間飽和度信息k ；b3 由色彩飽和度信息計算調(diào)節(jié)參數(shù)au= Yu(k)Yu(k)av= Yv(k)Yv(k)c3 由UV空間模型下的統(tǒng)計實驗，獲取膚色分布經(jīng)驗值區(qū)間，確定權(quán)重函數(shù)w = n(e)，e為膚色經(jīng)驗值區(qū)間e g
。w= n (0)，n (0)為只有一個最小值點的連續(xù)函數(shù)且wmin = n ((e 1+ e 2) /2)。d3 :利用色度變函數(shù)
進行色度變換，增強圖像的色度信息。其中
為變換函數(shù)，《為權(quán)重函數(shù)，由a u、a v確定UV
色度偏差位置，0u、決定色度調(diào)節(jié)步長。雖然通過色彩空間轉(zhuǎn)換技術(shù)可以實現(xiàn)各種模型之間的轉(zhuǎn)換，但由此變換與反變換 而帶來的計算量也是很大的，考慮到編碼器所處理的文件格式，減少格式轉(zhuǎn)換時間。本發(fā)明 直接在UV色度空間作色彩信息處理。參見圖5，圖5是本發(fā)明的視頻編解碼的圖像視覺效果提升方法在解碼端的流程 示意圖。該方法在解碼端包括以下步驟10.根據(jù)方塊統(tǒng)計特性，選擇處理模式 if (t_0 > Thres_l)mode =平坦區(qū)域處理法elsemode =復(fù)雜區(qū)域處理法由確定的處理模式，自適應(yīng)邊界信息增強，同時進行去除塊效應(yīng)與增強邊界信息 操作；對于平坦區(qū)域處理if (t_lj > Thres_2)加權(quán)低通濾波else保護邊界信息其中t_lj為第j個平坦區(qū)域Wy的統(tǒng)計特性變量名，Thres_2為當(dāng)前處理的平坦 區(qū)域選取不同處理方法的閾值，對于復(fù)雜區(qū)域處理 if (t_2j > Thres_2)f (xM, yN (xm, yn) G block』，m = 1，2， ，M，n = 1，2， ，N) - = k ；f (Xl, yj (xm, yn) G blockJ+1, m = 1，2， ，M，n = 1，2， ，N) + = k ；else增強邊界信息。其中f (X，y)為解碼端原始圖像值，t_0為統(tǒng)計區(qū)域的統(tǒng)計特性變量名，、(j =0,1,2)為統(tǒng)計特征函數(shù)，為與、相應(yīng)的統(tǒng)計區(qū)域，Thres_l為判斷當(dāng)前處理區(qū)域是 平坦區(qū)域還是復(fù)雜區(qū)域的閾值；t_2j為第j個復(fù)雜區(qū)域的統(tǒng)計特性變量名，Thres_3為 當(dāng)前處理的復(fù)雜區(qū)域選取不同處理方法的閾值。下表為本步驟自適應(yīng)邊界信息增強處理與現(xiàn)有技術(shù)中分離法處理比較實驗，實驗 條件采用圖像源尺寸為320x240，使用相同的解碼器，客觀效果比較如下 由上表可以看出，采用本發(fā)明的自適應(yīng)邊界信息增強方法可以大幅度的提高處理 速度。圖6是測試源格式_WMV原始解碼端圖像的原始解碼圖像、采用現(xiàn)有技術(shù)分離法以 及采用自適應(yīng)邊界增強圖像處理的對比圖，主觀效果比較，采用本步驟的自適應(yīng)邊界增強 圖像處理可以顯著提高圖像的主觀質(zhì)量。20.自適應(yīng)亮度變換，改善圖像的亮度值分布，自適應(yīng)亮度值變換的原理就是，根 據(jù)變換前圖像亮度值的統(tǒng)計特性，自適應(yīng)更新變換函數(shù)的參數(shù)集，從而使得變換函數(shù)隨著 不同的圖像特性，動態(tài)的調(diào)整變換函數(shù)，來優(yōu)化處理方法g(x，y) = ￥ (f(x, y), a (k) | k = 1，2， ，K)，其中:f(x, y)為解碼端原始圖像亮度值，g(x, y)為變換后亮度值，￥ (x, a (k) k =1，2，...，K)為變換函數(shù)，其中a (k)為變換函數(shù)V(x，a (k) |k= 1，2，...，K)的參數(shù) 集，K為參數(shù)個數(shù)；30.色度信息自適應(yīng)增強，在UV色度空間作色度信息自適應(yīng)增強，
(w' (x，y), v' (x, = w*(u(x，y), v(x, y), au ,av,Pu,fiv)其中
為變換函數(shù)，《為權(quán)重函數(shù)，由a u、a v確定UV
色度偏差位置，0U、決定色度調(diào)節(jié)步長。圖7是測試源格式_WMV原始解碼端圖像與采用本發(fā)明處理后圖像的效果的對比 圖，通過上述方法的步驟10、步驟20以及步驟30后，可以自適應(yīng)調(diào)整去除方塊效應(yīng)、增強圖 像亮度、色度信息，達到提升編解碼后圖像的客觀效果與主觀效果的目的。在上述實施例中，僅對本發(fā)明進行了示范性描述，但是本領(lǐng)域技術(shù)人員在不脫離 本發(fā)明所保護的范圍和精神的情況下，可根據(jù)不同的實際需要設(shè)計出各種實施方式。
10
權(quán)利要求
一種視頻編解碼的圖像視覺效果提升方法，所述方法在編碼端包括以下步驟S11提取圖像邊界信息，增強邊界信息操作，具體步驟為S111提取圖像f(x，y)邊界信息h(x，y)h(x，y)＝γ(f(x，y))S112對提取的邊界信息h(x，y)再作變換，獲取邊界增強圖像g(x，y)g(x，y)＝φ(f(x，y)，h(x，y))其中f(x，y)為編碼端原始圖像亮度值，γ(x)為邊界信息提取函數(shù)，φ(f(x，y)，h(x，y))為針對原始圖像與邊界信息特點所選用的變換函數(shù)；S12自適應(yīng)亮度變換，改善圖像的亮度值分布g’(x，y)＝ψ(f(x，y)，α(k)|k＝1，2，...，K)，其中g(shù)’(x，y)為變換后亮度值，ψ(x，α(k)|k＝1，2，...，K)為變換函數(shù)，其中α(k)為變換函數(shù)ψ(x，α(k)|k＝1，2，...，K)的參數(shù)集，K為參數(shù)個數(shù)；S13色度信息自適應(yīng)增強，在UV色度空間作色度信息自適應(yīng)增強，其中為變換函數(shù)，w為權(quán)重函數(shù)，由αu、αv確定UV色度偏差位置，βu、βv決定色度調(diào)節(jié)步長。F2009101064724C0000011.tif,F2009101064724C0000012.tif
2.根據(jù)權(quán)利要求1所述所述視頻編解碼的圖像視覺效果提升方法，其特征在于所述 步驟S12進一步包括以下步驟 S121:設(shè)當(dāng)前幀圖像的特征空間為《^ I、= (Ki興j統(tǒng)計亮度信息獲取 圖像整體統(tǒng)計特性，for (k = 0 ;k < M ；k++) if (f (x, y) G I k)計算 I k 統(tǒng)計特性外(/(太，力) 最后，獲得該幀圖像統(tǒng)計特性他(/0，力)I k = ^-M). 其中i.Mfi^y))，分別為圖像特征子空間、Ik的統(tǒng)計特性； 5122根據(jù)視覺特點結(jié)合區(qū)域統(tǒng)計特性調(diào)整閾值，將圖像劃分為不同的區(qū)域QzY^tk=l ,由全局與區(qū)域統(tǒng)計關(guān)系n(x，①”oN)，調(diào)整統(tǒng)計特性門限閾值HP' H = ratio* n (PH，％，①2， ， 其中叱為~的統(tǒng)計特性PH、P' 別為整體統(tǒng)計信息獲取的閾值與調(diào)整后的閾值，ratio為不同圖像幀采用的 局部信息調(diào)整因子；5123由統(tǒng)計特性得到變換函數(shù)參數(shù)值 nk(x)為變換函數(shù)￥ (x，a (k) |k =1,2,..., K)的參數(shù)a (k)的調(diào)節(jié)函數(shù)。5124利用亮度變換函數(shù)V(f(x，y)，a (k) |k= 1,2, ... , K)，進行亮度變換，改善圖 像亮度信息的分布。
3.根據(jù)權(quán)利要求1所述的所述視頻編解碼的圖像視覺效果提升方法，其特征在于步驟S13進一步包括5131通過建立 UV 色度空間模型 mod(u(x，y)，v(x,y)) = ^u(x,y)2+v(x,y)20 =統(tǒng)計當(dāng)前圖像幀UV特性，獲取UV空間飽和度信息K .5132由色彩飽和度信息計算調(diào)節(jié)參數(shù)au = Yu(k )^u = Yu(k )a v = YV(K )Y v = YV(K )S133:由UV空間模型下的統(tǒng)計實驗，獲取膚色分布經(jīng)驗值區(qū)間e G [e17 e2]，確定權(quán) 重函數(shù)w= n(e)，n(e)為只有一個最小值點的連續(xù)函數(shù)且Wmin = n ((e 1+e 2)/2)，由 w控制平緩向其他色彩帶過渡；s 134 利用色度變函數(shù)(“’(A力，V’(X,y)) = w*<p(u(x,y),v(x,力,，av，總,代)，進行色度變換，增強圖像的色度信息。
4.根據(jù)權(quán)利要求1所述的視頻編解碼的圖像視覺效果提升方法，其特征在于步驟 S111中、(x)為邊界信息提取函數(shù)，可采用梯度模提取法
5.一種視頻編解碼的圖像視覺效果提升方法，所述方法在解碼端包括以下步驟521根據(jù)方塊統(tǒng)計特性，選擇處理模式/-Q= 2>oC/^，>0)if (t_0 > Thres_l)mode =平坦區(qū)域處理法elsemode =復(fù)雜區(qū)域處理法由確定的處理模式，進行自適應(yīng)邊界增強處理，同時進行去除塊效應(yīng)與增強邊界信息 處理；其中f(x，y)為解碼端原始圖像值，t_0為統(tǒng)計區(qū)域的統(tǒng)計特性變量名，n」(j = 0， 1,2)為統(tǒng)計特征函數(shù)，為與、相應(yīng)的統(tǒng)計區(qū)域，Thres_l為判斷當(dāng)前處理區(qū)域是平坦區(qū) 域還是復(fù)雜區(qū)域的閾值；522自適應(yīng)亮度變換，改善圖像的亮度值分布；523色度信息自適應(yīng)增強，在UV色度空間作色度信息處理。
6.根據(jù)權(quán)利要求5所述視頻編解碼的圖像視覺效果提升方法，其特征在于在所述步 驟S21中，所述進行去除塊效應(yīng)與增強邊界的方法為對于平坦區(qū)域處理if (t_lj > Thres_2)加權(quán)低通濾波else保護邊界信息其中t_lj為第j個平坦區(qū)域Wy的統(tǒng)計特性變量名，Thres_2為當(dāng)前處理的平坦區(qū)域 選取不同處理方法的閾值， 對于復(fù)雜區(qū)域處理3if (t_2j > Thres_3)f (xM, yN (xm, yn) G blockj, m = 1, 2, , M, n = 1, 2, , N) - = k ； f (xj, yj | (xm, yn) G blockJ+1, m = 1, 2, , M, n = 1, 2, , N) + = k ； else 增強邊界信息其中t_2j為第j個復(fù)雜區(qū)域Wy的統(tǒng)計特性變量名，Thres_3為當(dāng)前處理的復(fù)雜區(qū)域 選取不同處理方法的閾值。
全文摘要
本發(fā)明涉及一種視頻編解碼的圖像視覺效果提升方法，該方法在編碼端包括以下步驟圖像邊界信息增強處理；自適應(yīng)亮度變換處理；色度信息的自適應(yīng)增強處理。該方法在解碼端則包括以下步驟基于塊統(tǒng)計特性的邊界信息自適應(yīng)增強；自適應(yīng)亮度變換處理；色度信息的自適應(yīng)增強處理。本發(fā)明根據(jù)編解碼端圖像源的特點，一方面利用亮度空間處理技術(shù)去除方塊效應(yīng)、增強高頻信息、改善亮度信息分布，來增強圖像的亮度信息；另一方面利用色度空間處理技術(shù)，增強圖像的色彩效果，最終達到圖像的視覺效果提升的目的。
文檔編號H04N9/68GK101854536SQ20091010647
公開日2010年10月6日 申請日期2009年4月1日 優(yōu)先權(quán)日2009年4月1日
發(fā)明者舒倩 申請人:深圳市融創(chuàng)天下科技發(fā)展有限公司