專利名稱：基于梯度剖面的圖像無參考質量評價方法及系統(tǒng)的制作方法
技術領域：
本發(fā)明涉及圖像處理領域，尤其涉及一種基于梯度剖面的圖像無參考質量評價方 法及系統(tǒng)。
背景技術：
圖像質量評價在圖像的采集、壓縮、增強等領域有著重要的應用。對于絕大多數 應用而言，圖像的最終觀察者是人，因此符合人類觀察者主觀感受的客觀評價方法(即感 知圖像質量評價)受到了工業(yè)界和學術界的廣泛關注。上述圖像質量的客觀評價可分為 三種全參考型(FR，Full Reference)、部分參考型(RR，Reduced Reference)和無參考型 (NR，No Reference)三種。在相當多的應用中(如圖像增強)由于無法獲得原始圖像信 息，無參考質量評價方法成為唯一的選擇，目前主流和實用的方法是針對圖像中可能的失 真類型進行質量評價。圖像壓縮和大部分處理方法會引入塊效應、模糊效應和振鈴效應三 種缺陷。其中隨著圖像壓縮等技術的發(fā)展，決效應已經能夠被較為徹底的消除，但同時也有 更多的模糊效應和振鈴效應被引入。因此，模糊效應和振鈴效應的評價是當前圖像質量評 價領域中最為重要的技術。本發(fā)明所涉及的技術主要包括模糊效應與振鈴效應度量、面向 JPEG2000圖像質量評價，以及圖像模糊、振鈴區(qū)域檢測等相關領域?，F有主要的無參考質量評價方法主要有基于邊界結構信息的方法，基于自然 圖像統(tǒng)計特性的方法和基于人眼視覺系統(tǒng)(HVS)的方法等?；谶吔Y構的方法主要是 基于人類的視覺感受對于局部的圖像結構特別是邊界位置是非常敏感的這個假設。例 如，E. Ong 提出的(E. Ong, ff. Lin, Z. Lu, et al. "A no-reference quality metric ofmeasuring image blur".Seven International Symposium on SignalProcessing and Its Applications Proceedings，2003，1 :469_472)圖像質量評價方法，首先檢測出 梯度和邊界，并計算邊界擴散情況，然后通過平均邊界擴散域的線性變換來計算最終的圖 像質量?；谧匀粓D像統(tǒng)計特性的方法主要基于壓縮操作可能會擾亂非線性相關性這個 理論，同時量化這個干擾來預測人眼對圖像質量的感知情況。H. R. Sheikh，和A. C. Bovik 等人提出自然場景統(tǒng)計 NSS (Natural SceneStatistics)模型(H. R. Sheikh, A. C. Bovik, L. Cormack. " No-referencequality assessment using natural scene statistics JPEG2000"，IEEETrans. on Image Processing, 14(11), pp. 1918-1927，2005)可以用來對 小波系數的幅值進行建模，并用系數與線性預測的聯合分布直方圖的子帶部分來度量圖 像質量情況?；谌搜垡曈X系統(tǒng)(HVS)的方法是應用HVS的部分特性解決圖像質量評價 問題。R. Ferzli 和 L J. Karam (R. Ferzli and L J. Karam，‘‘A No-Reference Objective ImageSharpness Metric Based on the Notion of Just Noticeable Blur(JNB)，，，Proc. IEEE International Conference on Image Processing，18 (4)，pp. 717-728，2009) 考慮到人眼對圖像邊界附近一定門限內的模糊效應具有一定的忍耐力，提出JNB(Just Noticeable Blur)的方法來無參考的度量感知銳度情況。除以上提到的JPEG2000圖像質量評價方法外，也有一些學者提出了獨立檢測振鈴效應的評價準則，例如，S. H. Oguz 等(S. H. Oguz, Y. H. Hu and T. Q. Nguyen, Image coding ringing artifact reductionusing morphological post-filtering, in :Proceedings of the IEEE Secondfforkshop on Multimedia Signal Processing,Dec.1998, pp. 628-633.) 提出了一種基于形態(tài)學濾波的方法檢測振鈴區(qū)域。X.Feng和J.P.Allebach (X.Feng and J. P. Allebach, Measurement of ringing artifactsin JPEG images, Digital Publishing, Proceedings of the SPIE, Volume6076, 2006pp. 74-83.)分別研究不同種類 振鈴效應背景區(qū)域的特點以及對人眼的敏感度，并通過原始圖像振鈴區(qū)域的背景物體特征 來得到最終的振鈴效應評價結果。Matthews和Kristine Elizabeth (Predicting ringing artifacts in digital images)發(fā)明了一種基于像素的閾值來檢測振鈴效應發(fā)生的區(qū)域 方法，并應用對比度來衡量振鈴效應的大小。一些圖像本身由于離焦、運動等原因造成的固有模糊給無參考質量評價帶來了許 多困難。在圖像質量評價中，這類圖像由于不能很好的被處理而往往被作為奇異點。最 近，一些研究人員開展了這類圖像的識別，評價工作。例如，Y.Luo和X.Tang(Y.Lu0 andX. Tang,Photo and video quality evaluation :focusing on the subject，in-Proceedings of the Europeon Conference on Computer Vision, 2008, pp. 386-399.)利用固有圖 像模糊的特性提出了一種鑒別專業(yè)圖像的方法，S.Wi^nW.Lin(S.Wu，ff. Lin, Z. Lu，et al.Blind blurassessment for vision-based applications, in-Proceedings of the IEEEICME，2007，pp. 1639-1642.)提出了一種鑒別由于離焦而造成模糊的方法。R.Liu 禾口 Z. Li(R. Liu, Z. Li and J. Jia, Image partial blurdetection and classification, in Proceedings of the IEEE ComputerSociety Conference on Computer Vision and Pattern Recognition, Jun. 2008,pp. 1-8.)提出了一種區(qū)分由于運動或者離焦而造成的模 糊方法。然而，如果以上這些方法應用到圖像質量評價上，則應對不同原因所造成的圖像 的固有模糊分別處理，這樣會造成圖像質量評價復雜度大大提升，因此上述方法明顯不適 用于圖像質量評價領域。

發(fā)明內容
本發(fā)明的目的在于提供一種基于梯度剖面的圖像無參考質量評價方法及系統(tǒng)?；?于本發(fā)明，可以對各種類型的自然圖像進行質量評價，特別是針對由于離焦、運動等原因導 致的部分模糊的圖像，具有很好的魯棒性。本發(fā)明一種基于梯度剖面的圖像無參考質量評價方法包括如下步驟對輸入圖像 邊緣點進行檢測，并依據所述邊緣點提取梯度剖面；依據所述梯度剖面，進行圖像模糊效應 的度量；依據所述梯度剖面，進行圖像振鈴效應的度量；將所述模糊效應度量和所述振鈴 效應度量進行融合，獲取所述輸入圖像質量評價參考值。在上述圖像無參考質量評價方法中，優(yōu)選在所述梯度剖面提取步驟中，所述邊緣 點包括第一類邊緣點和第二類邊緣點，所述第一類邊緣點的檢測通過計算水平方向和垂直 方向的梯度獲得，所述第二類邊緣點的檢測通過基于兩層金字塔圖像的檢測方法獲得，所 述兩層金字塔圖像的檢測方法包括采用高斯濾波平滑圖像，通過算子檢測，獲取原始尺度圖像的梯度并確定過零點，提取原始尺度圖像邊緣點；對所述原始尺度圖像進行下采樣，獲取1/2尺度的金字塔圖像； 采用高斯濾波平滑金字塔圖像，通過算子檢測，獲取所述金字塔圖像的梯度并確定過零點， 提取所述金字塔圖像的邊緣點；合并所述原始尺度圖像邊緣點、所述金字塔圖像的邊緣點， 并刪除其中的重合點，確定所述輸入圖像的邊緣點。在上述圖像無參考質量評價方法中，優(yōu)選所述確定過零點包括對于給定點水平 方向的梯度值gx(x)，若滿足gxx(x-l) >0且gxx(x+l) < 0 J.gx(x)彡&，則確定該點為 過零點；對于給定點垂直方向的梯度值gy(y)，若滿足gyy(y-l) >0且gyy(y+l) <0且 gy(y)彡 <，則確定該點為過零點；合并檢測到的過零點，并刪除其中的重合點，獲取梯度
剖面的過零點；其中，為水平方向的二階梯度；&是圖像水平梯度的平均值；
OX
6g (y)_
(力二垂直方向的二階梯度是圖像垂直梯度的平均值。在上述圖像無參考質量評價方法中，優(yōu)選所述模糊效應評價步驟包括依據所述 梯度剖面，分別計算所述過零點在水平方向和垂直方向的梯度剖面銳度值，然后對所述過 零點水平方向梯度gx與垂直方向的梯度gy進行比較；如果gx > gy，梯度剖面銳度值將在水 平方向運算得到；如果gx<gy，梯度剖面銳度值將在豎直方向運算得到；將所得的梯度剖面 銳度值，利用JND門限進行視覺掩蔽，建立銳度直方圖；分析所述銳度直方圖分布中，最為 銳利的邊界點，利用該點的銳度剖面值確定所述模糊效應的評價值。在上述圖像無參考質量評價方法中，優(yōu)選所述振鈴效應評價步驟包括依據所述 梯度剖面的過零點，提取所述梯度剖面的關聯區(qū)域，預測振鈴效應潛在區(qū)域；依據預置標 準，計算所述振鈴效應潛在區(qū)域的度量值；采用JND門限計算值對所述度量值進行視覺掩 蔽，以確定振鈴效應的評價值。在上述圖像無參考質量評價方法中，優(yōu)選所述評價步驟包括對獲取的所述模糊 效應的評價值、所述振鈴效應的評價值進行線性歸一化處理，以將所述兩個評價值歸一化 到相同的區(qū)間W，l]中；采用加權Minkowski函數，將模糊效應、振鈴效應進行融合，以得到 綜合質量評價值。另一方面，本發(fā)明還提供了一種基于梯度剖面的圖像無參考質量評價系統(tǒng)。其原 理與基于梯度剖面的圖像無參考質量評價方法相似，在下面的具體實施方式
部分還會進一 步敘述，在此不再贅述。在本發(fā)明中，基于梯度剖面的進行圖像模糊效應的度量和振鈴效應的度量，進而 獲取圖像質量評價結果。基于本發(fā)明，可以對各種類型的自然圖像進行質量評價，特別是針 對由于離焦、運動等原因導致的部分模糊的圖像，具有很好的魯棒性。


圖1為根據本發(fā)明基于梯度剖面的圖像無參考質量評價方法實施例的步驟流程 圖；圖2為基于梯度剖面銳度直方圖的模糊效應評價方法示意圖；圖3基于雙層金字塔圖像的邊緣點檢測算法示意圖3b為原始尺度的梯度圖像；圖3c為原始尺度圖像中提取的邊緣點；圖3d為下采樣圖像；圖3e為下采樣圖像的梯度圖像；圖3f為下采樣圖像中提取的邊緣點；圖3g為合成后的邊緣點圖像；圖4圖像邊緣的模糊效應示意圖；圖4a為小景深為藝術照的輸入圖像示意圖；圖4b是圖4a經過了模糊處理后的圖像示意圖；圖5水平方向梯度剖面銳度計算示意圖；圖6振鈴效應區(qū)域提取方法示意圖；圖6a表示含有振鈴效應的圖像；6b表示圖6a中方框區(qū)域的像素亮度值情況；圖7為部分JPEG2000壓縮的圖像及質量評價結果示意圖；圖8為根據本發(fā)明基于梯度剖面的圖像無參考質量評價系統(tǒng)實施例的簡單結構 示意圖。
具體實施例方式為使本發(fā)明的上述目的、特征和優(yōu)點能夠更加明顯易懂，下面結合附圖和具體實 施方式對本發(fā)明實施例作進一步詳細的說明。本發(fā)明所提出的方法的基本思想是通過圖像(視頻幀)中強邊緣的梯度剖面的 銳度的分析，以及與梯度剖面相關聯的區(qū)域統(tǒng)計特性的分析，得到模糊效應與振鈴效應的 度量，進一步得到符合人類主觀感受的圖像評價。參照圖1，圖1為根據本發(fā)明基于梯度剖面的圖像無參考質量評價方法實施例的 步驟流程圖，包括步驟110，用于對輸入圖像邊緣點進行檢測，并依據所述邊緣點提取梯度剖面。步驟120，依據所述梯度剖面，進行圖像模糊效應的度量。步驟130，依據所述梯度剖面，進行圖像振鈴效應的度量。步驟140，將所述模糊效應度量和所述振鈴效應度量進行融合，獲取所述輸入圖像 質量評價參考值。需要說明的，步驟120、步驟130的執(zhí)行順序沒有明確的限定，可以先執(zhí)行步驟 120，再執(zhí)行步驟130，或者先執(zhí)行步驟130，再執(zhí)行步驟120都可以，他們之間沒有依賴關系。下面結合圖2、圖3詳細說明提取梯度剖面的步驟。如圖2所示，圖2為基于梯度剖面銳度直方圖的模糊效應評價方法示意圖。圖2a 為原始輸入圖像，圖2b為該圖像的梯度剖面，圖2c為梯度剖面銳度直方圖。其中，梯度剖 面是以圖像邊緣上一點為中心，沿該點梯度方向的圖像亮度分布。因此，給定圖像中一個邊 緣上的中心點和該點的梯度方向，即可唯一地確定一個梯度剖面。本發(fā)明中，圖像中任意點 的梯度方向通過水平和垂直方向的3X3Sobel算子獲得，這里的任意點即為普通點，而不是強邊緣點，在本專利申請中也被稱為第一類邊緣點；而圖像中強邊緣點則由一種新的基 于兩層金字塔圖像的方法獲得，強邊緣點在本專利申請中被稱為第二類邊緣點。如圖3所示，圖3基于雙層金字塔圖像的邊緣點檢測算法示意圖。本發(fā)明提出的 強邊緣點獲取方法基于兩個尺度的金子塔圖像。圖3a為原始尺度的輸入圖像，圖3b為原 始尺度的梯度圖像，圖3c為原始尺度圖像中提取的邊緣點(局部)，圖3d為下采樣圖像，圖 3e為下采樣圖像的梯度圖像，圖3f為下采樣圖像中提取的邊緣點(局部)，圖3g為合成后 的邊緣點圖像(局部)。對于原始輸入圖像(圖3a所示)，首先采用高斯濾波器進行平滑，然后應用3X3 的Sobel算子計算水平和垂直方向的梯度(如圖3b)，最后選擇梯度過零點作為邊緣點(如 圖3c)。不失一般性，以水平方向為例，設gx(x)是點χ的水平方向的梯度值，則若滿足以下 條件，則χ為過零點(即邊緣點)gxx (x-1) > O 且 gxx (x+1) < O 且 gx (χ)彡 mx(1)其中= 為水平方向的二階梯度，采用在水平方向梯度圖像中再應用
OX
一次水平方向的3X3的Sobel算子的方法獲得；&是整個圖像水平梯度的平均值，作為一 個閾值篩選出梯度強度足夠大的邊緣點。豎直方向的邊緣采用同樣方法獲得。然后，將兩 個方向各自得到的邊緣點歸并在一起，并且去掉重合的點，即得到原始尺度圖像的邊緣點。對于經過較強的模糊操作的圖像(如碼率很低的圖像/視頻壓縮)，Sobel算子往 往不能很好地檢測到邊緣點。因此，本發(fā)明提出將原始尺度圖像進行下采樣，得到1/2尺度 的金字塔圖像，然后在該金字塔圖像上采用上述同樣的方法求取另一組邊緣點，如圖3d、圖 3e和圖3f所示。最后，將上述原始尺度圖像中檢測到的邊緣點和下采樣圖像中檢測到的邊 緣點進行合并，并去除重合的點，及得到最終的邊緣點檢測結果，如圖3g所示。實驗表明，本發(fā)明提出的基于雙層金字塔圖像的邊緣點提取方法可以滿足圖像質 量評價的需要，可以用較小的計算代價改善嚴重模糊圖像中邊緣檢測的效果。下面結合圖4、圖5詳細圖像振鈴效應的度量。本發(fā)明提出了一種通過梯度剖面銳度的統(tǒng)計分析來獲得圖像模糊效應度量的方 法與裝置。方法基于如下兩個現象首先，人類觀察者對于圖像局部結構(如邊緣)信息非 常敏感，也就是說圖像/視頻壓縮等操作在圖像局部結構上所產生的模糊效應是影響觀察 者對圖像質量主觀評價的主要因素。因此，可以以圖像局部結構(如邊緣)為樣本，來度量 模糊效應。其次，自然圖像中有時會由于采集時的離焦、運動等原因，部分區(qū)域本身就是模 糊的。但是，對于一副采集完好的自然圖像，總存在精確、邊緣銳利的區(qū)域。參照圖4a、圖 4b。圖4a是小景深為藝術照的輸入圖像，其中圖像背景區(qū)域由于離焦而本身就是模糊的， 而前景部分(蝴蝶)則聚焦準確，仍然存在著銳利的邊緣。進一步，圖4b是圖4a經過了后 期的模糊處理后的圖像。從圖4b可以看出，如果該圖像經過了后期的模糊處理(如圖像有 損壓縮、高斯濾波去噪等操作)則前景和背景區(qū)域的高頻分量均有所衰減，從而均變得模 糊。但是，相對而言，前景區(qū)域中的邊緣仍然比背景區(qū)域中的更為銳利，如圖4中區(qū)域al、 a2、bl和b2所示。因此，對于一副經過處理的圖像，相對銳利的邊緣反映了圖像處理所引 入的模糊效應的程度。進一步，這些邊緣在感知圖像質量的評價上起主導作用。依據上述現象，本發(fā)明提出了一個基于圖像銳利邊界銳度直方圖 (以下簡稱GRAPH,GRAdient Profile sharpness Histogram)的感知圖像質量評價方法。本方法的基 本計算框架如圖2所示，首先，針對選擇出的銳利邊界過零點，在水平、豎直方向分別計算 梯度剖面銳度值大小。然后，利用JND門限進行視覺掩蔽作用，并建立銳度直方圖。最后， 分析出直方圖分布中對應的最銳利邊界的部分，利用其梯度剖面值計算得到模糊效應的評 價值。如圖5所示，Xtl為邊界像素，是其梯度方向上的局部最大值，p(x0)是邊界像素X。 在梯度方向上的梯度剖面，P(Xtl)的剖面銳度值可以通過均方差來進行計算 其中嚴 m(x)表示梯度幅值，d(x，x0)表示梯度剖面上的當前處理像素χ與邊界點Xtl之間 的曲線距離。梯度剖面越銳利，σ (ρ(Χ(|))的計算值越小。顯然，公式(2)需要在梯度方向上計算梯度幅值和曲線距離，而梯度剖面上的像 素點并不一定都是在整像素位置上的，這就需要進行分像素插值等附加計算。為了避免這 些復雜的計算，本發(fā)明提出一個可以在水平、豎直方向來計算梯度剖面銳度值的方法。這個 方法是基于下面的理論圖像邊界的梯度剖面銳度值在很小的分割片段內具有相同的分布 形式。圖5說明的是在水平方向計算梯度剖面銳度值的情況。假定梯度方向為G = (gx， gy)T，則公式(2)中的梯度剖面的曲線距離d(x，x0)可以通過下式進行計算d(x, x0) = g · dx(x'，X0)(3)其中，g= g,"g+W οdx(x'，Xtl)是水平方向的曲線距離。基于上面的假定，如果忽略采樣及量化誤差 的存在，像素點X和X'的梯度幅值是相同的，即m(x) =m(x')。將公式(3)帶入公式(2) 中，并忽略采樣誤差，可以得到σ (ρ (χ0)) = g · σχ (ρχ (χ。))(4)其中，σχ (ρχ(χ0))表示水平方向的銳度計算值。顯然，同樣方法也可以得到豎直方向的梯度剖面銳度計算值。實際上，梯度G是通 過Sobel算子計算得到的。如果gx > gy，梯度剖面銳度值將在水平方向運算得到；反之，如 果gx < gy，梯度剖面銳度值將在豎直方向運算得到。對于圖4，通過本發(fā)明的計算，原始圖像al的梯度剖面銳度值為0. 768,a2的梯度 剖面銳度值為1.418，高斯模糊的圖像bl的梯度剖面銳度值為1. 180，b2的梯度剖面銳度 值為1.525?？梢钥吹皆紙D像的銳利邊緣在模糊處理以后還是相對銳利的。將計算得到的梯度剖面銳度值，進行直方圖分析，進而來研究銳度的分布狀態(tài)。將 銳度值分布圖分為η個等大小的子區(qū)間，然后GRAPH直方圖中的每一個子區(qū)間的取值就是 每一個子集Xi中元素的數目。
(5)另外，(4)中計算得到的銳度值σ⑴，分布區(qū)間為[omin，omax]，并被歸一化到
區(qū)間。為了使得模糊效應計算模型更符合人眼視覺感受的真實情況，本發(fā)明采用 (X.K.Yang，W. S. Ling, Z. K. Lu, et al. “ Just noticeable distortion model and its applications in video coding"，Signal Processing Image Communication，，20(7)， pp. 662-680,2005.)的JND門限值作為視覺掩蔽模型，對GRAPH中的每一段進行一次視覺掩 蔽 (6) 經過JPEG2000壓縮的失真圖像中，只有最銳利邊界附近的情況可以反映模糊效 應的程度。這就意味著梯度剖面銳度計算值o (p(x0))的最小值部分可以用來反映模糊效 應的等級狀況，即GRAPH圖中的最左邊部分可以用來計算模糊效應度量值。為了提高方法 的魯棒性，最左邊T個子集的一階距可以用下式計算 其中， 公式中T是由門限e決定的，其含義是在本發(fā)明提出的計算方法中，所使用的梯 度剖面的百分比。最后，模糊效應的度量值可以由公式(7)得到的b值，通過反投影的方式得到 下面結合圖6說明圖像振鈴效應的評價。振鈴效應分布在圖像的邊緣附近，并且人眼對平滑圖像強邊緣附近的振鈴效應更 加敏感。振鈴效應檢測，評價的難點在于不能很好的識別出振鈴效應對應的圖像邊緣及方 向信息，且紋理區(qū)域的掩蓋效應也會對振鈴效應的敏感度有很大影響。本發(fā)明提出基于梯 度剖面關聯區(qū)域計算的振鈴效應評價方法，以此來有效地預測效應潛在區(qū)域，計算效應度 量值，然后采用JND門限計算值進行視覺掩蔽，得到最終的振鈴效應評價值。如圖6所示， 圖6左邊圖像圖6a表示含有振鈴效應的圖像，右邊圖像圖6b表示圖6a中方框區(qū)域的像素 亮度值情況。深色區(qū)域與淺色區(qū)域交界的L表示該局部區(qū)域的圖像邊界線，點A表示檢測 出的一個圖像邊界點，垂直于邊界線的線P表示該點梯度剖面輪廓，其中兩方框Ro與隊之 間的加粗線部分表示模糊效應發(fā)生區(qū)域，兩個方框區(qū)域禮和禮表示潛在振鈴效應區(qū)域。為 避免由于窗口過大導致的臨近邊界過零點計算過程中的重復或者掩蔽，本發(fā)明中，窗口大 小設定為5X5，實驗表明，這樣的窗口大小可以比較有效地覆蓋振鈴效應潛在區(qū)域。本發(fā)明通過上面檢測出的潛在振鈴效應區(qū)域Rx(x = 0或1)的局部活性度來計 算其振鈴效應禾呈度(H. Liu, N. Klomp and I. Heynderickx, A no-reference metric for perceived ringing, in Proceedings of the Fourth International Workshop on Video Processingand Quality Metrics for Consumer Electronics VPQM-09, Jan. 2009)。對于 該區(qū)域內的每一個像素I (x)，其局部活性度可以通過計算與其周圍的像素點亮度值均值的 差異值來得到，如下式所示
其中Rn(X)表示像素點I (x)的3X3相鄰像素組成的鄰域。在得到的潛在振鈴效應區(qū)域中，會存在一些邊界像素點，這些像素點應該被作為 噪聲像素來進行處理，因為振鈴效應是不會發(fā)生在這類區(qū)域。為解決這個問題，可以通過一 個門限設置來排除噪聲像素點，如下式所示 其中，在本發(fā)明中設置1\= 0,Th = 0. 65 -MAX(A(x)).
在得到像素點的活性度之后，當前振鈴效應區(qū)域的整體活性度可以通過計算區(qū)域 中所有像素活性度期望值來得到，如下式 其中，R(x0) I為該區(qū)域中有效像素的個數?？紤]到人眼視覺系統(tǒng)是這些圖像信息的接收者，因此振鈴效應評價中需要加入相 應的人眼視覺特性。本發(fā)明考慮到了亮度掩蔽以及紋理掩蔽對效應評價的影響。所以，類 似于模糊效應評價中操作，本發(fā)明仍然采用JND模型計算值來對振鈴效應評價值進行視覺 掩蔽。則當前區(qū)域的感知活性度可以用下式進行計算
其中，JND(Rx)表示該區(qū)域中JND模型的期望值。 整個圖像的振鈴效應評價值由下式定義
其中，X是選擇出來的邊界點集合，|x|是邊界點的數目, 下面對步驟140將所述模糊效應度量和所述振鈴效應度量進行融合，獲取所述輸 入圖像質量評價參考值進行詳細說明考慮到兩種效應計算值的取值區(qū)間差異性，本發(fā)明首先對計算值進行線性歸一 化，將兩個計算值歸一化到相同的區(qū)間W，l]中。歸一化操作后，可以分別得到模糊效應、 振鈴效應的歸一化值iQ。 ,和A;^, s。研究表明，Minkowski函數可以用來對數字圖像壓縮中 產生的人工效應進行融合，因此，本發(fā)明采用采用加權Minkowski方法，將模糊效應、振鈴 效應進行融合，以得到最終的質量評價值，如下式所示 其中，QA為最終質量評價計算值p為Minkowski指數，a和b分別為Minkowski系 數，且a，b和p均為正實數。圖7展示的是設置不同的p，a，兩效應聯合評價方法的計算值與主觀打分值之間 線性相關系數CC關系圖，橫坐標表示不同的參數a，縱坐標為線性相關系數CC。公式(15) 中有三個參數a，b和p，考慮到保持加權后的取值范圍，實驗中設置a+b = 1，故可以得到此關系曲線。由性能曲線看出，當p = 4，a = 0. 85，b = 0. 15時，算法性能達到最優(yōu)。表1中給出了各方法的評價指標值。本實驗將已經被廣泛應用的全參考圖像質量 評價方法SSIM的性能值列在第一行，以其作為一個參照。從表中可以看出，本發(fā)明提出的 圖像質量評價方法，可以達到與經典全參考質量評價方法相近的性能，遠超過現有的針對 JPEG2000圖像質量評價的算法。表1針對JPEG2000圖像質量評價方法性能比較 表2給出了 LIVE數據庫JPEG2000圖像集中15幅專業(yè)圖像和212幅普通圖像的 性能評價值。從表中可以看出，專業(yè)圖像和普通圖像的性能評價值比較接近，所以，本發(fā)明 能夠很好的減少固有模糊區(qū)域所帶來的偏移誤差。表2專業(yè)圖像與普通圖像質量評價性能比較 本發(fā)明提出的這四個裝置可以構成一個質量評價系統(tǒng)，適用于圖像(包括但不限 于JPEG2000壓縮的圖像)視頻幀(包括但不限于H. 264/AVC、AVS、VC-1等)的質量評價。上述方法實現是以PC機為平臺的一種實例。本發(fā)明可以有多種具體的實現方法， 包括但不限于PC機、服務器、SoC、FPGA等等。參照圖8，圖8為根據本發(fā)明基于梯度剖面的圖像無參考質量評價系統(tǒng)實施例的 簡單結構示意圖，包括梯度剖面提取裝置80，用于對輸入圖像邊緣點進行檢測，并依據所述邊緣點提取 梯度剖面。
模糊效應評價裝置82，用于依據所述梯度剖面，進行圖像模糊效應的度量。振鈴效應評價裝置84，用于依據所述梯度剖面，進行圖像振鈴效應的度量。綜合評價裝置86，用于將所述模糊效應度量和所述振鈴效應度量進行融合，獲取所述輸入圖像質量評價參考值。下面對上述各個裝置進行詳細說明。梯度剖面提取裝置80包括第一類邊緣點檢測模塊、第二類邊緣點檢測模塊，第一 類邊緣點的檢測模塊用于通過計算水平方向和垂直方向的梯度檢測邊緣點，第二類邊緣點 檢測模塊用于通過基于兩層金字塔圖像的檢測第二類邊緣點；其中，第二類邊緣點檢測模 塊進一步包括原始尺度圖像邊緣點檢測單元、金字塔圖像的邊緣點檢測單元、合并單元。其 中，原始尺度圖像邊緣點檢測單元用于采用高斯濾波平滑圖像，通過算子檢測，獲取原始尺 度圖像的梯度并確定過零點，提取原始尺度圖像邊緣點；金字塔圖像的邊緣點檢測單元，用 于對原始尺度圖像進行下采樣，獲取1/2尺度的金字塔圖像；采用高斯濾波平滑金字塔圖 像，通過算子檢測，獲取金字塔圖像的梯度并確定過零點，提取金字塔圖像的邊緣點；合并 單元用于合并原始尺度圖像邊緣點、金字塔圖像的邊緣點，并刪除其中的重合點，確定輸入 圖像的邊緣點。其中，確定過零點的進一步為；對于給定點水平方向的梯度值gx(x)，若滿足 gxx (x-1) > 0且gxx(x+l) < 0且gx(x)≥m&，則確定該點為過零點；對于給定點垂直方向的 梯度值gy(y)，若滿足gyy(y_l) > 0且gyy(y+l) < 0且gy(y≥m、，則確定該點為過零點；
合并檢測到的過零點，并刪除其中的重合點，獲取梯度剖面的過零點；
為水
平方向的二階梯度；mx是圖像水平梯度的平均值
為垂直方向的二階梯度；
my是圖像垂直梯度的平均值。下面詳細介紹模糊效應評價裝置82。模糊效應評價裝置82進一步包括梯度剖面銳度值確定模塊821，用于依據梯度剖面，分別計算過零點在水平方向和 垂直方向的梯度剖面銳度值，然后對過零點水平方向梯度gx與垂直方向的梯度gy進行比 較；如果gx > gy，梯度剖面銳度值將在水平方向運算得到；如果gx < gy，梯度剖面銳度值將 在豎直方向運算得到。銳度直方圖建立模塊822，用于將所得的梯度剖面銳度值，利用JND門限進行視覺 掩蔽，建立銳度直方圖。模糊效應的評價值獲取模塊823，用于分析銳度直方圖分布中，最為銳利的邊界 點，利用該點的銳度剖面值確定模糊效應的評價值。在該裝置中，采用一種沿水平或豎直方向計算梯度剖面銳度值的快速方法；然后， 建立經過JND掩蔽修正的剖面銳度直方圖；最后，通過對直方圖的分析得到模糊效應的度 量。從而可以提高模糊效應評價的準確度，而且可以明顯減少自然圖像固有模糊區(qū)域對模 糊效應度量造成的偏差。下面詳細介紹振鈴效應評價裝置84。振鈴效應評價裝置84進一步包括振鈴效應潛在區(qū)域預測模塊841，用于依據所述梯度剖面的過零點，提取所述梯度 剖面的關聯區(qū)域，預測振鈴效應潛在區(qū)域；
潛在區(qū)域的度量模塊842，用于依據預置標準，計算所述振鈴效應潛在區(qū)域的度量值。視覺屏蔽模塊843，用于采用JND門限計算值對所述度量值進行視覺掩蔽，以確定 振鈴效應的評價值。在該裝置中，首先在梯度剖面方向選取相關聯的振鈴效應候選區(qū)域，然后計算這 些候選區(qū)域活動度，通過JND掩蔽效應的修正得到振鈴效應的度量。評價裝置86進一步包括線性歸一化處理模塊和Minkowski函數綜合評價模塊。 其中，線性歸一化處理模塊用于對獲取的所述模糊效應的評價值、所述振鈴效應的評價值 進行線性歸一化處理，以將所述兩個評價值歸一化到相同的區(qū)間W，l]中；Minkowski函數 綜合評價模塊，用于采用加權Minkowski函數，將模糊效應、振鈴效應進行融合，以得到綜 合質量評價值。該裝置基于Minkowsk函數，最終得到符合觀察者主觀感受的圖像質量評 價。圖8基于梯度剖面的圖像無參考質量評價系統(tǒng)適用于圖像(包括但不限于 JPEG2000壓縮的圖像)視頻幀(包括但不限於H. 264/AVC、AVS、VC-1等)的質量評價，同 時上述模糊效應評價方法也可單獨用于圖像模糊程度的評價。以上對本發(fā)明基于梯度剖面的圖像無參考質量評價系統(tǒng)做了簡單的說明，其原理 與基于梯度剖面的圖像無參考質量評價方法相似，相關之處可以參考質量評價方法的說 明，在此不再贅述。以上對本發(fā)明所提供的一種基于梯度剖面的圖像無參考質量評價方法及系統(tǒng)進 行了詳細介紹，本文中應用了具體個例對本發(fā)明的原理及實施方式進行了闡述，以上實施 例的說明只是用于幫助理解本發(fā)明的方法及其核心思想；同時，對于本領域的一般技術人 員，依據本發(fā)明的思想，在具體實施方式
及應用范圍上均會有改變之處，綜上所述，本說明 書內容不應理解為對本發(fā)明的限制。
權利要求
一種基于梯度剖面的圖像無參考質量評價方法，包括梯度剖面提取步驟，對輸入圖像邊緣點進行檢測，并依據所述邊緣點提取梯度剖面；模糊效應評價步驟，依據所述梯度剖面，進行圖像模糊效應的度量；振鈴效應評價步驟，依據所述梯度剖面，進行圖像振鈴效應的度量；以及綜合評價步驟，將所述模糊效應度量和所述振鈴效應度量進行融合，獲取所述輸入圖像質量評價參考值。
2.根據權利要求1所述的基于梯度剖面的圖像無參考質量評價方法，其特征在于，在所述梯度剖面提取步驟中，所述邊緣點包括第一類邊緣點和第二類邊緣點，所述第 一類邊緣點的檢測通過計算水平方向和垂直方向的梯度獲得，所述第二類邊緣點的檢測通 過基于兩層金字塔圖像的檢測方法獲得，所述兩層金字塔圖像的檢測方法包括原始尺度圖像邊緣點檢測步驟，采用高斯濾波平滑圖像，通過算子檢測，獲取原始尺度 圖像的梯度并確定過零點，提取原始尺度圖像邊緣點；金字塔圖像的邊緣點檢測步驟，對所述原始尺度圖像進行下采樣，獲取1/2尺度的金 字塔圖像；采用高斯濾波平滑金字塔圖像，通過算子檢測，獲取所述金字塔圖像的梯度并確 定過零點，提取所述金字塔圖像的邊緣點；合并步驟，合并所述原始尺度圖像邊緣點、所述金字塔圖像的邊緣點，并刪除其中的重 合點，確定所述輸入圖像的邊緣點。
3.根據權利要求2所述的基于梯度剖面的圖像無參考質量評價方法，其特征在于，所 述確定過零點包括對于給定點水平方向的梯度值&(》，若滿足gxx(x-l) >0且gxx(X+l) <0且 gx(x)彡&，則確定該點為過零點；對于給定點垂直方向的梯度值gy(y)，若滿足gyy(y-l) > 0且gyy(y+l) <0且 gy(y)彡‘，則確定該點為過零點；合并檢測到的過零點，并刪除其中的重合點，獲取梯度剖面的過零點；其中，^⑶二^^為水平方向的二階梯度、是圖像水平梯度的平均值；OX(v)_(力垂直方向的二階梯度是圖像垂直梯度的平均值。
4.根據權利要求3所述的基于梯度剖面的圖像無參考質量評價方法，其特征在于，所 述模糊效應評價步驟包括梯度剖面銳度值確定步驟，依據所述梯度剖面，分別計算所述過零點在水平方向和垂 直方向的梯度剖面銳度值，然后對所述過零點水平方向梯度gx與垂直方向的梯度gy進行比 較；如果gx > gy，梯度剖面銳度值將在水平方向運算得到；如果gx < gy，梯度剖面銳度值將 在豎直方向運算得到；銳度直方圖建立步驟，將所得的梯度剖面銳度值，利用JND門限進行視覺掩蔽，建立銳 度直方圖；模糊效應的評價值獲取步驟，分析所述銳度直方圖分布中，最為銳利的邊界點，利用該 點的銳度剖面值確定所述模糊效應的評價值。
5.根據權利要求4所述的基于梯度剖面的圖像無參考質量評價方法，其特征在于，所述振鈴效應評價步驟包括振鈴效應潛在區(qū)域預測步驟，依據所述梯度剖面的過零點，提取所述梯度剖面的關聯區(qū)域，預測振鈴效應潛在區(qū)域；潛在區(qū)域的度量步驟，依據預置標準，計算所述振鈴效應潛在區(qū)域的度量值； 視覺屏蔽步驟，采用JND門限計算值對所述度量值進行視覺掩蔽，以確定振鈴效應的 評價值。
6.根據權利要求5所述的基于梯度剖面的圖像無參考質量評價方法，其特征在于，所 述評價步驟包括線性歸一化處理步驟，對獲取的所述模糊效應的評價值、所述振鈴效應的評價值進行 線性歸一化處理，以將所述兩個評價值歸一化到相同的區(qū)間W，l]中；Minkowski函數綜合評價步驟，采用加權Minkowski函數，將模糊效應、振鈴效應進行 融合，以得到綜合質量評價值。
7.一種基于梯度剖面的圖像無參考質量評價系統(tǒng)，包括梯度剖面提取裝置，用于對輸入圖像邊緣點進行檢測，并依據所述邊緣點提取梯度剖面；模糊效應評價裝置，用于依據所述梯度剖面，進行圖像模糊效應的度量； 振鈴效應評價裝置，用于依據所述梯度剖面，進行圖像振鈴效應的度量； 綜合評價裝置，用于將所述模糊效應度量和所述振鈴效應度量進行融合，獲取所述輸 入圖像質量評價參考值。
8.根據權利要求7所述的基于梯度剖面的圖像無參考質量評價系統(tǒng)，其特征在于所述梯度剖面提取裝置包括第一類邊緣點檢測模塊、第二類邊緣點檢測模塊，所述第 一類邊緣點的檢測模塊用于通過計算水平方向和垂直方向的梯度檢測邊緣點，第二類邊緣 點檢測模塊用于通過基于兩層金字塔圖像的檢測第二類邊緣點； 其中，所述第二類邊緣點檢測模塊包括原始尺度圖像邊緣點檢測單元，采用高斯濾波平滑圖像，通過算子檢測，獲取原始尺度 圖像的梯度并確定過零點，提取原始尺度圖像邊緣點；金字塔圖像的邊緣點檢測單元，對所述原始尺度圖像進行下采樣，獲取1/2尺度的金 字塔圖像；采用高斯濾波平滑金字塔圖像，通過算子檢測，獲取所述金字塔圖像的梯度并確 定過零點，提取所述金字塔圖像的邊緣點；合并單元，合并所述原始尺度圖像邊緣點、所述金字塔圖像的邊緣點，并刪除其中的重 合點，確定所述輸入圖像的邊緣點。
9.根據權利要求8所述的基于梯度剖面的圖像無參考質量評價系統(tǒng)，其特征在于，所 述第二類邊緣點檢測模塊中包括過零點確定單元，用于依據如下規(guī)則確定過零點對于給定點水平方向的梯度值&(》，若滿足gxx(x_l) >0且gxx(x+l) <0且 gx(x)≥&，則確定該點為過零點；對于給定點垂直方向的梯度值&(7)，若滿足gyy(y_l) > 0且gyy(y+l) <0且 gy(y)≥‘，則確定該點為過零點；合并檢測到的過零點，并刪除其中的重合點，獲取梯度剖面的過零點；其中，= 為水平方向的二階梯度k是圖像水平梯度的平均值；OXdg (y)_垂直方向的二階梯度是圖像垂直梯度的平均值。
10.根據權利要求9所述的基于梯度剖面的圖像無參考質量評價系統(tǒng)，其特征在于， 所述模糊效應評價裝置包括梯度剖面銳度值確定模塊，用于依據所述梯度剖面，分別計算所述過零點在水平方向 和垂直方向的梯度剖面銳度值，然后對所述過零點水平方向梯度gx與垂直方向的梯度gy進 行比較；如果gx > gy，梯度剖面銳度值將在水平方向運算得到；如果gx < gy，梯度剖面銳度 值將在豎直方向運算得到；銳度直方圖建立模塊，用于將所得的梯度剖面銳度值，利用JND門限進行視覺掩蔽，建 立銳度直方圖；以及模糊效應的評價值獲取模塊，用于分析所述銳度直方圖分布中，最為銳利的邊界點，利 用該點的銳度剖面值確定所述模糊效應的評價值； 所述振鈴效應評價裝置包括振鈴效應潛在區(qū)域預測模塊，用于依據所述梯度剖面的過零點，提取所述梯度剖面的 關聯區(qū)域，預測振鈴效應潛在區(qū)域；潛在區(qū)域的度量模塊，用于依據預置標準，計算所述振鈴效應潛在區(qū)域的度量值； 視覺屏蔽模塊，用于采用JND門限計算值對所述度量值進行視覺掩蔽，以確定振鈴效 應的評價值；以及，所述評價裝置進一步包括線性歸一化處理模塊，用于對獲取的所述模糊效應的評價值、所述振鈴效應的評價值 進行線性歸一化處理，以將所述兩個評價值歸一化到相同的區(qū)間W，l]中；以及Minkowski函數綜合評價模塊，用于采用加權Minkowski函數，將模糊效應、振鈴效應 進行融合，以得到綜合質量評價值。
全文摘要
本發(fā)明公開了一種基于梯度剖面的圖像無參考質量評價方法及系統(tǒng)。該圖像無參考質量評價系統(tǒng)包括用于對輸入圖像邊緣點進行檢測，并依據邊緣點提取梯度剖面的梯度剖面提取裝置、用于依據梯度剖面，進行圖像模糊效應的度量的模糊效應評價裝置、用于依據梯度剖面，進行圖像振鈴效應的度量的振鈴效應評價裝置，以及用于將模糊效應度量和振鈴效應度量進行融合，獲取輸入圖像質量評價參考值的綜合評價裝置。基于本發(fā)明，可以對各種類型的自然圖像進行質量評價，特別是針對由于離焦、運動等原因導致的部分模糊的圖像，具有很好的魯棒性。
文檔編號G06T7/00GK101877127SQ20091023786
公開日2010年11月3日 申請日期2009年11月12日 優(yōu)先權日2009年11月12日
發(fā)明者王詩淇, 趙德斌, 陳建華, 馬思偉, 高文 申請人:北京大學