一種基于歸一化振鈴加權(quán)的無(wú)參考模糊復(fù)原圖像綜合質(zhì)量評(píng)估方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及無(wú)參考模糊復(fù)原圖像綜合質(zhì)量評(píng)估方法，特別涉及一種基于歸一化振 鈴加權(quán)的無(wú)參考模糊復(fù)原圖像綜合質(zhì)量評(píng)估方法。
【背景技術(shù)】
[0002] 在相機(jī)和攝像機(jī)等光學(xué)系統(tǒng)成像時(shí)，鏡頭和成像場(chǎng)景之間的相對(duì)運(yùn)動(dòng)或者鏡頭散 焦均會(huì)導(dǎo)致采集到的圖像或視頻模糊，造成圖像的對(duì)比度降低、邊緣和內(nèi)部細(xì)節(jié)信息減弱， 影響圖像質(zhì)量，使得直接視覺(jué)觀測(cè)以及數(shù)字圖像信息處理系統(tǒng)難以準(zhǔn)確地檢測(cè)出圖像中的 感興趣區(qū)域，嚴(yán)重影響對(duì)所獲取的圖像和視頻信息的分析和理解。一般通過(guò)數(shù)字模糊圖像 復(fù)原系統(tǒng)可以在一定程度上改善圖像質(zhì)量，恢復(fù)出一部分邊緣和圖像內(nèi)部細(xì)節(jié)信息。但在 很多情況下，受制于圖像先驗(yàn)信息的缺乏以及復(fù)原算法的缺陷，使得圖像退化點(diǎn)擴(kuò)散函數(shù) 估計(jì)出現(xiàn)錯(cuò)誤，這種退化模型估計(jì)錯(cuò)誤一方面會(huì)導(dǎo)致復(fù)原的圖像質(zhì)量相對(duì)于清晰圖像有較 大偏差；另一方面常常會(huì)導(dǎo)致復(fù)原過(guò)程可能產(chǎn)生如振鈴效應(yīng)等人工痕跡，尤其當(dāng)估計(jì)的點(diǎn) 擴(kuò)散函數(shù)的尺寸大于真實(shí)點(diǎn)擴(kuò)散函數(shù)尺寸時(shí)，這種振鈴效應(yīng)更為明顯。振鈴效應(yīng)產(chǎn)生的直 接原因是圖像退化過(guò)程中丟失了高頻信息，導(dǎo)致圖像灰度劇烈變化的鄰域內(nèi)出現(xiàn)了類 Gibbs振蕩問(wèn)題，使得復(fù)原圖像質(zhì)量進(jìn)一步變差，嚴(yán)重時(shí)會(huì)導(dǎo)致經(jīng)過(guò)數(shù)字復(fù)原處理后的圖像 質(zhì)量甚至不如未經(jīng)過(guò)處理的模糊退化圖像，從而人眼直觀觀察或是自動(dòng)圖像信息處理無(wú)法 提取圖像中的有效信息，無(wú)法對(duì)圖像中的內(nèi)容進(jìn)一步分析和識(shí)別。因此，對(duì)于一個(gè)具有真正 實(shí)用性的數(shù)字圖像復(fù)原系統(tǒng)，在對(duì)成像模糊圖像進(jìn)行數(shù)字復(fù)原后，必須要對(duì)復(fù)原圖像質(zhì)量 進(jìn)行準(zhǔn)確的評(píng)估，從而保證真正質(zhì)量得到改善的圖像輸出給用戶或是進(jìn)入自動(dòng)圖像處理和 分析系統(tǒng)的下一環(huán)節(jié)。復(fù)原圖像質(zhì)量評(píng)估系統(tǒng)能否有效工作對(duì)于數(shù)字成像模糊復(fù)原方法能 否真正應(yīng)用實(shí)際系統(tǒng)具有重要作用，在民用智能視頻監(jiān)控系統(tǒng)、智能交通管理系統(tǒng)等以及 軍事應(yīng)用中如成像偵察系統(tǒng)、空間光學(xué)遙感和導(dǎo)彈成像制導(dǎo)領(lǐng)域中都具有重要的應(yīng)用價(jià) 值。
[0003] 在圖像模糊復(fù)原過(guò)后，由于沒(méi)有清晰圖像作為參考圖像，為了評(píng)價(jià)復(fù)原算法效果， 只能進(jìn)行無(wú)參考圖像質(zhì)量評(píng)價(jià)。目前無(wú)參考圖像質(zhì)量評(píng)價(jià)主要有兩類方法:一是簡(jiǎn)單的計(jì) 算圖像的梯度信息，如梯度幅值、邊緣寬度、邊緣銳度等，這類指標(biāo)由于沒(méi)有綜合考慮圖像 亮度、對(duì)比度等因素，評(píng)價(jià)結(jié)果比較片面，特別是對(duì)復(fù)原圖像的振鈴效應(yīng)很難識(shí)別；二是采 用學(xué)習(xí)機(jī)制，通過(guò)大量的樣本進(jìn)行訓(xùn)練，得出評(píng)價(jià)結(jié)果，由于樣本不可能包括所有情況，這 種方法的性能取決于樣本大大小，并且計(jì)算復(fù)雜度較高。
[0004] 中國(guó)專利CN101996406A提出了一種基于結(jié)構(gòu)清晰度的指標(biāo)來(lái)進(jìn)行無(wú)參考質(zhì)量評(píng) 價(jià)，這種指標(biāo)是在結(jié)構(gòu)相似度指標(biāo)上進(jìn)行改進(jìn)。結(jié)構(gòu)相似度是一種全參考圖像質(zhì)量評(píng)價(jià)指 標(biāo)，通過(guò)計(jì)算兩幅圖像在亮度、對(duì)比度和結(jié)構(gòu)三個(gè)方面的信息對(duì)兩幅圖像的相似度進(jìn)行衡 量，如果其中一幅圖像為清晰圖像，則可得出另一幅圖像的評(píng)價(jià)質(zhì)量，但這種指標(biāo)沒(méi)有考慮 圖像的梯度信息，無(wú)法用于模糊圖像的評(píng)價(jià)，同時(shí)，由于振鈴本身具有較大的梯度，這種方 法也不能很好地進(jìn)行鑒別。該專利通過(guò)計(jì)算梯度圖像的結(jié)構(gòu)相似度來(lái)刻畫(huà)邊緣的影響，但 由于三項(xiàng)指標(biāo)均用梯度圖像，反映的是梯度圖像的相似性，并不能評(píng)價(jià)原圖像的相似性，也 就得不到一個(gè)客觀的評(píng)價(jià)結(jié)果。
[0005] 針對(duì)中國(guó)專利CN101996406A存在的問(wèn)題，本項(xiàng)目發(fā)明人2014年申請(qǐng)的中國(guó)專利 CN103345733A在復(fù)原圖像質(zhì)量評(píng)價(jià)中，對(duì)現(xiàn)有的基于結(jié)構(gòu)相似度的圖像質(zhì)量評(píng)價(jià)方法進(jìn)行 了改進(jìn)，加入了刻畫(huà)圖像邊緣和細(xì)節(jié)信息的梯度相似度指標(biāo)，提出了一種改進(jìn)的無(wú)參考圖 像評(píng)估方法INRSS，能夠更好地評(píng)估出復(fù)原圖像中的存在振鈴效應(yīng)及邊緣不清晰等問(wèn)題，更 客觀地反應(yīng)了圖像的真實(shí)質(zhì)量。但是由于該專利僅通過(guò)對(duì)圖像梯度相似度的評(píng)估來(lái)間接評(píng) 估振鈴效應(yīng)，而沒(méi)有直接對(duì)振鈴效應(yīng)進(jìn)行評(píng)估，而振鈴效應(yīng)具有周期性重復(fù)并且與圖像主 要邊緣平行的類Gibbs振蕩的特點(diǎn)，這樣就會(huì)常常出現(xiàn)對(duì)振鈴效應(yīng)評(píng)估錯(cuò)誤的問(wèn)題，從而影 響復(fù)原圖像質(zhì)量評(píng)估的準(zhǔn)確性。
[0006] 同時(shí)中國(guó)專利CN101996406A和CN103345733A都沒(méi)有準(zhǔn)確給出綜合振鈴效應(yīng)和圖 像亮度、對(duì)比度、結(jié)構(gòu)和梯度信息的復(fù)原圖像質(zhì)量評(píng)估方法，從而導(dǎo)致上述方法無(wú)法全面、 合理及有效地對(duì)模糊復(fù)原圖像質(zhì)量進(jìn)行評(píng)估。

【發(fā)明內(nèi)容】

[0007] 本發(fā)明的目的是為了解決目前復(fù)原圖像質(zhì)量評(píng)估方法無(wú)法全面、合理及有效地對(duì) 模糊復(fù)原圖像質(zhì)量進(jìn)行評(píng)估的問(wèn)題，而提出的一種基于歸一化振鈴加權(quán)的無(wú)參考模糊復(fù)原 圖像綜合質(zhì)量評(píng)估方法。
[0008] 上述的發(fā)明目的是通過(guò)以下技術(shù)方案實(shí)現(xiàn)的：
[0009] 步驟一、采用典型的圖像復(fù)原算法對(duì)灰度模糊圖像F(i，j)復(fù)原操作，得到復(fù)原圖 像I;其中，F(xiàn)(i，j)為灰度模糊圖像中的第i行，第j列像素值；
[0010]步驟二、對(duì)復(fù)原圖像I進(jìn)行二次模糊得到參考圖像Ir;其中，二次模糊使用大小為m Xm，方差為〇的高斯模糊核Gblur對(duì)復(fù)原圖像I進(jìn)行二次模糊處理;m為用于復(fù)原圖像二次模 糊的高斯模糊核的大小，下標(biāo)blur為模糊的含義；
[0011] 步驟三、根據(jù)復(fù)原圖像I的亮度信息、對(duì)比度信息和梯度信息及參考圖像Ir的亮度 信息、對(duì)比度信息和梯度信息，計(jì)算I和I r的亮度相似度指標(biāo)1(1，U、對(duì)比度相似度指標(biāo)c (I，Ir)和結(jié)構(gòu)相似度指標(biāo)S(I，Ir);
[0012] 步驟四、計(jì)算步驟一中復(fù)原圖像I的梯度圖像gI，計(jì)算步驟二中參考圖像Ir的梯度 圖像glr，根據(jù)梯度圖像gl和glr計(jì)算圖像I和Ir的梯度相似度指標(biāo)g(I，Ir);
[0013]
[0014] 其中，〇4=仏3\1^2,0<1^3<<1，1^為像素灰度級(jí)，對(duì)于8位灰度圖像取為255; 81 (i，j)為梯度圖像gi中第i行，第j列的梯度圖像;gir(i，j)為梯度圖像gi沖第i行，第j列的梯 度圖像；
[0015] 步驟五、根據(jù)步驟一得到的復(fù)原圖像I、步驟三得到的二次模糊圖像Ir的亮度相似 度指標(biāo)1 (I，Ir)、對(duì)比度相似度指標(biāo)c(l，Ir)、結(jié)構(gòu)相似度指標(biāo)S(I，Ir)以及步驟四得到梯度 相似度指標(biāo)g(I，Ir)，計(jì)算梯度結(jié)構(gòu)相似度指標(biāo)GSSIM(I，Ir)，將GSSIM(I，Ir)平均分塊得改 進(jìn)的梯度平均結(jié)構(gòu)相似度指標(biāo)MGSSIM(I，Ir);
[0016] 步驟六、根據(jù)MGSSIM(I，Ir)得到改進(jìn)的無(wú)參考結(jié)構(gòu)相似度指標(biāo)INRSSM，其中， INRSSM=l-MGSSIM(I,Ir)；
[0017] 步驟七、采用計(jì)算共生矩陣的方法檢測(cè)復(fù)原圖像I中存在的導(dǎo)致振鈴效應(yīng)的平行 邊緣像素?cái)?shù)，并將平行邊緣像素?cái)?shù)進(jìn)行歸一化處理，得到歸一化振鈴度量指標(biāo)NRM;
[0018] 步驟八、根據(jù)步驟七得到的復(fù)原圖像振鈴效應(yīng)計(jì)算結(jié)果NRM指標(biāo)，生成復(fù)原圖像質(zhì) 量振鈴?fù)嘶蜃应?，β的?jì)算表達(dá)式如下：
[0019]
[0020] 步驟九：用步驟八計(jì)算的圖像質(zhì)量退化因子β對(duì)步驟六獲得的改進(jìn)的無(wú)參考結(jié)構(gòu) 相似度指標(biāo)INRSSM進(jìn)行加權(quán)，得到最終的復(fù)原圖像質(zhì)量評(píng)估指標(biāo)RIAM，其計(jì)算公式為RIAM = INRSSX0。
[0021] 發(fā)明效果
[0022] 本發(fā)明提供一種模糊復(fù)原圖像質(zhì)量評(píng)價(jià)方法，屬于圖像和視頻處理領(lǐng)域。具體來(lái) 說(shuō)，本發(fā)明可以用來(lái)提高由于光學(xué)散焦、運(yùn)動(dòng)成像模糊、大氣湍流效應(yīng)和其他光學(xué)退化效應(yīng) 導(dǎo)致的成像模糊以及采用盲復(fù)原等模糊圖像復(fù)原方法得到的復(fù)原圖像質(zhì)量評(píng)估的準(zhǔn)確性， 減少了由于模糊圖像復(fù)原引入的振鈴等人工痕跡導(dǎo)致圖像質(zhì)量評(píng)估錯(cuò)誤，并可使圖像質(zhì)量 評(píng)估結(jié)果更符合人眼的主觀判斷?？蓱?yīng)用于民用照相攝像、智能視頻監(jiān)控、智能安防、光學(xué) 成像遙感、軍事成像偵察和導(dǎo)彈成像制導(dǎo)等領(lǐng)域。
[0023] 1)考慮復(fù)原圖像的亮度、對(duì)比度、結(jié)構(gòu)和梯度特點(diǎn)，并與振鈴效應(yīng)評(píng)估結(jié)果相結(jié)合 提出了一種綜合的無(wú)參考圖像質(zhì)量評(píng)估方法，從而可更全面準(zhǔn)確地評(píng)估圖像質(zhì)量，為圖像 復(fù)原系統(tǒng)進(jìn)一步向?qū)嵱没D(zhuǎn)化掃清了障礙；
[0024] 2)根據(jù)圖像振鈴效應(yīng)的評(píng)估結(jié)果，確定了歸一化的圖像質(zhì)量振鈴?fù)嘶蜃?，從?把振鈴效應(yīng)引入圖像綜合質(zhì)量評(píng)估過(guò)程，使得對(duì)圖像質(zhì)量的評(píng)估結(jié)果更符合人眼的主觀判 斷；
[0025] 3)本發(fā)明所提出的復(fù)原圖像質(zhì)量評(píng)價(jià)方法，是對(duì)復(fù)原圖像亮度、對(duì)比度、結(jié)構(gòu)和梯 度評(píng)價(jià)完成的基礎(chǔ)上得到的改進(jìn)的無(wú)參考圖像結(jié)構(gòu)相似度指標(biāo)INRSSM，根據(jù)復(fù)原圖像振鈴 效應(yīng)的強(qiáng)弱，對(duì)INRSSM結(jié)果進(jìn)行成比例的減少來(lái)得到復(fù)原圖像質(zhì)量的評(píng)估結(jié)果，因此更準(zhǔn) 確地反映了引入振鈴對(duì)復(fù)原圖像整體質(zhì)量的影響；
[0026] 4)本發(fā)明提出的復(fù)原圖像質(zhì)量評(píng)價(jià)方法是一種無(wú)參考圖像質(zhì)量評(píng)估方法，更適用 無(wú)清晰參考圖像的模糊圖像復(fù)原系統(tǒng)的復(fù)原圖像質(zhì)量評(píng)估，因此更具有實(shí)用性。
[0027] 本發(fā)明綜合圖像的亮度、對(duì)比度、結(jié)構(gòu)和梯度信息以及復(fù)原過(guò)程中引入的振鈴等 人工痕跡信息，提出了一種對(duì)模糊復(fù)原圖像的綜合評(píng)估方法，該方法相對(duì)于現(xiàn)有復(fù)原圖像 質(zhì)量評(píng)估方法，具有評(píng)估結(jié)構(gòu)準(zhǔn)確，更符合人眼主觀判斷結(jié)果的特點(diǎn)。
[0028] 本發(fā)明解決了改進(jìn)的無(wú)參考圖像評(píng)估方法INRSS對(duì)復(fù)原圖像質(zhì)量評(píng)估過(guò)程中，有 時(shí)當(dāng)振鈴效應(yīng)明顯的情況下，出現(xiàn)夸大復(fù)原效果，導(dǎo)致對(duì)復(fù)原圖像質(zhì)量評(píng)價(jià)過(guò)高的問(wèn)題。即 把由于振鈴效應(yīng)的引入導(dǎo)致復(fù)原結(jié)果變差的圖像，評(píng)價(jià)為復(fù)原結(jié)果變好的問(wèn)題。如由于振 鈴的引入導(dǎo)致復(fù)原圖像(圖2(b))相對(duì)原始模糊圖圖像(圖2(a))沒(méi)有明顯改善，甚至主觀判 斷復(fù)原結(jié)果變差了。但根據(jù)表1對(duì)圖2(a)復(fù)原前后圖像質(zhì)量的評(píng)估結(jié)果，可以看出基于 INRSS指標(biāo)的評(píng)估結(jié)果圖2(b)相對(duì)于圖2(a)有明顯改善，圖像質(zhì)量提高了 23.34%;而根據(jù) RIAM評(píng)估結(jié)果是由于振鈴效應(yīng)的引入，復(fù)原圖像質(zhì)量相對(duì)于原始模糊圖像質(zhì)量下降 1.76%。由此可以看出，RIAM相對(duì)于INRSSM對(duì)復(fù)原圖像質(zhì)量的評(píng)估更準(zhǔn)確
[0029] 本發(fā)明通過(guò)引入圖像質(zhì)量振鈴?fù)嘶蜃?，解決了準(zhǔn)確評(píng)估振鈴效應(yīng)對(duì)模糊復(fù)原圖 像質(zhì)