專利名稱：一種像素級(jí)圖像融合質(zhì)量評(píng)估方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種圖像處理質(zhì)量評(píng)估，具體是一種多源圖像像素級(jí)融合后圖像質(zhì)量 的評(píng)估方法。屬于圖像處理技術(shù)。
背景技術(shù)：
現(xiàn)階段對(duì)融合圖像的質(zhì)量好壞的評(píng)價(jià)標(biāo)準(zhǔn)主要集中于計(jì)算融合后的圖像對(duì)輸入 圖像有用信息量的保存狀況上。輸入圖像的有用信息可以包括亮度、對(duì)比度、結(jié)構(gòu)、梯度、傅 立葉變換后的幅值和輻角、空間分辨率等等像素級(jí)特征值。對(duì)有用信息的選擇可以生成各 種不同的評(píng)估度量方法。對(duì)這些有用信息的保存狀況的度量，一般來(lái)說(shuō)，除了交互信息可以 直接量化這種保存的情況外，其它評(píng)估方法多會(huì)選擇通過(guò)計(jì)算融合后圖像的信息值與先驗(yàn) 有用信息值之間的相似程度來(lái)達(dá)到這個(gè)目的。
相似度的計(jì)算，即距離度量是模式識(shí)別領(lǐng)域的核心問(wèn)題之一。通過(guò)選擇不同的度 量方法，也可以達(dá)到生成不同的評(píng)估度量方法的目的。經(jīng)文獻(xiàn)檢索發(fā)現(xiàn)，2007年在Information Fusion發(fā)表的文章《Sub jective tests forimage fusion evaluation and objective metric validation)) TM^iiWA 工進(jìn)行主觀測(cè)試，因?yàn)閷?duì)于像素級(jí)圖像融合而言，最終評(píng)估標(biāo)準(zhǔn)就是人眼的識(shí)別標(biāo)準(zhǔn)，所有 評(píng)估方法都希望能盡可能的與人的視覺感受一致。但人主觀評(píng)測(cè)耗時(shí)、昂貴、不能量化和 優(yōu)選某些融合系數(shù)；2007年在Computer Vision and Image Understanding發(fā)表的文章 ((A feature-basedmetric for the quantitative evalution)) Φ, ^tM T^SfiMfiWi^W 基準(zhǔn)圖像比較法，也就是把融合后圖像與理想的融合后圖像(即基準(zhǔn)圖像)進(jìn)行比較，從 而評(píng)價(jià)融合后圖像質(zhì)量的方法。但理想圖像在實(shí)際操作中幾乎是不可能得到的；2002年 發(fā)表于 IEEE ElectricLetters 上白勺((Information measure for performance of image fusion))禾口 2003 年發(fā)表于 IEEE International Conference on Image Processing 白勺((A new quality metric for imagefusion》分別提出了使用交互信息和機(jī)遇結(jié)構(gòu)相似度量的 無(wú)基準(zhǔn)圖像客觀評(píng)估方法。這種方法相對(duì)于主觀評(píng)價(jià)和基準(zhǔn)圖像比較法而言，易于機(jī)器實(shí) 現(xiàn)，適用范圍廣泛，并且被證明了能夠得到合理的效果。但是他們的物理模型過(guò)于簡(jiǎn)單，因 此對(duì)于某些特定的圖像和融合方法，其評(píng)估結(jié)果與人的主觀印象并不能很好的吻合。

發(fā)明內(nèi)容
本發(fā)明的技術(shù)目的是提出一種新的圖像融合質(zhì)量無(wú)基準(zhǔn)圖像客觀評(píng)估方法，可以 克服現(xiàn)有評(píng)估方法的不足。利用灰度相似性來(lái)進(jìn)行融合效果評(píng)估的方法，也就是用基于 Minkovski距離的顏色似然函數(shù)來(lái)度量融合效果。與現(xiàn)有評(píng)估方法相比，本發(fā)明與人的視覺 物理模型更為接近，可以得到更符合人的主觀評(píng)測(cè)標(biāo)準(zhǔn)的結(jié)果，而且并不將輸入圖像的數(shù) 目局限于二，而是可以擴(kuò)展為任何大的正整數(shù)。這種新的像素級(jí)圖像融合質(zhì)量評(píng)估標(biāo)準(zhǔn)，通過(guò)以下技術(shù)方案實(shí)現(xiàn)，步驟如下步驟一選定滑動(dòng)窗口的大小和步長(zhǎng)；
步驟二 對(duì)于窗口覆蓋的所有源圖像和結(jié)果圖像區(qū)域，統(tǒng)計(jì)其灰度直方圖的分布， 計(jì)算其概率分布；步驟三計(jì)算每一幅源圖像與結(jié)果圖像區(qū)域直方圖概率分布的Minkovski距離， 在此基礎(chǔ)上計(jì)算各自的顏色似然函數(shù)值；步驟四計(jì)算每幅源圖像在該窗口區(qū)域的局部顯著程度；步驟五用局部顯著程度對(duì)顏色似然函數(shù)值加權(quán)，得到該窗口區(qū)域的加權(quán)顏色似 然函數(shù)值；步驟六通過(guò)每個(gè)窗口內(nèi)的區(qū)域加權(quán)顏色相似程度函數(shù)值，計(jì)算出整幅圖像的圖 像融合質(zhì)量評(píng)估值。本發(fā)明對(duì)圖像融合質(zhì)量進(jìn)行無(wú)基準(zhǔn)客觀評(píng)估，主要具有以下特點(diǎn)和作用(1) 選擇了圖像的顏色信息作為融合過(guò)程中需要保持的有用信息；(2)相似度的度量使用了 Minkovski距離；(3)計(jì)算復(fù)雜度簡(jiǎn)單；(4)充分利用源圖像的局部信息。


圖1為本發(fā)明的像素級(jí)圖像融合質(zhì)量評(píng)估算法的流程 2 為 TNO Human Factors Research Institute 所提供的“UNcamp”圖像序列中的一禎，作為實(shí)驗(yàn)圖像圖3為對(duì)UNcamp圖像序列中的一禎用各種像素級(jí)融合方法進(jìn)行融合后的結(jié)果圖 像圖4為對(duì)UNcamp總共三十二組圖像的融合結(jié)果用各種評(píng)估方法進(jìn)行評(píng)估得到的 結(jié)果曲線圖2 中201為可見光圖像202為紅外圖像圖3 中301為均值融合得到的結(jié)果圖像302為離散小波變換融合得到的結(jié)果圖像303為拉普帕斯金字塔融合得到的結(jié)果圖像304為形態(tài)學(xué)差異金字塔融合得到的結(jié)果圖像圖 4 中401為互信息評(píng)估標(biāo)準(zhǔn)的評(píng)估結(jié)果402為Gemma Piella和Henk Heijmans在2003年提出的質(zhì)量評(píng)估標(biāo)準(zhǔn)的評(píng)估結(jié)403為V. Xydeas和Petrovic在2000年提出的客觀質(zhì)量評(píng)估標(biāo)準(zhǔn)的評(píng)估結(jié)果404為本發(fā)明提出的評(píng)估標(biāo)準(zhǔn)的評(píng)估結(jié)果具體實(shí)施方法下面本發(fā)明將結(jié)合附圖中的實(shí)施例作進(jìn)一步描述步驟一選定滑動(dòng)窗口的大小和步長(zhǎng)?；瑒?dòng)窗口的大小決定了區(qū)域信息量，如果太小，則信息量太小，灰度直方圖分布在有限的幾個(gè)點(diǎn)上，計(jì)算他們之間的Minkovski距離以及顏色似然函數(shù)都是沒(méi)有意義的；如 果太大，則計(jì)算復(fù)雜量大幅上漲，導(dǎo)致運(yùn)算負(fù)擔(dān)加重運(yùn)算時(shí)間加長(zhǎng)。因此，根據(jù)各種實(shí)驗(yàn)我 們得到同時(shí)兼顧區(qū)域信息量和計(jì)算量大小的經(jīng)驗(yàn)值滑動(dòng)窗口的大小為128*128像素，步 長(zhǎng)為32像素。步驟二 對(duì)于窗口覆蓋的所有源圖像和結(jié)果圖像區(qū)域，統(tǒng)計(jì)其灰度直方圖的分布， 計(jì)算其概率分布?；瑒?dòng)窗口從圖像的左上角開始滑動(dòng)，在滑動(dòng)出圖像范圍之前，對(duì)于每次窗口所覆 蓋的區(qū)域，分別統(tǒng)計(jì)源圖像和結(jié)果圖像的灰度直方圖分布，假設(shè)他們分別是h1; h2(此處假 設(shè)有兩幅源圖像)和、對(duì)應(yīng)的概率分布為
p1(i)=hi(i)/∑hi(i)
p2(i)=h2(i)/∑h2r(i)
pr(i)=hr(i)/∑hr(i)步驟三計(jì)算每一幅源圖像與結(jié)果圖像區(qū)域直方圖概率分布的Minkovski距離， 在此基礎(chǔ)上計(jì)算各自的顏色似然函數(shù)值。任意源圖像與結(jié)果圖像的區(qū)域直方圖概率分布的q階Minkovski距離計(jì)算公式如 下
DM=[∑|p(i)-pr(i)|q]1/q,q-1,2,...本發(fā)明中經(jīng)實(shí)驗(yàn)證明，q取2可以得到比較好的結(jié)果，因此在后面的實(shí)驗(yàn)中，q的取 值為2。顏色似然函數(shù)值與Dm的指數(shù)函數(shù)成比例Lm=l*eXp{-Dqm/a}其中i在后面的實(shí)驗(yàn)中取經(jīng)驗(yàn)值1，σ在后面的實(shí)驗(yàn)中取經(jīng)驗(yàn)值0. 015。這樣我們就得到了源圖像1與結(jié)果圖像之間的顏色似然函數(shù)值L(Zl，f)，源圖像2 與結(jié)果圖像之間的似然函數(shù)之L(z2，f)。步驟四計(jì)算每幅源圖像在該窗口區(qū)域的局部顯著程度；對(duì)于每一幅源圖像而言，我們選擇窗內(nèi)方差為窗口區(qū)域的局部顯著程度。方差越 大，說(shuō)明該源圖像在該區(qū)域內(nèi)顯著程度越高。步驟五用局部顯著程度對(duì)顏色似然函數(shù)值加權(quán)，得到該窗口區(qū)域的加權(quán)顏色似 然函數(shù)值。假設(shè)兩幅源圖像在滑動(dòng)窗口區(qū)域w內(nèi)的局部顯著程度分別為S(Z1Iw)和S(z2|w)， 則源圖像1的顏色似然函數(shù)值權(quán)重為
^(W) =__
圖像2的權(quán)重為I- λ (w)。這時(shí)，該窗口區(qū)域的加權(quán)顏色似然函數(shù)值為Q(w) = λ (w) L (ζ1; f) + (l-A (w))L(z2, f)步驟六通過(guò)每個(gè)窗口內(nèi)的區(qū)域加權(quán)顏色相似程度函數(shù)值，計(jì)算出整幅圖像的圖 像融合質(zhì)量評(píng)估值。當(dāng)滑動(dòng)窗口自右下角滑動(dòng)出圖像區(qū)域時(shí)，我們得到了全部的Q(W)值，這時(shí)，整幅 圖像的圖像融合質(zhì)量評(píng)估值為 其中W是窗口族，Iffl是該集合的勢(shì)。 實(shí)施例1 =UNcamp圖像序列融合結(jié)果評(píng)估本發(fā)明將這種新的像素級(jí)圖像融合評(píng)估標(biāo)準(zhǔn)應(yīng)用于UNcamp圖像序列融合結(jié)果 上。實(shí)驗(yàn)平臺(tái)為MATLAB7. 0，在2GHz Intel Pentium(R) 4CPU的PC機(jī)上實(shí)現(xiàn)。實(shí)驗(yàn)中 滑動(dòng)窗口的大小為128*128像素，步長(zhǎng)為32像素；灰度直方圖概率分布間的Minkovski距 離計(jì)算時(shí)q = 2，顏色似然函數(shù)計(jì)算時(shí)i取經(jīng)驗(yàn)值1，σ取經(jīng)驗(yàn)值0.015。(1)對(duì)于一組圖像用不同方法進(jìn)行融合后，用不同的評(píng)估方法得到的質(zhì)量評(píng)估結(jié)^ ο對(duì)圖2所示的源圖像，用不同的像素級(jí)圖像融合方法，得到圖3所示的融合結(jié) 果。對(duì)這些結(jié)果用不同的評(píng)估方法進(jìn)行質(zhì)量評(píng)估，其中，MI為互信息評(píng)估標(biāo)準(zhǔn)，Q為Gemma Piella 和 Henk Heijmans 在 2003 年提出的質(zhì)量評(píng)估標(biāo)準(zhǔn)，QPAB/F 為 V. Xydeas 和 Petrovic 在2000年提出的客觀質(zhì)量評(píng)估標(biāo)準(zhǔn)，Qffl為本發(fā)明提出的評(píng)估標(biāo)準(zhǔn)；Average指均值融合方 法，DffT指離散小波變換融合法，LP指拉普拉斯金字塔融合法，MDP指形態(tài)學(xué)差異金字塔融 合法。得到如表格1所示結(jié)果表格1不同評(píng)估方法對(duì)圖3中融合圖像的評(píng)估結(jié)果
Average I DffTLPMDP
~1θ1. 0586 0. 93407 0. 98914 ~1. 0014
~~Q0.64811 0.651 0.68838 0. 58776
Qpabxf 0. 3527 0.42368 0.45874 0.40622 ~~Q^0. 82387 0. 90909 0. 92706 0. 94425從圖3中可以清楚地看出，LP和MDP的結(jié)果顯然要優(yōu)于均值法和DWT的。對(duì)比表1中的結(jié)果，Qffl與直觀結(jié)果很吻合；MI認(rèn)為均值法的效果是最好的；Q將均值法和DWT排在 了 MDP之上；QpWf是除了 Qm之外表現(xiàn)最好的評(píng)估方法，但它也認(rèn)為MDP的效果不及DWT，這 也是與直觀效果不符合的?？傊?，本發(fā)明所提出的方法人的視覺物理模型更為接近，可以得到更符合人的主 觀評(píng)測(cè)標(biāo)準(zhǔn)的結(jié)果。(2)對(duì)整個(gè)序列圖像組用不同方法進(jìn)行融合后，用不同的評(píng)估方法得到的質(zhì)量評(píng) 估結(jié)果。 對(duì)全部32組源圖像用不同的方法進(jìn)行融合，然后再用不同的評(píng)估方法對(duì)融合后 的圖像進(jìn)行評(píng)估，得到的結(jié)果如圖4所示。從圖4中可以看到，MI始終認(rèn)為均值法是最好的；Q和QpWf在評(píng)估MDP的效果時(shí) 不同程度上與人眼的主觀印象出現(xiàn)偏差；而Qm將這四種融合方法按照MDP、LP、DffT和均值 法排序，與視覺感官相符合。
權(quán)利要求
一種新的像素級(jí)圖像融合質(zhì)量評(píng)估方法，其特征在于，方法步驟如下步驟一選定滑動(dòng)窗口的大小和步長(zhǎng)；步驟二對(duì)于窗口覆蓋的所有源圖像和結(jié)果圖像區(qū)域，統(tǒng)計(jì)其灰度直方圖的分布，計(jì)算其概率分布；步驟三計(jì)算每一幅源圖像與結(jié)果圖像區(qū)域直方圖概率分布的Minkovski距離，在此基礎(chǔ)上計(jì)算各自的顏色似然函數(shù)值；步驟四計(jì)算每幅源圖像在該窗口區(qū)域的局部顯著程度；步驟五用局部顯著程度對(duì)顏色似然函數(shù)值加權(quán)，得到該窗口區(qū)域的加權(quán)顏色似然函數(shù)值；步驟六通過(guò)每個(gè)窗口內(nèi)的區(qū)域加權(quán)顏色相似程度函數(shù)值，計(jì)算出整幅圖像的圖像融合質(zhì)量評(píng)估值。
2.根據(jù)權(quán)利要求1所述的像素級(jí)圖像融合質(zhì)量評(píng)估方法，其特征是，所述的步驟一，為 了兼顧區(qū)域信息量和計(jì)算復(fù)雜度，我們所選用的滑動(dòng)窗口大小為128*128像素，步長(zhǎng)為32像素。
3.根據(jù)權(quán)利要求1所述的像素級(jí)圖像融合質(zhì)量評(píng)估方法，其特征是，所述的步驟三，采 用了顏色似然函數(shù)來(lái)定義兩幅圖像之間的相似程度。先計(jì)算所有源圖像與結(jié)果圖像的區(qū)域直方圖分布概率之間的q階Minkovski距離Dm=mp{i)-pr{mv\ q=1，2,…在此基礎(chǔ)上，計(jì)算顏色似然函數(shù)Lm=I^xpi-Dyal
4.根據(jù)權(quán)利要求1所述的像素級(jí)圖像融合質(zhì)量評(píng)估方法步驟三和權(quán)利要求2，其特征 是，在計(jì)算時(shí)其中的系數(shù)分別已經(jīng)驗(yàn)取值，為q = 2，i = 1，σ =0. 015。
5.根據(jù)權(quán)利要求1所述的像素級(jí)圖像融合質(zhì)量評(píng)估方法步驟四，其特征是，取窗口區(qū) 域內(nèi)的方差為局部顯著程度，并以此計(jì)算權(quán)重，用于對(duì)顏色似然函數(shù)的加權(quán)。
全文摘要
本發(fā)明公開一種新的圖像融合質(zhì)量無(wú)基準(zhǔn)圖像客觀評(píng)估方法，可以克服現(xiàn)有評(píng)估方法的不足。特點(diǎn)是利用灰度相似性來(lái)進(jìn)行融合效果評(píng)估的方法，也就是用基于Minkovski距離的顏色似然函數(shù)來(lái)度量融合效果，用每幅源圖像的局部顯著程度對(duì)顏色似然函數(shù)值加權(quán)，兼顧計(jì)算復(fù)雜度和局部信息含量。與現(xiàn)有評(píng)估方法相比，本發(fā)明與人的視覺物理模型更為接近，可以得到更符合人的主觀評(píng)測(cè)標(biāo)準(zhǔn)的結(jié)果，而且并不將輸入圖像的數(shù)目局限于二，而是可以擴(kuò)展為任何大的正整數(shù)。
文檔編號(hào)G06T7/00GK101840573SQ20101014589
公開日2010年9月22日 申請(qǐng)日期2010年4月12日 優(yōu)先權(quán)日2010年4月12日
發(fā)明者李珊珊, 董娜, 趙英海 申請(qǐng)人:李珊珊;董娜;趙英海