本發(fā)明涉及一種基于非下采樣輪廓波和目標(biāo)可信度的紅外與可見(jiàn)光圖像融合方法,是圖像處理技術(shù)領(lǐng)域的一項(xiàng)融合方法，在軍事監(jiān)控中有廣泛的應(yīng)用。

背景技術(shù)：

紅外和可見(jiàn)光圖像的融合在監(jiān)控和軍事領(lǐng)域有重要的意義。紅外圖像能記錄圖像場(chǎng)景里的熱紅外輻射信息但是通常紅外圖像的分辨率較低?？梢?jiàn)光圖像擅長(zhǎng)細(xì)節(jié)紋理信息的表達(dá)但是很難表達(dá)熱紅外輻射信息?？紤]到紅外圖像和可見(jiàn)光圖像之間的這一互補(bǔ)性，將同一場(chǎng)景的紅外圖像和可見(jiàn)光圖像融合得到的新圖像將同時(shí)具有熱輻射目標(biāo)定位的作用和較高的分辨率。

通常，圖像融合的方法可以分為兩大類：在空域中的圖像融合和變換域中的圖像融合。前者有空間扭曲的問(wèn)題而后者可以輕易的解決這個(gè)問(wèn)題。多尺度分解工具的選擇在變換域融合中起著至關(guān)重要的作用，多尺度分解技術(shù)有了很長(zhǎng)的發(fā)展歷程。在1989年，mallat首先提出了離散小波變換(dwt)的數(shù)學(xué)模型，dwt將圖像分解為一個(gè)低頻子帶和三個(gè)方向的高頻子帶。相比直接在空域中分析，dwt用三個(gè)方向的高頻子帶系數(shù)來(lái)捕捉圖像的紋理和邊緣信息。但是dwt導(dǎo)致混疊現(xiàn)象，此外由于dwt的變換過(guò)程中存在下采樣的過(guò)程，因此dwt不具有平移不變性。為了克服dwt的一些缺陷，rockinger等人提出了平穩(wěn)小波變換(swt)，swt具有了平移不變性，但是和dwt一樣，只有三個(gè)方向的高頻子帶。minhn.do等人提出了輪廓波變換(ct)，相比dwt和swt，ct在高頻部分擁有更多方向的子帶，但是它缺乏平移不變性。cunha等人提出了非下采樣輪廓波變換(nsct)，nsct相比于ct具備了平移不變的特性。

變換域圖像融合中另一個(gè)很重要的因素是融合規(guī)則的設(shè)計(jì)。融合規(guī)則的設(shè)計(jì)指的是尋找一種合適的策略融合相對(duì)應(yīng)子帶系數(shù)從而得到最好的融合圖像。融合規(guī)則的設(shè)計(jì)包括融合策略的設(shè)計(jì)和活動(dòng)測(cè)度的選擇。常用的融合策略包括取大融合策略和加權(quán)融合策略。取大的策略指的是選擇活動(dòng)測(cè)度較大者對(duì)應(yīng)的子帶系數(shù)作為融合后的子帶系數(shù)。加權(quán)融合的策略指的是根據(jù)活動(dòng)測(cè)度和權(quán)值計(jì)算公式計(jì)算待融合子帶系數(shù)的權(quán)值。

活動(dòng)測(cè)度的質(zhì)量依靠于有效的特征選取，選擇的特征要求能夠反映圖像的本質(zhì)。通常特征分為人工特征和數(shù)據(jù)驅(qū)動(dòng)的特征。人工標(biāo)注的特征指的是用一系列由專家設(shè)計(jì)的公式求解得到的特征，比如香農(nóng)熵。數(shù)據(jù)驅(qū)動(dòng)的特征通常是由一些非監(jiān)督的特征學(xué)習(xí)工具從數(shù)據(jù)中提取出來(lái)的，這類特征包括張量(tensor)、稀疏表示(sr)和棧式自編碼(ssae)。liang等人將tensor引入了圖像融合的框架里，首先利用高階奇異值分解(hosvd)將圖像分解得到系數(shù)，然后利用系數(shù)的絕對(duì)值作為活動(dòng)測(cè)度構(gòu)融合規(guī)則。yang和li等人將sr引入了圖像融合領(lǐng)域，首先利用重疊滑塊的方法將圖像分成等大的小塊，然后利用一部過(guò)完備字典將圖像進(jìn)行分解得到具備稀疏性質(zhì)的系數(shù)，最后利用分解得到的系數(shù)作為活動(dòng)測(cè)度構(gòu)造融合規(guī)則?？紤]到紅外圖像和可見(jiàn)光圖像之間差異較大，很難學(xué)習(xí)到一部字典能充分地發(fā)掘其本質(zhì)特性。深度學(xué)習(xí)模型因?qū)?fù)雜數(shù)據(jù)具有卓越學(xué)習(xí)能力而受到越來(lái)越多的關(guān)注。相比傳統(tǒng)的機(jī)器學(xué)習(xí)方法，深度學(xué)習(xí)模型的多層網(wǎng)絡(luò)結(jié)構(gòu)能有效地從數(shù)據(jù)中提取出屬于多個(gè)抽象層次的特征。其中棧式稀疏自編碼(ssae)作為深度學(xué)習(xí)的一個(gè)分支近年來(lái)發(fā)展迅速。由于圖像融合應(yīng)用中缺乏帶標(biāo)簽的訓(xùn)練數(shù)據(jù)，具有無(wú)監(jiān)督特性的ssae比其它屬于監(jiān)督學(xué)習(xí)范疇的方法更適合應(yīng)用到圖像融合中。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的是針對(duì)上述現(xiàn)有技術(shù)的不足，提出了一種基于非下采樣輪廓波和目標(biāo)可信度的紅外與可見(jiàn)光圖像融合方法，以保護(hù)圖像的目標(biāo)及細(xì)節(jié)、增強(qiáng)圖像對(duì)比度和輪廓邊緣，改善其視覺(jué)效果，提高圖像融合的質(zhì)量。本發(fā)明具體技術(shù)方案如下：

1)首先將待融合的紅外圖像ir和可見(jiàn)光圖像vi，利用nsct分別將兩幅圖像分解為低頻子帶系數(shù)和高頻子帶系數(shù)

2)包含細(xì)節(jié)信息的高頻子帶系數(shù)，使用nsct系數(shù)絕對(duì)值取大的融合策略進(jìn)行融合；

其中，和分別表示原圖像ir、vi以及融合圖像f在點(diǎn)(x，y)處對(duì)應(yīng)的低頻系數(shù)。

3)對(duì)nsct低頻子帶系數(shù)，通過(guò)基于目標(biāo)可信度的自適應(yīng)混合融合策略實(shí)現(xiàn)融合；

3.1)利用butterworth高通濾波器對(duì)低頻子帶進(jìn)行銳化處理，將銳化后的低頻子帶分解為若干子塊，使用兩層稀疏自編碼級(jí)聯(lián)而成的ssae的編碼器部分來(lái)獲取子塊的深度編碼。

首先將低頻子帶利用butterworth高通濾波器進(jìn)行銳化處理得到銳化后的低頻子帶將利用滑動(dòng)窗口技術(shù)分成num個(gè)wm×wn的小塊，并將所有小塊拉伸為(wm×wn)×1的列向量其中1≤i≤num；將作為輸入數(shù)據(jù)訓(xùn)練兩層結(jié)構(gòu)的棧式稀疏自編碼ssae的第一層編碼器，解得最優(yōu)的w^1，1和b^1，1。

稀疏自編碼中輸入層到隱層的結(jié)構(gòu)稱為編碼器，編碼器的數(shù)學(xué)表達(dá)式為：

a⁽ⁱ⁾＝sigmoid(w^1，1x⁽ⁱ⁾+b^1，1)

隱層到輸出層的結(jié)構(gòu)稱為解碼器，解碼器的數(shù)學(xué)表達(dá)式為：

hw，b(x⁽ⁱ⁾)＝w^2，1a⁽ⁱ⁾+b^2，1

其中a⁽ⁱ⁾為第i個(gè)輸入數(shù)據(jù)在隱層的激活值，x⁽ⁱ⁾為輸入(等于理論輸出y⁽ⁱ⁾)，hw，b(x⁽ⁱ⁾)為網(wǎng)絡(luò)實(shí)際輸出，其中1≤i≤m，m為輸入數(shù)據(jù)的數(shù)量。w^1，l、b^1，l、w^2，l和b^2，l分別代表第l個(gè)自動(dòng)編碼器中編碼器的權(quán)值矩陣、編碼器的偏置項(xiàng)、解碼器的權(quán)值矩陣、解碼器的偏置項(xiàng)和第i個(gè)輸入的隱層神經(jīng)元激活值，sl為第l層稀疏自編碼器隱層神經(jīng)元的數(shù)目，特別的s0為第一層稀疏自編碼的輸入層神經(jīng)元的數(shù)目，此處采用了兩層結(jié)構(gòu)的ssae，故1≤l≤2。

編碼器負(fù)責(zé)將x⁽ⁱ⁾轉(zhuǎn)換成編碼，解碼器負(fù)責(zé)從編碼中重構(gòu)出原數(shù)據(jù)，x⁽ⁱ⁾和hw，b(x⁽ⁱ⁾)之間存在的誤差稱為重構(gòu)誤差。

稀疏自編碼的代價(jià)函數(shù)如下所示：

其中，j(w，b)定義的第一項(xiàng)是均方差項(xiàng)，它描述了實(shí)際值x⁽ⁱ⁾與理論值hw，b(x⁽ⁱ⁾)之間的差別。第二項(xiàng)為權(quán)重衰減項(xiàng)，用來(lái)防止過(guò)擬合，λ為權(quán)重衰減參數(shù)，nl為自編碼結(jié)構(gòu)的層數(shù)，sl為第l層神經(jīng)元的數(shù)目，為第l-1層中第i個(gè)神經(jīng)元到第l層第j個(gè)神經(jīng)元的連接權(quán)值。第三項(xiàng)中，代表了第j個(gè)隱層神經(jīng)元的激活值與稀疏性參數(shù)ρ之間的kl距離，β為稀疏懲罰項(xiàng)的系數(shù)，用來(lái)控制稀疏性懲罰因子的權(quán)重。

自動(dòng)編碼器的訓(xùn)練過(guò)程是利用梯度下降法求解w^1，1和b^1，1的過(guò)程，具體如下：

步驟1：設(shè)置w¹：＝0，b¹：＝0，δw¹：＝0，δb¹＝0；

步驟2：計(jì)算編碼器的重構(gòu)誤差j(w¹，b¹)；

步驟3：

whilej(w¹，b¹)＞10^-6：

fori＝1tomax_iter：

更新w¹和b¹：

其中，δw¹和δw²為w¹和b¹的增量，α為更新速率，max_iter為最大迭代次數(shù)。

當(dāng)解出最優(yōu)的w¹和b¹后，利用編碼器的數(shù)學(xué)表達(dá)式對(duì)所有的輸入數(shù)據(jù)進(jìn)行編碼，計(jì)算隱層神經(jīng)元的激活值a^(i)，1；以a^(i)，1作為輸入訓(xùn)練下一層自編碼器，解得最優(yōu)的w^1，2和b^1，2；

當(dāng)ssae訓(xùn)練完畢，利用a^(i)，l＝sigmoid(w^1，2a^(l-1)，1+b^1，2)對(duì)所有的輸入數(shù)據(jù)進(jìn)行編碼，提取深度的稀疏特征a^(i)，l。其中，a^(i)，l為第i個(gè)輸入數(shù)據(jù)在第l層稀疏自編碼器的隱層激活值，也是該ssae對(duì)第i個(gè)輸入數(shù)據(jù)的編碼。因此，低頻子塊的ssae深度編碼為a^(i)，2。

3.2)通過(guò)低頻子塊獲取的深度編碼構(gòu)建目標(biāo)可信度函數(shù)，采用子塊的目標(biāo)可信度作為自適應(yīng)混合融合策略中的權(quán)重，實(shí)現(xiàn)低頻子帶的融合。

將利用滑動(dòng)窗口技術(shù)分成num個(gè)wm×wn的子塊其中1≤i≤num。根據(jù)獲得的低頻子塊的ssae深度編碼a^(i)，2來(lái)計(jì)算的紅外目標(biāo)可信度or⁽ⁱ⁾，具體如下：

定義函數(shù)

低頻子帶采用基于or的自適應(yīng)混合融合策略進(jìn)行融合。當(dāng)en⁽ⁱ⁾小于等于閾值t時(shí)，融合策略為取大融合策略，反之，融合策略為加權(quán)平均融合策略。具體融合規(guī)則如下：

其中，為的權(quán)值，為的權(quán)值。

最后，使用滑動(dòng)窗口變換的逆變換將所有融合后的低頻子塊轉(zhuǎn)換成融合后的低頻子帶圖像

4)將步驟2)和3)中得到的融合系數(shù)進(jìn)行nsct逆變換得到融合圖像。

本發(fā)明相對(duì)比現(xiàn)有紅外和可見(jiàn)光圖像融合方法具有如下的優(yōu)點(diǎn)：

1、本發(fā)明采用基于非下采樣輪廓波變換(nsct)作為多尺度分解工具，相比于小波變換(dwt)，nsct能捕捉更多的方向信息且消除了偽吉布斯現(xiàn)象；相比于平穩(wěn)小波變換(swt)，nsct得到的高頻子帶方向數(shù)更多；相比于輪廓波變換(ct)缺乏平移不變性的問(wèn)題，nsct不存在下采樣的操作，故具備了平移不變性。

2、本發(fā)明采用棧式編碼器(ssae)對(duì)低頻子塊實(shí)施稀疏自編碼，以子塊稀疏自編碼的和作為子塊特征用于后續(xù)紅外目標(biāo)的判別。該特征一種數(shù)據(jù)驅(qū)動(dòng)的特征，是從輸入圖像通過(guò)深度網(wǎng)絡(luò)學(xué)習(xí)到的特征，是比人工設(shè)計(jì)的特征更具代表性的特征，更加適合于圖像數(shù)據(jù)表示。

3、本發(fā)明構(gòu)建relu_tan函數(shù)結(jié)合子塊稀疏自編碼的和計(jì)算低頻子塊的目標(biāo)可信度，并將其用來(lái)計(jì)算低頻融合規(guī)則中的權(quán)值，使得本發(fā)明得到的融合圖像在背景和目標(biāo)交界處的變化更加自然。

附圖說(shuō)明：

圖1是整體本發(fā)明的整體融合框架圖。

圖2是低頻子帶系數(shù)的融合規(guī)則示意圖。

圖3是relu_tan函數(shù)曲線示意圖。

圖4(a)和(b)是本發(fā)明第一個(gè)實(shí)施例的待融合紅外與可見(jiàn)光圖像；(c)是基于加權(quán)平均的融合算法(avg)的融合圖像；(d)是基于小波變換(dwt)的融合圖像；(e)是基于脈沖耦合神經(jīng)網(wǎng)絡(luò)(pcnn)的融合圖像；(f)是基于結(jié)構(gòu)張量和小波變換(str-dwt)的融合圖像；(g)是基于nsct和pcnn(p-nsct)的融合圖像；(h)是基于指導(dǎo)濾波(gff)的融合圖像；(i)是本發(fā)明方法的融合圖像。

圖5(a)-(g)是圖4(c)-(i)的目標(biāo)的局部放大圖。

圖6(a)和(b)是本發(fā)明第二個(gè)實(shí)施例的待融合紅外與可見(jiàn)光圖像；(c)是基于加權(quán)平均的融合算法(avg)的融合圖像；(d)是基于小波變換(dwt)的融合圖像；(e)是基于脈沖耦合神經(jīng)網(wǎng)絡(luò)(pcnn)的融合圖像；(f)是基于結(jié)構(gòu)張量和小波變換(str-dwt)的融合圖像；(g)是基于nsct和pcnn(p-nsct)的融合圖像；(h)是基于指導(dǎo)濾波(gff)的融合圖像；(i)是本發(fā)明方法的融合圖像。

圖7(a)-(g)是圖4(c)-(i)的目標(biāo)的局部放大圖。

具體實(shí)施方式：

下面對(duì)本發(fā)明的實(shí)施例結(jié)合附圖作詳細(xì)說(shuō)明，本實(shí)施例在以本發(fā)明技術(shù)方案為前提下進(jìn)行，如圖1所示，詳細(xì)的實(shí)施方式和具體的操作步驟如下：

1)對(duì)待融合的兩幅多聚焦圖像使用nsct變換進(jìn)行分解，圖像分解后得到低頻子帶和高頻子帶系數(shù)，其中尺度分解lp選用“maxflat”，方向?yàn)V波器組選用“pmaxflat”，方向分解參數(shù)設(shè)置為[3,4,5]；

2)包含細(xì)節(jié)信息的高頻子帶系數(shù)，使用nsct系數(shù)絕對(duì)值取大的融合策略進(jìn)行融合；

其中，和分別表示原圖像ir、vi以及融合圖像f在點(diǎn)(x，y)處對(duì)應(yīng)的低頻系數(shù)。

3)對(duì)nsct低頻子帶系數(shù)，通過(guò)基于目標(biāo)可信度的自適應(yīng)混合融合策略實(shí)現(xiàn)融合，具體實(shí)現(xiàn)流程見(jiàn)圖2；

3.1)利用butterworth高通濾波器對(duì)低頻子帶進(jìn)行銳化處理，將銳化后的低頻子帶分解為若干子塊，使用兩層稀疏自編碼級(jí)聯(lián)而成的ssae的編碼器部分來(lái)獲取子塊的深度編碼。

首先將低頻子帶利用butterworth高通濾波器進(jìn)行銳化處理得到銳化后的低頻子帶將利用滑動(dòng)窗口技術(shù)分成num個(gè)wm×wn的小塊，并將所有小塊拉伸為(wm×wn)×1的列向量其中1≤i≤num；將作為輸入數(shù)據(jù)訓(xùn)練兩層結(jié)構(gòu)的棧式稀疏自編碼ssae的第一層編碼器，解得最優(yōu)的w^1，1和b^1，1。

稀疏自編碼中輸入層到隱層的結(jié)構(gòu)稱為編碼器，編碼器的數(shù)學(xué)表達(dá)式為：

a⁽ⁱ⁾＝sigmoid(w^1，1x⁽ⁱ⁾+b^1，1)

隱層到輸出層的結(jié)構(gòu)稱為解碼器，解碼器的數(shù)學(xué)表達(dá)式為：

hw，b(x⁽ⁱ⁾)＝w^2，1a⁽ⁱ⁾+b^2，1

其中a⁽ⁱ⁾為第i個(gè)輸入數(shù)據(jù)在隱層的激活值，x⁽ⁱ⁾為輸入(等于理論輸出y⁽ⁱ⁾)，hw，b(x⁽ⁱ⁾)為網(wǎng)絡(luò)實(shí)際輸出，其中1≤i≤m，m為輸入數(shù)據(jù)的數(shù)量。w^1，l、b^1，l、w^2，1和b^2，l分別代表第l個(gè)自動(dòng)編碼器中編碼器的權(quán)值矩陣、編碼器的偏置項(xiàng)、解碼器的權(quán)值矩陣、解碼器的偏置項(xiàng)和第i個(gè)輸入的隱層神經(jīng)元激活值，sl為第l層稀疏自編碼器隱層神經(jīng)元的數(shù)目，特別的s0為第一層稀疏自編碼的輸入層神經(jīng)元的數(shù)目，此處采用了兩層結(jié)構(gòu)的ssae，故1≤l≤2。

編碼器負(fù)責(zé)將x⁽ⁱ⁾轉(zhuǎn)換成編碼，解碼器負(fù)責(zé)從編碼中重構(gòu)出原數(shù)據(jù)，x⁽ⁱ⁾和hw，b(x⁽ⁱ⁾)之間存在的誤差稱為重構(gòu)誤差。

稀疏自編碼的代價(jià)函數(shù)如下所示：

其中，j(w，b)定義的第一項(xiàng)是均方差項(xiàng)，它描述了實(shí)際值x⁽ⁱ⁾與理論值hw，b(x⁽ⁱ⁾)之間的差別。第二項(xiàng)為權(quán)重衰減項(xiàng)，用來(lái)防止過(guò)擬合，λ為權(quán)重衰減參數(shù)，nl為自編碼結(jié)構(gòu)的層數(shù)，sl為第l層神經(jīng)元的數(shù)目，為第l-1層中第i個(gè)神經(jīng)元到第l層第j個(gè)神經(jīng)元的連接權(quán)值。第三項(xiàng)中，代表了第j個(gè)隱層神經(jīng)元的激活值與稀疏性參數(shù)ρ之間的kl距離，β為稀疏懲罰項(xiàng)的系數(shù)，用來(lái)控制稀疏性懲罰因子的權(quán)重。

自動(dòng)編碼器的訓(xùn)練過(guò)程是利用梯度下降法求解w^1，1和b^1，1的過(guò)程，具體如下：

步驟1：設(shè)置w¹：＝0，b¹：＝0，δw¹：＝0，δb¹＝0；

步驟2：計(jì)算編碼器的重構(gòu)誤差j(w¹，b¹)；

步驟3：

whilej(w¹，b¹)＞10^-6：

fori＝1tomax_iter：

更新w¹和b¹：

其中，δw¹和δw²為w¹和b¹的增量，α為更新速率，max_iter為最大迭代次數(shù)。

當(dāng)解出最優(yōu)的w¹和b¹后，利用編碼器的數(shù)學(xué)表達(dá)式對(duì)所有的輸入數(shù)據(jù)進(jìn)行編碼，計(jì)算隱層神經(jīng)元的激活值a^(i)，1；以a^(i)，1作為輸入訓(xùn)練下一層自編碼器，解得最優(yōu)的w^1，2和b^1，2；

當(dāng)ssae訓(xùn)練完畢，利用a^(i)，l＝sigmoid(w^1，2a^(l-1)，1+b^1，2)對(duì)所有的輸入數(shù)據(jù)進(jìn)行編碼，提取深度的稀疏特征a^(i)，l。其中，a^(i)，l為第i個(gè)輸入數(shù)據(jù)在第l層稀疏自編碼器的隱層激活值，也是該ssae對(duì)第i個(gè)輸入數(shù)據(jù)的編碼。因此，低頻子塊的ssae深度編碼為a^(i)，2。

3.2)通過(guò)低頻子塊獲取的深度編碼構(gòu)建目標(biāo)可信度函數(shù)，采用子塊的目標(biāo)可信度作為自適應(yīng)混合融合策略中的權(quán)重，實(shí)現(xiàn)低頻子帶的融合。

將利用滑動(dòng)窗口技術(shù)分成num個(gè)wm×wn的子塊其中1≤i≤num。根據(jù)獲得的低頻子塊的ssae深度編碼a^(i)，2來(lái)計(jì)算的紅外目標(biāo)可信度or⁽ⁱ⁾，具體如下：

定義函數(shù)relu_tanh函數(shù)，函數(shù)曲線見(jiàn)圖3，具體定義如下；

其中，u用來(lái)控制曲線陡度，本專利u＝4，可信度函數(shù)的閾值t定義為：

低頻子帶采用基于or的自適應(yīng)混合融合策略進(jìn)行融合。如圖3函數(shù)曲線所示，可知當(dāng)en⁽ⁱ⁾小于等于閾值t時(shí)，融合策略為取大融合策略，反之，融合策略為加權(quán)平均融合策略。具體融合規(guī)則如下：

其中，為的權(quán)值，為的權(quán)值。

最后，使用滑動(dòng)窗口變換的逆變換將所有融合后的低頻子塊轉(zhuǎn)換成融合后的低頻子帶圖像

4)將步驟2)和3)中得到的融合系數(shù)進(jìn)行nsct逆變換得到融合圖像。

實(shí)驗(yàn)條件與方法：

硬件平臺(tái)為：intel(r)處理器，cpu主頻1.80ghz，內(nèi)存1.0gb；

軟件平臺(tái)為：matlabr2016a；實(shí)驗(yàn)中采用兩組已配準(zhǔn)的紅外與可見(jiàn)光圖像，圖像大小均為256×256，tif格式。第一組紅外與可見(jiàn)光圖像見(jiàn)圖4(a)和圖4(b)，第一組紅外與可見(jiàn)光圖像見(jiàn)圖6(a)和圖6(b)。

仿真實(shí)驗(yàn)：

為了驗(yàn)證本發(fā)明的可行性和有效性，采用了兩組紅外-可見(jiàn)光圖像測(cè)試，融合結(jié)果如圖4、圖5、圖6和圖7所示。

仿真一：遵循本發(fā)明的技術(shù)方案，對(duì)第一組紅外與可見(jiàn)光圖像(見(jiàn)圖4(a)和圖4(b))進(jìn)行融合，通過(guò)圖4(c)-圖4(i)的分析可以看出：本專利所提的方法的融合圖像中目標(biāo)小人處最為明顯，叢林處細(xì)節(jié)保留最多，整體清晰度最高。圖5給出了各融合圖像在目標(biāo)小人處的局部放大效果圖，比較可知本專利所提方法的小人處邊緣清晰并且對(duì)比度高，融合效果最佳。

仿真二：遵循本發(fā)明的技術(shù)方案，對(duì)第二組紅外與可見(jiàn)光圖像(見(jiàn)圖6(a)和圖6(b))進(jìn)行融合，通過(guò)圖6(c)-圖6(i)的分析可以看出：圖6(c)、(d)和(g)存在整體亮度較低、槍支輪廓不明顯、人臉不清晰的問(wèn)題，圖6(e)與(h)整體的亮度高于圖6(c)、(d)與(g)，但存在著噪聲信息過(guò)多，這導(dǎo)致槍支輪廓受噪聲干擾嚴(yán)重。圖6(f)噪聲較少，但是槍支輪廓不明顯。本專利所提方法的融合結(jié)果圖6(i)整體亮度高、噪聲少、槍支輪廓明顯。圖7可以佐證上述結(jié)論。

表1和表2給出了兩種數(shù)據(jù)集利用各種融合方法實(shí)驗(yàn)結(jié)果的客觀評(píng)價(jià)指標(biāo)，其中加粗的數(shù)據(jù)表示對(duì)應(yīng)的評(píng)價(jià)指標(biāo)為最優(yōu)值。avg為基于空域像素值取平均的圖像融合方法，dwt為基于離散小波分解的圖像融合方法，pcnn為基于脈沖耦合神經(jīng)網(wǎng)絡(luò)的圖像融合方法，str-dwt為基于結(jié)構(gòu)張量和離散小波分解的圖像融合方法，sw-pcnn為基于非下采樣輪廓波變換和脈沖耦合神經(jīng)網(wǎng)絡(luò)的圖像融合方法，gff為基于指導(dǎo)濾波的圖像融合，nsct-ssae為本發(fā)明提出的基于nsct和ssae的圖像融合方法。實(shí)驗(yàn)選用信息熵(en)、平均梯度(ag)、邊緣轉(zhuǎn)換率(qabf)、邊緣強(qiáng)度(ei)、互信息(mi)、標(biāo)準(zhǔn)差(sd)和空間頻率(sf)作為客觀評(píng)價(jià)指標(biāo)。

由表1和表2的數(shù)據(jù)表明，本發(fā)明方法所獲得的融合圖像在信息熵、平均梯度、邊緣強(qiáng)度、標(biāo)準(zhǔn)差和空間頻率等客觀評(píng)價(jià)指標(biāo)上要優(yōu)于其它的融合方法。信息熵反應(yīng)的是圖像攜帶信息量的多少，其值說(shuō)明融合圖像中包含的信息量越大，融合效果越好；平均梯度反應(yīng)的是圖像的清晰度，其值越大視覺(jué)效果越好；邊緣轉(zhuǎn)換率反應(yīng)的是待融合圖像的邊緣信息轉(zhuǎn)移到融合圖像中的程度，其值越接近1視覺(jué)效果越好；邊緣強(qiáng)度衡量的是圖像邊緣細(xì)節(jié)的豐富程度，其值越大則主觀效果越好；互信息反應(yīng)的是待融合圖像和融合圖像之間信息的相關(guān)程度，其值越大視覺(jué)效果越好；標(biāo)準(zhǔn)差反應(yīng)的是圖像灰度相比于灰度均值的離散程度，其值越大則灰度級(jí)越分散，則視覺(jué)效果越好。空間頻率反應(yīng)的是融合圖像的灰度變化程度，其值越大說(shuō)明融合圖像的細(xì)節(jié)性越好。

從各仿真實(shí)驗(yàn)的融合結(jié)果可以看出，本發(fā)明的融合圖像全局清晰，目標(biāo)明確，融合圖像信息豐富。無(wú)論是從主觀人類視覺(jué)感知上還是客觀評(píng)價(jià)指標(biāo)上都能證明本發(fā)明的有效性。

表1第一組紅外與可見(jiàn)光圖像融合結(jié)果客觀評(píng)價(jià)指標(biāo)

表2第二組紅外與可見(jiàn)光圖像融合結(jié)果客觀評(píng)價(jià)指標(biāo)