專利名稱：一種多尺度光譜投影遙感影像融合方法
技術(shù)領(lǐng)域：
本發(fā)明屬于遙感圖像處理數(shù)據(jù)融合技術(shù)領(lǐng)域，涉及一種多尺度光譜投影遙感影像 融合方法。
背景技術(shù)：
多光譜傳感器能夠獲得光譜分辨率高而空間分辨率低的多光譜影像，全色波段傳 感器能獲取空間分辨率高的全色影像，卻缺乏光譜信息，因此如何將含有豐富光譜信息的 多光譜影像與具有高空間分辨率的全色波段影像融合在一起，使融合后的影像能夠盡可能 地保持原始多光譜影像的光譜信息和原始全色影像的空間細(xì)節(jié)信息，是當(dāng)前遙感影像數(shù)據(jù) 處理領(lǐng)域的研究熱點(diǎn)之一。傳統(tǒng)的遙感影像融合算法如HIS變換、PCA變換在進(jìn)行遙感影像 融合時(shí)，能夠獲得具有較高空間質(zhì)量的融合影像，但也有一定的局限性。IHS變換算法簡(jiǎn)單， 能獲得較高的空間分辨率，但只能適用于三個(gè)波段，對(duì)于多波段影像顯得無能為力，而且由 于全色影像與亮度影像之間的差異導(dǎo)致色度改變，會(huì)產(chǎn)生嚴(yán)重的光譜失真。PCA變換能夠?qū)?任意多波段影像進(jìn)行融合，但是會(huì)使融合影像失去原有的物理特性，而且融合效果取決于 替換的兩個(gè)主分量之間的相關(guān)性。近年來多尺度理論在圖像處理領(lǐng)域得到越來越多的關(guān)注。多尺度表達(dá)的基本思想 就是對(duì)原始信號(hào)嵌入一簇尺度參數(shù)變化的信號(hào)，大尺度下信號(hào)的結(jié)構(gòu)應(yīng)該是小尺度下信號(hào) 結(jié)構(gòu)的簡(jiǎn)化。圖像的多尺度分析是指將圖像在不同尺度上進(jìn)行分解，使得圖像的信息在不 同的尺度上得到不同程度的解釋，在大尺度上得到圖像較粗的信息，在小尺度上得到較細(xì) 的信息。“尺度空間”概念是著名的圖像金字塔概念的新補(bǔ)充，最先在Kelly的圖像處理中 被采用，后來又以各種形式進(jìn)行擴(kuò)展，最典型的例子就是金字塔結(jié)構(gòu)與小波分解。在現(xiàn)代的 尺度空間表示中，每一層是前一層的模糊結(jié)果。通常每一層通過一個(gè)方差為o的高斯函數(shù) 卷積原圖像而產(chǎn)生，而每一層的o都不一樣，這個(gè)方差就是“尺度參數(shù)”，尺度參數(shù)越大，圖 像越模糊，越多的細(xì)節(jié)被丟棄。高斯函數(shù)作為卷積核生成的尺度空間是目前最完善的尺度空間之一，它是一種模 擬人眼視覺機(jī)理的理想數(shù)學(xué)模型。在一系列基于人眼視覺機(jī)理提出的合理假設(shè)條件下，高 斯核函數(shù)是尺度空間唯一的線性變換核。

發(fā)明內(nèi)容
本發(fā)明的目的在于針對(duì)現(xiàn)有技術(shù)的缺點(diǎn)和不足，提供一種多尺度光譜投影遙感影 像融合方法，通過在模擬人眼視覺特征的高斯尺度空間中提取能表征影像光譜特征的光譜 信息，采用兼顧空間特性和光譜特性的投影方法來獲取融合影像，提供的方法能適用于各 種不同分辨率遙感影像融合領(lǐng)域。本發(fā)明所采用的技術(shù)方案是一種多尺度光譜投影遙感影像融合方法，包括以下步 驟步驟a，將相同地域的原始低空間分辨率的多光譜影像采樣到與原始高空間分辨率全色影像同等像素大小，并進(jìn)行精確幾何校正處理，然后將處理過的多光譜影像分解成 各個(gè)獨(dú)立的波段影像；步驟b，分別生成原始高空間分辨率全色影像和步驟a所得多光譜各波段影像的 高斯影像立方體；所述高斯影像立方體由若干層的影像組成，最底層影像即為原始高空間 分辨率全色影像和步驟a所得多光譜各波段影像，當(dāng)前層影像是由上一層影像與體現(xiàn)當(dāng)前 層尺度特征的高斯核函數(shù)卷積而成，設(shè)最底層的尺度參數(shù)為o，從最底層影像到最頂層影 像的尺度參數(shù)由o變化到2o，并且當(dāng)前層影像的尺度參數(shù)與上一層影像的尺度參數(shù)滿足 倍增關(guān)系；步驟c，利用步驟b所得高斯影像立方體的各層影像，提取原始高空間分辨率全色 影像和多光譜各波段影像的光譜特征；步驟d，將步驟c提取出的光譜特征按照加權(quán)融合策略投影到原始低空間分辨率 的多光譜影影像上，得到具有高空間分辨率和高光譜分辨率的融合多光譜影像。而且，步驟c中提取光譜特征，是通過計(jì)算高斯影像立方體的各層影像的平均值 得到?；蛘?，步驟c中提取光譜特征，是通過選取高斯影像立方體的某一層影像代替各 層影像的平均值得到。本發(fā)明提供的技術(shù)方案的有益效果為在高斯尺度空間中對(duì)輸入原影像進(jìn)行光譜 信息的提取，采用光譜信息加權(quán)投影到高空間分辨率全色影像上的融合策略，在提高影像 空間分辨率的同時(shí)，極大地保留了原始多光譜影像的光譜信息，能夠在空間分辨率與光譜 分辨率之間取得一個(gè)更好的平衡，從而使獲取的融合影像具有更高的質(zhì)量和更大的實(shí)用價(jià)值。


圖1為本發(fā)明實(shí)施例的流程圖。
具體實(shí)施例方式為了更好地理解本發(fā)明的技術(shù)方案，下面結(jié)合附圖和實(shí)施例對(duì)本發(fā)明做進(jìn)一步的 詳細(xì)說明。本發(fā)明的實(shí)施例是對(duì)全色影像Pan和多光譜影像Mul進(jìn)行融合，參照?qǐng)D1，本發(fā) 明實(shí)施例的步驟如下步驟a 首先進(jìn)行影像預(yù)處理，然后進(jìn)行波段分解影像的預(yù)處理包括重采樣、精確配準(zhǔn)(即精確幾何校正處理)。重采樣的目的是 讓原始多光譜影像(即原始低空間分辨率的多光譜影像)具有與原始全色影像(即原始高 空間分辨率全色影像)同等的像素大小，配準(zhǔn)是為了讓原始多光譜影像與原始全色影像在 空間位置上保持一致。根據(jù)融合精度要求，采樣過程可以采取現(xiàn)有最鄰近像元法、雙線性內(nèi) 插法、雙三次卷積法等方法，其中雙三次卷積法精度最高，精確配準(zhǔn)的精度在0. 5個(gè)像素以 內(nèi)。波段分解的目的是為了分別提取原始多光譜影像各波段獨(dú)自的光譜信息。將重采 樣和配準(zhǔn)后的多光譜影像分解成各自獨(dú)立的波段影像，用以代表多光譜影像的光譜特性， 同時(shí)以便接下來生成高斯影像立方體。實(shí)施例的原始多光譜影像有三個(gè)波段，則分解后的三個(gè)獨(dú)立波段分別標(biāo)記為R、G、B。若具體實(shí)施時(shí)原始多光譜影像有大于三個(gè)的波段，則仍 然可以在不影響理解的前提下類似命名。步驟b 生成高斯影像立方體本發(fā)明中引入改進(jìn)的高斯尺度空間理論，分別生成原始全色影像和多光譜各波段 影像的高斯影像立方體。設(shè)定初始參數(shù)包括最底層的尺度參數(shù)0，高斯核函數(shù)窗口大小 W,高斯尺度空間層數(shù)S,也即是高斯影像立方體的層數(shù)，從最底層到最頂層尺度參數(shù)由o 變化到2 0，層間尺度參數(shù)的倍增關(guān)系和每一層的尺度參數(shù)分別滿足下面的公式(1)和公 式⑵k = 21/s (1)o p = kp o(2)其中s表示總層數(shù)(即高斯影像立方體包括從最底層的第1層影像到最頂層的第 s層影像)，P表示當(dāng)前層數(shù)，％表示當(dāng)前層的尺度參數(shù)。k就是層間尺度參數(shù)的倍增關(guān)系， 即當(dāng)前層影像(第P層)的尺度參數(shù)是上一層影像(第P-1層)的尺度參數(shù)的k倍。這個(gè) 倍增關(guān)系跟經(jīng)典高斯尺度空間理論中倍增關(guān)系是一樣的。按照下面的公式(3)分別生成原始全色影像和各波段影像的高斯影像立方體
'lp+l = G(x, y; kp+la) * ‘尸=1,2,…，\ 且F = 2
<x xW(3)
G(x,y;a) = -Te 2ff2 、2na其中Ip+1和Ip分別表示高斯影像立方體的第p+1層和第p層，G(x，y ； 0 )表示長(zhǎng) 尺度參數(shù)為o的高斯核函數(shù)，x, y是高斯窗口中相對(duì)于中心的坐標(biāo)偏移量，kp+1o表示第 P+1層的尺度參數(shù)，則G(x，y ；kp+1 o )表示第p+1層的高斯核函數(shù)。步驟c 提取光譜特征此步驟為本發(fā)明的核心。本發(fā)明進(jìn)一步提出，可以根據(jù)不同的運(yùn)算級(jí)別，采取下面 兩種等級(jí)的提取各波段影像和全色影像光譜特征的方法，分別按照公式(4) (5)進(jìn)行。需要 說明的是，這兩種方法中只需要采用其中任意一種方法即可，而且采取何種方法視具體情 況而定。第一種逐層累加計(jì)算層影像，提取光譜特征Hpan、HK、氏、HB(分別是原始 全色影像、R波段影像、G波段影像、B波段影像的光譜特征)，可稱為光譜投影(SP， SpectralProjection)方法，滿足下面的公式(4)
S
Hpan ~ C^Ji — pan) I S
i=\
HR={±IlR)!s
< 1=ls (4)
HG=(t4Il G)ls
i=\
H^itl, B)ls
、 i=\
其中IiJ)an、I, B分別表示原始全色影像、R波段影像、G波段影像、B波段 影像在各自的高斯影像立方體中的第i層影像。第二種根據(jù)高斯函數(shù)的性質(zhì)，在第一種的基礎(chǔ)上推導(dǎo)出的方法，可稱為快速光譜 投影(FSP，F(xiàn)ast Spectral Projection)方法，通過選取高斯影像立方體的某一層影像代替 各層影像的平均值，滿足下面的公式(5) 其中Ipan、IK、Ie、IB分別表示原始全色影像、R波段影像、G波段影像、B波段影像， G(x,y ;o)表示尺度參數(shù)為o的高斯核函數(shù)。步驟d 光譜投影運(yùn)算采取公式(6)所示加權(quán)融合的策略將步驟c中提取出的空間細(xì)節(jié)特征投影到原始 低空間分辨率的多光譜影像上，得到高空間分辨率融合多光譜影像 其中Pan為原始全色影像，F(xiàn)R、FG, FB為融合影像的三個(gè)波段R、G、B, c為權(quán)重因子。在上述方法中，步驟a的具體操作屬于遙感影像處理領(lǐng)域的常規(guī)方法，具體流程 在此不再贅述。其中，重采樣和高精度配準(zhǔn)操作的主要目的是使參與融合的全色影像和多 光譜影像在空間地域上處于一致，具有同樣的像素大小。獲取多光譜各單波段影像的主要 目的是用以描述多光譜影像的光譜特性。在上述方法中，步驟b引入了改進(jìn)的高斯尺度空間理論來生成高斯影像立方體。 在經(jīng)典高斯尺度空間理論中，尺度空間分為若干段，每段分為若干層，每一層影像都是由代 表該層尺度特性的高斯核函數(shù)與原始影像卷積而成，而本方法中，只使用一段尺度空間，尺 度參數(shù)由o變化到2o，該段中每一層影像都是由代表該層尺度特性的高斯核函數(shù)與下一 層影像卷積而得到，一方面避免了經(jīng)典高斯尺度空間理論中建立高層影像的龐大開銷，另 一方面也符合人眼視覺特性?？芍傻母咚褂跋窳⒎襟w中，最底層影像為原始全色影像 或各單波段影像，最頂層影像滿足下面的公式(7)Is = G(x，y ;2 o )*G(x，y ;ks-1 o )*."*G(x，y ； o )*1(7)在上述方法中，步驟c的兩種提取光譜特征的方法的推理和操作過程如下在高斯影像立方體中，第p層影像可以描述為Ip = G(x, y ；(8)高斯函數(shù)具有低通性質(zhì)，通過高斯卷積得到的尺度空間表示了影像在不同尺度下 的低頻信息，代表邊緣以及角點(diǎn)等細(xì)節(jié)特征的高頻信息將隨著影像的模糊而丟失，這些低 頻信息即是影像的光譜信息，因此本文通過構(gòu)造高斯影像立方體來提取這些光譜信息。其中oD為高斯尺度空間中該層的尺度因子，則可以定義該層影像的光譜特征為Hp = Ip = G (x, y ;kpo)(9)若初始設(shè)定的高斯尺度空間為s層，那么生成的s層的高斯影像立方體，定義各層 影像的平均值為原始全色影像和各單波段影像的光譜特征，則可以得到上述公式(4)，即為 第一種方法光譜投影(SP，Spectral Projection)方法。由第一種方法計(jì)算層影像平均值的過程可以看出，光譜特征是尺度空間中高 斯卷積結(jié)果的平衡值，在不影響精度的前提下，可以選取其中的某一層影像近似代替平 均值的計(jì)算，于是就有上述公式(5)，即為第二種方法快速光譜投影(Fast Spectral Projection)方法。可以看出，在這種方法中，只需要計(jì)算一次高斯卷積，因此計(jì)算效率比第 一種方法有了很大的提高，但是融合影像質(zhì)量相差不大。在上述方法中，步驟d的目的是將提取的光譜特征添加到原始全色影像中，以提 高全色影像的光譜信息。公式(6)中的權(quán)重因子c對(duì)于融合結(jié)果有著重要影響，默認(rèn)情況 下c = 1，若c > 1，則在融合影像中全色影像的光譜信息所占比重比較大，否則全色影像的 細(xì)節(jié)特征所占比重比較大。綜上所述，本發(fā)明提出的多尺度光譜投影融合方法，在改進(jìn)的高斯尺度空間理論 的基礎(chǔ)上，利用高斯影像立方體的層影像提取影像的光譜特征。高斯尺度空間能夠模仿人 類視覺感知功能，用一系列尺度參數(shù)來描述影像的特征，在生成高斯影像立方體的過程中， 使用高斯核函數(shù)進(jìn)行連續(xù)卷積，逐漸模糊的影像即為各尺度下的低頻信息，也即是光譜特 征，因此從高斯影像立方體中提取的光譜特征更符合人眼視覺感受。以下通過仿真實(shí)驗(yàn)來驗(yàn)證本發(fā)明的有效性仿真實(shí)驗(yàn)一 IK0N0S全色(空間分辨率為1米)與多光譜(空間分辨率為4米) 影像融合，原始影像大小為500*500，選擇廣為使用的標(biāo)準(zhǔn)IHS變換方法和PCA變換方法作 為對(duì)比。融合影像評(píng)價(jià)指標(biāo)對(duì)于融合影像的質(zhì)量評(píng)價(jià)應(yīng)該從主觀視覺和客觀指標(biāo)兩方面 進(jìn)行，同時(shí)考察融合結(jié)果影像對(duì)空間信息和光譜信息的保持度。本發(fā)明中的主觀視覺評(píng)價(jià) 為目視感受，客觀評(píng)價(jià)指標(biāo)采取以下四種(1)熵反映了圖像包含信息量的豐富程度。熵越大，表示融合圖像從原始多光譜 影像和全色影像得到的信息量越大。根據(jù)香農(nóng)公式計(jì)算。(2)ERGAS 一個(gè)從全局綜合誤差方面來評(píng)價(jià)融合影像質(zhì)量的指標(biāo)，ERGAS值越小， 說明融合影像質(zhì)量越好。由下面的公式來計(jì)算ERGAS-IO^ I丄免賺2，)
I、N t MeaniB)2其中，h和1分別表示全色和多光譜影像的空間分辨率，N為原始多光譜影像的波 段數(shù)，RMSE 》和Mean 》分別表示第i波段的均方根誤差和均值。(3)光譜偏差指數(shù)反映了融合影像與原始多光譜影像在光譜方面的扭曲度，光 譜偏差指數(shù)的值越小，說明融合質(zhì)量越高。由下面的公式來計(jì)算 其中Iq和久,分別表示融合前后多光譜影像的灰度值，此次(i，j)表示像素坐
標(biāo)。o(4)通用圖像質(zhì)量評(píng)價(jià)指標(biāo)UIQI 從相關(guān)信息損失、輻射值扭曲和對(duì)比度扭曲三 個(gè)方面衡量融合前后影像的相似度，通過比較UIQI的值，其值越大，表示融合質(zhì)量越高，若 兩幅影像完全一致，其值為1。由下面的公式來計(jì)算 其中叾和3；分別表示原始多光譜影像和融合結(jié)果影像的均值，S S y分別表示原
始多光譜影像和融合結(jié)果影像的方差，而Sxy表示它們的協(xié)方差。仿真結(jié)果用本發(fā)明的方法和標(biāo)準(zhǔn)IHS變換方法、PCA變換方法對(duì)仿真內(nèi)容的仿真結(jié)果，對(duì)比 原始全色影像、經(jīng)過采樣和配準(zhǔn)的原始多光譜影像、標(biāo)準(zhǔn)IHS變換的融合結(jié)果影像、PCA變 換的融合結(jié)果影像、光譜投影(SP)方法所得融合結(jié)果影像和快速光譜投影(FSP)方法所得 融合結(jié)果影像。(1)按照所述仿真內(nèi)容的仿真結(jié)果客觀評(píng)價(jià)指標(biāo)如表1所示表1實(shí)驗(yàn)結(jié)果比較 注表中的“_”表示沒有數(shù)據(jù)。從表1的實(shí)驗(yàn)數(shù)據(jù)可知，本發(fā)明提出的多尺度光譜投影融合方法在各指標(biāo)上均比 傳統(tǒng)的IHS變換方法和PCA變換方法有非常明顯的優(yōu)勢(shì)。熵值越大，說明融合結(jié)果影像包 含的信息量越多，即是融合結(jié)果影像從原始全色影像中獲得的空間細(xì)節(jié)信息和從原始多光 譜影像中或得的光譜信息越多，本發(fā)明的兩種方法在此指標(biāo)上的值遠(yuǎn)大于IHS變換和PCA 變換。ERGAS的值越大，說明光譜信息保持度越低，標(biāo)準(zhǔn)IHS變換在這一指標(biāo)上的值遠(yuǎn)大于 本發(fā)明的兩種方法，PCA變換的值居其次。偏差指數(shù)直接反應(yīng)了光譜扭曲程度，值越大，說明 光譜扭曲越嚴(yán)重，而標(biāo)準(zhǔn)IHS變換的值遠(yuǎn)大于本發(fā)明的兩種方法，PCA變換仍居其次。UIQI 指標(biāo)反映了融合結(jié)果影像在相關(guān)信息損失、輻射值扭曲和對(duì)比度扭曲，標(biāo)準(zhǔn)IHS變換在這一指標(biāo)上的平均值遠(yuǎn)小于本發(fā)明的兩種方法，PCA變換其次。由此可以得出結(jié)論，相比于標(biāo) 準(zhǔn)IHS變換和PCA變換，本發(fā)明提出的方法更能保持影像的空間細(xì)節(jié)特征和光譜特征。(2)按照所述仿真內(nèi)容的仿真結(jié)果主觀評(píng)價(jià)如下從視覺上看，本發(fā)明所得到的融合影像在亮度上與原始多光譜影像非常接近，明 暗適度，色彩鮮艷，邊緣清晰，對(duì)比度好，層次感強(qiáng)，具有很好的視覺感受。在圖像細(xì)節(jié)方面， 本發(fā)明所得的融合影像與原始全色影像非常相似，比如房屋邊緣、灌木叢的結(jié)構(gòu)、道路的形 態(tài)及房屋的細(xì)部結(jié)構(gòu)，都能很清晰地呈現(xiàn)。雖然IHS變換和PCA變換在細(xì)節(jié)呈現(xiàn)方面也有 較好的表現(xiàn)，但均存在較嚴(yán)重的色彩偏差和偏色，不太符合人眼的視覺感受。綜上所述，本發(fā)明與傳統(tǒng)影像融合方法比較可知，不管是從客觀評(píng)價(jià)指標(biāo)上，還是 從主觀視覺上，本發(fā)明的方法都具有很明顯的優(yōu)勢(shì)，融合結(jié)果既能較好地保持高分辨率全 色影像的空間細(xì)節(jié)特征，又能較好地保持低分辨率多光譜影像的光譜特征，增強(qiáng)了主觀可 視表達(dá)效果，是一種可行的遙感影像融合方法。
權(quán)利要求
一種多尺度光譜投影遙感影像融合方法，其特征在于包括以下步驟步驟a，將相同地域的原始低空間分辨率的多光譜影像采樣到與原始高空間分辨率全色影像同等像素大小，并進(jìn)行精確幾何校正處理，然后將處理過的多光譜影像分解成各個(gè)獨(dú)立的波段影像；步驟b，分別生成原始高空間分辨率全色影像和步驟a所得多光譜各波段影像的高斯影像立方體；所述高斯影像立方體由若干層的影像組成，最底層影像即為原始高空間分辨率全色影像和步驟a所得多光譜各波段影像，當(dāng)前層影像是由上一層影像與體現(xiàn)當(dāng)前層尺度特征的高斯核函數(shù)卷積而成，設(shè)最底層的尺度參數(shù)為，從最底層影像到最頂層影像的尺度參數(shù)由變化到，并且當(dāng)前層影像的尺度參數(shù)與上一層影像的尺度參數(shù)滿足倍增關(guān)系；步驟c，利用步驟b所得高斯影像立方體的各層影像，提取原始高空間分辨率全色影像和多光譜各波段影像的光譜特征；步驟d，將步驟c提取出的光譜特征按照加權(quán)融合策略投影到原始低空間分辨率的多光譜影影像上，得到具有高空間分辨率和高光譜分辨率的融合多光譜影像。217526dest_path_image001.jpg,134666dest_path_image001.jpg,2010102665923100001dest_path_image002.jpg
2.根據(jù)權(quán)利要求1所述的多尺度光譜投影遙感影像融合方法，其特征在于步驟a中， 采樣過程采取最鄰近像元法、雙線性內(nèi)插法或雙三次卷積法方法。
3.根據(jù)權(quán)利要求1或2所述的多尺度光譜投影遙感影像融合方法，其特征在于步驟c 中提取光譜特征，是通過計(jì)算高斯影像立方體的各層影像的平均值得到。
4.根據(jù)權(quán)利要求1或2所述的多尺度光譜投影遙感影像融合方法，其特征在于步驟c 中提取光譜特征，是通過選取高斯影像立方體的某一層影像代替各層影像的平均值得到。
全文摘要
本發(fā)明涉及一種多尺度光譜投影遙感影像融合方法，包括以下步驟對(duì)原始全色影像和原始多光譜影像進(jìn)行精確的空間配準(zhǔn)，通過引入改進(jìn)的高斯尺度空間理論，分別生成低空間分辨率的原始多光譜各波段影像和原始高空間分辨率全色影像的高斯影像立方體，然后利用高斯影像立方體的層影像提取多光譜各波段影像和全色影像的光譜特征，最后將光譜特征按照加權(quán)融合策略投影到原始全色影像上，得到具有高空間分辨率和高光譜分辨率的融合多光譜影像。本發(fā)明在在提高影像空間分辨率的同時(shí)，極大地保留了原始多光譜影像的光譜信息，能夠在空間分辨率與光譜分辨率之間取得一個(gè)更好的平衡，從而使獲取的融合影像具有更高的質(zhì)量和更大的實(shí)用價(jià)值。
文檔編號(hào)G06T5/50GK101916435SQ20101026659
公開日2010年12月15日 申請(qǐng)日期2010年8月30日 優(yōu)先權(quán)日2010年8月30日
發(fā)明者劉軍, 邵振峰 申請(qǐng)人:武漢大學(xué)