本發(fā)明屬于圖像處理領(lǐng)域，具體涉及一種基于雙通道卷積階梯網(wǎng)的多源遙感影像地物分類方法。

背景技術(shù)：

隨著遙感技術(shù)的發(fā)展，由各種不同遙感器獲取的同一地區(qū)的多光譜、多分解力、多時(shí)相的影像數(shù)據(jù)越來越多，為自然資源調(diào)查、環(huán)境監(jiān)測等提供了豐富而又寶貴的資料。但各種單一的遙感手段獲取的影像數(shù)據(jù)在幾何、光譜和空間分辨率等方面存在著明顯的局限性和差異性，導(dǎo)致其用于分類的能力是有限的。顯然，把它們各自的優(yōu)勢和互補(bǔ)性結(jié)合起來用于分類是非常重要的。信息融合技術(shù)是多元信息綜合處理的一項(xiàng)技術(shù)，它能將多源信息加以合成，產(chǎn)生比單元信息更精確、更完全的估計(jì)和判決。信息融合技術(shù)按融合層次可分為數(shù)據(jù)層、特征層和決策層融合。其中，特征級(jí)的融合是較高層次的融合，這類融合技術(shù)首先對(duì)各種數(shù)據(jù)源進(jìn)行特征提取，然后對(duì)這些特征進(jìn)行綜合分析和融合處理。常用的特征級(jí)融合方法有貝葉斯估計(jì)、dempster-shafer證據(jù)理論、聚類分析法和人工神經(jīng)網(wǎng)絡(luò)等。其中，神經(jīng)網(wǎng)絡(luò)具有信息的分布式存儲(chǔ)、并行處理、自學(xué)習(xí)和自組織等功能，并將多源信息特征構(gòu)成的高維特征空間進(jìn)行整合處理，可以有效地融合多維信息用于分類等問題。

在使用人工神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)融合以及分類時(shí)，常使用有監(jiān)督的分類方法，需要大量的有類標(biāo)數(shù)據(jù)，成本較高，需耗費(fèi)大量的人力財(cái)力。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的在于克服上述不足，提供一種基于雙通道卷積階梯網(wǎng)的多源遙感影像地物分類方法，使用神經(jīng)網(wǎng)絡(luò)的方式對(duì)多源數(shù)據(jù)進(jìn)行融合，僅使用少量有類標(biāo)樣本，即可獲得較高的多源影像地物分類精度。

為了達(dá)到上述目的，本發(fā)明包括以下步驟：

步驟一，將landsat-8傳感器得到的若干待測地區(qū)的多光譜數(shù)據(jù)進(jìn)行歸一化處理，得到歸一化后的多光譜數(shù)據(jù)，并標(biāo)記為landsat_a、landsat_b、landsat_c、……、landsat_n；

步驟二，將sentinel-2傳感器得到若干待測地區(qū)的多光譜數(shù)據(jù)進(jìn)行歸一化處理，得到歸一化后的多光譜數(shù)據(jù)，并標(biāo)記l為sentinel_a、sentinel_b、sentinel_c、……、sentinel_n；

步驟三，將landsat_a中每個(gè)元素取周圍28×28的塊代表原來的元素值，構(gòu)成基于圖像塊的特征矩陣l1_a，同理，得到特征矩陣l1_b、l1_c、……、l1_n；

步驟四，將sentinel_a中每個(gè)元素取周圍28×28的塊代表原來的元素值，構(gòu)成基于圖像塊的特征矩陣s1_a，同理，得到特征矩陣s1_b、s1_c、……、s1_n；

步驟五，在特征l1_a中，每類隨機(jī)選取若干塊組成集合l2_a，同理，由l1_b、l1_c、……、l1_n分別得到集合l2_b、l2_c、……、l2_n，由l2_a、l2_b、l2_c、……、l2_n組成訓(xùn)練數(shù)據(jù)集l；

步驟六，在s1_a中，選取和l2_a中對(duì)應(yīng)的塊組成集合s2_a，同理，由s1_b、s1_c、……、s1_n分別得到集合s2_b、s2_c、……、s2_n，由s2_a、s2_b、s2_c、……、s2_n組成訓(xùn)練數(shù)據(jù)集s；

步驟七，構(gòu)造雙通道卷積階梯網(wǎng)多源遙感影像地物分類模型；

步驟八，用訓(xùn)練數(shù)據(jù)集l和訓(xùn)練數(shù)據(jù)集s對(duì)多源影像地物分類模型進(jìn)行訓(xùn)練，得到訓(xùn)練好的模型；

步驟九，利用訓(xùn)練好的模型對(duì)測試數(shù)據(jù)集l1_a、l1_b、l1_c、……、l1_n、s1_a、s1_b、s1_c、……、s1_n進(jìn)行分類，得到測試數(shù)據(jù)集中每個(gè)像素點(diǎn)對(duì)應(yīng)的模型的輸出。

步驟一和步驟二中，使用envi軟件對(duì)數(shù)據(jù)進(jìn)行歸一化處理，選擇的歸一化方式為equalize。

所述步驟三中，得到特征矩陣l1_a、l1_b、l1_c、……、l1_n的具體方法如下：

用歸一化后的特征矩陣landsat_a中每個(gè)元素取周圍28×28像素的塊代表原來的元素值，因此這個(gè)塊的類標(biāo)仍是原來元素值的類標(biāo)，由于特征矩陣是9維的，因此每個(gè)塊大小為28×28×9，由此構(gòu)成了基于圖像塊的特征矩陣l1_a，同理，得到特征矩陣l1_a、l1_b、l1_c、……、l1_n。

所述步驟四中，得到特征矩陣s1_a、s1_b、s1_c、……、s1_n的具體方法如下：

用歸一化后的特征矩陣sentinel_a中每個(gè)元素取周圍28×28像素的塊代表原來的元素值，因此這個(gè)塊的類標(biāo)仍是原來元素值的類標(biāo)，由于特征矩陣是10維的，因此每個(gè)塊大小為28×28×10，由此構(gòu)成了基于圖像塊的特征矩陣s1_a，同理，得到特征矩陣s1_a、s1_b、s1_c、……、s1_n。

所述步驟五中，組成訓(xùn)練數(shù)據(jù)集l的具體方法如下：

在l1_a中，將樣本隨機(jī)打亂，選取每類前10％的塊組成集合l2_a，同理，由l1_b、l1_c、……、l1_n分別得到集合l2_b、l2_c、……、l2_n，由l2_a、l2_b、l2_c、……、l2_n組成訓(xùn)練數(shù)據(jù)集l。

所述步驟六中，組成訓(xùn)練數(shù)據(jù)集s的具體方法如下：

以打亂l1_a相同的方式打亂s1_a，選取每類前10％的塊組成集合s2_a，同理，由s1_b、s1_c、……、s1_n分別得到集合s2_b、s2_c……、s2_n，由s2_a、s2_b、s2_c、……、s2_n，組成訓(xùn)練數(shù)據(jù)集s。

所述步驟七中，構(gòu)造雙通道卷積階梯網(wǎng)多源遙感影像地物分類模型的具體方法如下：

第一步，構(gòu)造網(wǎng)絡(luò)編碼器：

基于卷積的編碼器包含干凈部分和有損部分，兩部分共享一組參數(shù)，有損部分每層加入均值為0標(biāo)準(zhǔn)差為0.3的高斯噪聲，編碼器的結(jié)構(gòu)為：輸入層→第一卷積層→第二卷積層→第三卷積層→第四卷積層→softmax分類器；

第二步，構(gòu)造解碼器：

解碼器對(duì)編碼器中有損部分從輸出到輸入的每一層依次進(jìn)行重構(gòu)，重構(gòu)函數(shù)如下：

表示解碼器第l層第i個(gè)神經(jīng)元的輸出，i＝1,2，...,ml，其中ml表示第l層的神經(jīng)元個(gè)數(shù)，表示編碼器有損部分第l層第i個(gè)神經(jīng)元的輸出，表示的權(quán)重，表示先驗(yàn)，是降噪函數(shù)，其中，i，l均為正整數(shù)；

第三步，構(gòu)造損失函數(shù)：

cc是交叉熵?fù)p失函數(shù)，表示有監(jiān)督部分的損失，t(n)表示類標(biāo)，是編碼器有損部分的輸出，x1(n)是編碼器中第一通道的輸入，x2(n)是編碼器中第二通道的輸入，cd表示無監(jiān)督部分的損失，λ^l表示l層重構(gòu)誤差的權(quán)重，n表示輸入的樣本個(gè)數(shù)，ml表示第l層的神經(jīng)元個(gè)數(shù)，z^(l)表示編碼器干凈部分第l層的輸出，表示解碼器重構(gòu)的第l層的輸出。

所述步驟八中，得到訓(xùn)練好的模型的具體方法如下：

將訓(xùn)練數(shù)據(jù)集l和訓(xùn)練數(shù)據(jù)集s分別作為多源遙感影像地物分類模型中第一通道和第二通道的輸入，訓(xùn)練數(shù)據(jù)集中每個(gè)像素點(diǎn)的類別作為多源影像地物分類模型的輸出，通過求解類別與人工標(biāo)記的正確類別之間的誤差并對(duì)誤差進(jìn)行反向傳播，來優(yōu)化分類模型的網(wǎng)絡(luò)參數(shù)，得到訓(xùn)練好的分類模型。

所述步驟九中，得到測試數(shù)據(jù)集中每個(gè)像素點(diǎn)對(duì)應(yīng)的模型的輸出的具體方法如下：

將測試數(shù)據(jù)集l1_a、l1_b、l1_c、……、l1_n作為訓(xùn)練好的多源遙感影像地物分類模型的第一通道的輸入，s1_a、s1_b、s1_c、……、s1_n作為訓(xùn)練好的多源遙感影像地物分類模型的第二通道的輸入，模型的輸出為對(duì)待分類地區(qū)的測試數(shù)據(jù)集中每個(gè)像素點(diǎn)進(jìn)行分類得到的分類類別。

與現(xiàn)有技術(shù)相比，本發(fā)明由于將像素級(jí)特征擴(kuò)展成圖像塊特征，可同時(shí)獲取譜段信息和空間信息，更有助于描述不同地物的特征；本發(fā)明將應(yīng)用于自然圖像分類問題的半監(jiān)督卷積階梯網(wǎng)絡(luò)應(yīng)用到多源遙感影像地物分類中，在僅使用少量有類標(biāo)樣本的情況下便可獲得較高的地物分類精度，大大降低了人力財(cái)力的耗費(fèi)；本發(fā)明將landsat-8傳感器和sentinel-2傳感器獲得的同一地區(qū)的數(shù)據(jù)同時(shí)送入雙通道卷積階梯網(wǎng)中進(jìn)行特征提取、特征融合，進(jìn)而實(shí)現(xiàn)分類，相比于傳統(tǒng)數(shù)據(jù)融合方法，該方法得到的融合特征更抽象，更具有代表性，能夠更好地描述不同地物的特性，有利于提高多源遙感圖像分類精度；本發(fā)明使用多源遙感數(shù)據(jù)實(shí)現(xiàn)地物目標(biāo)分類，實(shí)現(xiàn)了不同數(shù)據(jù)的信息互補(bǔ)，獲取到了不同地物更完備的特征。

附圖說明

圖1為本發(fā)明的實(shí)現(xiàn)流程圖；

圖2為本發(fā)明中對(duì)待檢測影像的人工標(biāo)記圖；其中，a為柏林；b為巴黎；c為香港；d為羅馬；e為圣保羅；

圖3為用本發(fā)明對(duì)待分類影像的分類結(jié)果圖；其中，a為柏林；b為巴黎；c為香港；d為羅馬；e為圣保羅。

具體實(shí)施方式

下面結(jié)合附圖對(duì)本發(fā)明做進(jìn)一步說明。

參見圖1，本發(fā)明具體實(shí)施步驟如下：

步驟1，將landsat-8傳感器得到的柏林、巴黎、香港、羅馬、圣保羅五個(gè)城市的多光譜數(shù)據(jù)分別使用envi軟件進(jìn)行歸一化處理，得到歸一化后的多光譜數(shù)據(jù)，分別記為landsat_berlin、landsat_paris、landsat_hong_kong、landsat_rome、landsat_sao_paulo；

landsat-8傳感器得到的柏林、巴黎、香港、羅馬、圣保羅五個(gè)城市的多光譜數(shù)據(jù)均為9個(gè)波段，圖像大小分別為666×643、988×1160、529×528、447×377、871×1067；

使用envi軟件對(duì)數(shù)據(jù)進(jìn)行歸一化處理時(shí)，選擇的歸一化方式是equalize；

步驟2，將sentinel-2傳感器得到的柏林、巴黎、香港、羅馬、圣保羅五個(gè)城市的多光譜數(shù)據(jù)分別使用envi軟件進(jìn)行歸一化處理，得到歸一化后的多光譜數(shù)據(jù)，分別記為sentinel_berlin、sentinel_paris、sentinel_hong_kong、sentinel_rome、sentinel_sao_paulo；

sentinel-2傳感器得到的柏林、巴黎、香港、羅馬、圣保羅五個(gè)城市的多光譜數(shù)據(jù)均為10個(gè)波段，圖像大小分別為666×643、988×1160、529×528、447×377、871×1067；

使用envi軟件對(duì)數(shù)據(jù)進(jìn)行歸一化處理時(shí)，選擇的歸一化方式是equalize；

步驟3，將landsat_berlin中每個(gè)元素取周圍28×28的塊代表原來的元素值，構(gòu)成基于圖像塊的特征矩陣l1_berlin，同理，得到特征矩陣l1_paris、l1_hong_kong、l1_rome、l1_sao_paulo；

用歸一化后的特征矩陣landsat_berlin中每個(gè)元素取周圍28×28像素的塊代表原來的元素值，因此這個(gè)塊的類標(biāo)仍是原來元素值的類標(biāo)，由于特征矩陣是9維的，因此每個(gè)塊大小為28×28×9，由此構(gòu)成了基于圖像塊的特征矩陣l1_berlin，同理，得到特征矩陣l1_paris、l1_hong_kong、l1_rome、l1_sao_paulo；

步驟4，將sentinel_berlin中每個(gè)元素取周圍28×28的塊代表原來的元素值，構(gòu)成基于圖像塊的特征矩陣s1_berlin，同理，得到特征矩陣s1_paris、s1_hong_kong、s1_rome、s1_sao_paulo；

用歸一化后的特征矩陣sentinel_berlin中每個(gè)元素取周圍28×28像素的塊代表原來的元素值，因此這個(gè)塊的類標(biāo)仍是原來元素值的類標(biāo)，由于特征矩陣是10維的，因此每個(gè)塊大小為28×28×10，由此構(gòu)成了基于圖像塊的特征矩陣s1_berlin，同理，得到特征矩陣s1_paris、s1_hong_kong、s1_rome、s1_sao_paulo；

步驟5，在l1_berlin中，每類隨機(jī)選取若干塊組成集合l2_berlin，同理，由l1_paris、l1_hong_kong、l1_rome、l1_sao_paulo分別得到集合l2_paris、l2_hong_kong、l2_rome、l2_sao_paulo，由l2_berlin、l2_paris、l2_hong_kong、l2_rome、l2_sao_paulo組成訓(xùn)練數(shù)據(jù)集l；

在l1_berlin中，將樣本隨機(jī)打亂，選取每類前10％的塊組成集合l2_berlin，同理，由l1_paris、l1_hong_kong、l1_rome、l1_sao_paulo分別得到集合l2_paris、l2_hong_kong、l2_rome、l2_sao_paulo，由l2_berlin、l2_paris、l2_hong_kong、l2_rome、l2_sao_paulo組成訓(xùn)練數(shù)據(jù)集l；

步驟6，在s1_berlin中，選取和l2_berlin中對(duì)應(yīng)的塊組成集合s2_berlin，同理，由s1_paris、s1_hong_kong，s1_rome，s1_sao_paulo分別得到集合s2_paris，s2_hong_kong，s2_rome，s2_sao_paulo，由s2_berlin，s2_paris，s2_hong_kong，s2_rome，s2_sao_paulo組成訓(xùn)練數(shù)據(jù)集s；

以打亂l1_berlin相同的方式打亂s1_berlin，選取每類前10％的塊組成集合s2_berlin，同理，由s1_paris、s1_hong_kong，s1_rome，s1_sao_paulo分別得到集合s2_paris，s2_hong_kong，s2_rome，s2_sao_paulo，由s2_berlin，s2_paris，s2_hong_kong，s2_rome，s2_sao_paulo組成訓(xùn)練數(shù)據(jù)集s；

步驟7，構(gòu)造雙通道卷積階梯網(wǎng)多源遙感影像地物分類模型，包括如下步驟：

(7a)構(gòu)造網(wǎng)絡(luò)編碼器：

基于卷積的編碼器包含干凈部分和有損部分，兩部分共享一組參數(shù)，有損部分每層加入均值為0標(biāo)準(zhǔn)差為0.3的高斯噪聲。編碼器的結(jié)構(gòu)為：輸入層→第一卷積層→第二卷積層→第三卷積層→第四卷積層→softmax分類器，各層參數(shù)如下：

第一層輸入層：第一通道設(shè)置特征映射圖數(shù)目為9，第二通道設(shè)置特征映射圖數(shù)目為10；

第二層第一卷積層：第一通道和第二通道均設(shè)置特征映射圖數(shù)目為100；

第三層第二卷積層：第一通道和第二通道均設(shè)置特征映射圖數(shù)目為100；

第四層第三卷積層：第一通道和第二通道均設(shè)置特征映射圖數(shù)目為17；

第五層第四卷積層：設(shè)置特征映射圖數(shù)目為17；

第六層softmax分類器：設(shè)置特征映射圖數(shù)目為17；

(7b)構(gòu)造解碼器：

解碼器對(duì)編碼器中有損部分從輸出到輸入的每一層依次進(jìn)行重構(gòu)，重構(gòu)函數(shù)如下：

表示解碼器第l層第i(i＝1,2，...,ml)個(gè)神經(jīng)元的輸出，其中ml表示第l層的神經(jīng)元個(gè)數(shù)，表示編碼器有損部分第l層第i個(gè)神經(jīng)元的輸出，表示的權(quán)重，表示先驗(yàn)，是降噪函數(shù)，其中，i，l均為正整數(shù)；

(7c)構(gòu)造損失函數(shù)：

cc是交叉熵?fù)p失函數(shù)，表示有監(jiān)督部分的損失，t(n)表示類標(biāo)，是編碼器有損部分的輸出，x1(n)是編碼器中第一通道的輸入，x2(n)是編碼器中第二通道的輸入。cd表示無監(jiān)督部分的損失，λ^l表示l層重構(gòu)誤差的權(quán)重，n表示輸入的樣本個(gè)數(shù)，ml表示第l層的神經(jīng)元個(gè)數(shù)，z^(l)表示編碼器干凈部分第l層的輸出，表示解碼器重構(gòu)的第l層的輸出。

步驟8，用訓(xùn)練數(shù)據(jù)集l和s對(duì)雙通道卷積階梯網(wǎng)多源遙感影像地物分類模型進(jìn)行訓(xùn)練，得到訓(xùn)練好的模型；

將訓(xùn)練數(shù)據(jù)集l和s分別作為雙通道卷積階梯網(wǎng)多源遙感影像地物分類模型中第一通道和第二通道的輸入，訓(xùn)練數(shù)據(jù)集中每個(gè)像素點(diǎn)的類別作為雙通道卷積階梯網(wǎng)多源遙感影像地物分類模型的輸出，通過求解上述類別與人工標(biāo)記的正確類別之間的誤差并對(duì)誤差進(jìn)行反向傳播，來優(yōu)化分類模型的網(wǎng)絡(luò)參數(shù)，得到訓(xùn)練好的分類模型，人工標(biāo)記的正確類標(biāo)如圖2所示。

步驟9，利用訓(xùn)練好的模型對(duì)測試數(shù)據(jù)集l1_berlin、l1_paris、l1_hong_kong、l1_rome、l1_sao_paulo、s1_bnerlin、s1_paris，s1_hong_kong，s1_rome，s1_sao_paulo進(jìn)行分類，得到測試數(shù)據(jù)集中每個(gè)像素點(diǎn)對(duì)應(yīng)的模型的輸出。

將測試數(shù)據(jù)集l1_berlin、l1_paris、l1_hong_kong、l1_rome、l1_sao_paulo作為訓(xùn)練好的雙通道卷積階梯網(wǎng)多源遙感影像地物分類模型的第一通道的輸入，s1_berlin、s1_paris，s1_hong_kong，s1_rome，s1_sao_paulo作為訓(xùn)練好的雙通道卷積階梯網(wǎng)多源遙感影像地物分類模型的第二通道的輸入，模型的輸出為對(duì)五個(gè)城市的測試數(shù)據(jù)集中每個(gè)像素點(diǎn)進(jìn)行分類得到的分類類別。

本發(fā)明的效果可以通過以下仿真實(shí)驗(yàn)進(jìn)一步說明：

1、仿真條件：

硬件平臺(tái)為：hp-z820。

軟件平臺(tái)為：tensorflow。

2、仿真內(nèi)容與結(jié)果：

用本發(fā)明方法在上述仿真條件下進(jìn)行實(shí)驗(yàn)，即從landsat-8傳感器和sentinel-2傳感器得到的柏林、巴黎、香港、羅馬、圣保羅五個(gè)城市的多光譜數(shù)據(jù)中，各隨機(jī)選取10％的像素點(diǎn)作為訓(xùn)練樣本，其余所有有標(biāo)記的像素點(diǎn)作為測試樣本，得到如圖3的分類結(jié)果。本實(shí)驗(yàn)所使用的數(shù)據(jù)共分為16類，分別為：1-密集型高層建筑，2-密集型中層建筑，3-密集型低層建筑，4-開放式高層建筑，5-開放式中層建筑，6-開放式低層建筑，8-大型低層建筑，9-稀疏分布的建筑，10-重工業(yè)區(qū)，11-茂密的樹林，12-零散樹木，13-灌木叢和矮樹，14-低矮的植被，15-裸露的巖石，16-裸露的土壤和沙土，17-水。

從圖3可以看出：各城市除了少數(shù)錯(cuò)分斑點(diǎn)，各部分有類標(biāo)區(qū)域分類結(jié)果良好，水域的分類結(jié)果最好，各種建筑物由于特征相似，導(dǎo)致分類結(jié)果中存在錯(cuò)分斑點(diǎn)，各部分有類標(biāo)區(qū)域分類結(jié)果良好。

本發(fā)明的無類標(biāo)訓(xùn)練樣本大小固定為10％(約8000個(gè)樣本)，改變訓(xùn)練樣本中有類標(biāo)的樣本數(shù)，使有類標(biāo)樣本占總數(shù)的10％、5％、3％，將本發(fā)明與單通道的卷積階梯網(wǎng)的測試數(shù)據(jù)集分類精度進(jìn)行對(duì)比，結(jié)果如表1所示：

表1

從表1可見，訓(xùn)練樣本中有類標(biāo)樣本分別占總標(biāo)記樣本的10％、5％、3％時(shí)，本發(fā)明的每個(gè)城市的測試數(shù)據(jù)集分類精度均高于使用單通道的卷積階梯網(wǎng)對(duì)landsat-8或sentinel-2傳感器數(shù)據(jù)進(jìn)行分類得到的分類精度。

綜上，本發(fā)明通過使用雙通道卷積階梯網(wǎng)對(duì)多源遙感影像進(jìn)行融合，進(jìn)而實(shí)現(xiàn)分類，提取了更精確、更完全的信息，有效提高了圖像特征的表達(dá)能力，增強(qiáng)了模型的泛化能力，使得在訓(xùn)練樣本極少的情況下仍可以達(dá)到較高的地物分類精度。