專利名稱：：融合空間關(guān)系語義的高分辨率遙感圖像檢索方法
技術(shù)領(lǐng)域：
：本發(fā)明涉及一種對高空間分辨率遙感圖像(以下簡稱高分辨率遙感圖像)進行查詢檢索的方法，具體說是一種融合空間關(guān)系語義和圖像視覺特征的高分辨率遙感圖像檢索方法，屬于遙感圖像處理與信息提取領(lǐng)域。
背景技術(shù)：
：遙感圖像檢索(或者稱為遙感圖像查詢)是從遙感圖像數(shù)據(jù)庫中查找用戶感興趣的圖像或圖像序列的過程。隨著遙感圖像數(shù)據(jù)量的急劇增加，如何對龐大的圖像庫進行有效管理，對圖像信息進行快速準確地查詢檢索便成為急待解決的問題?？偨Y(jié)目前研究進展，遙感圖像檢索主要有以下三種方法(1)基于文本的圖像檢索(Text-BasedImageRetrieval,TBIR):該檢索方式根據(jù)人對圖像的理解添加一定的標注或描述性文本，檢索的時候以這些人工注釋的文本信息為索引對圖像進行查詢檢索。此類方法主要存在如下幾個方面的問題l)人工注釋工作量太大；2)人工注釋具有主觀性和不確定性。不同的觀察者或者同一觀察者在不同條件下對同一幅圖像的描述可能會有不同，因而不夠客觀和準確；3)文本無法完全概括圖像內(nèi)容。(2)基于內(nèi)容的圖像檢索(Content-BasedImageRetrieval,CBIR):該檢索方式首先提取圖像的視覺特征(主要包括顏色、紋理、形狀等)，然后根據(jù)這些視覺特征進行圖像間相似性判斷，從而實現(xiàn)檢索過程。然而，目前CBIR由于往往僅僅利用了圖像的較低層次的特征，即視覺特征進行檢索，而人對圖像內(nèi)容的描述以及圖像之間的相似性的判斷則往往依據(jù)圖像所蘊含的高層語義，如對象、場景以及對象行為特征等等，這種圖像低層視覺特征與人們對圖像的理解之間的差異(有人稱其為"語義鴻溝"問題)使得CBIR的檢索結(jié)果有時不那么盡如人意。(3)基于語義的圖像檢索(Semantic-BasedImageRetrieval，SBIR):所謂圖像語義，是指圖像內(nèi)容的本質(zhì)，是對圖像表達內(nèi)容的高度抽象。該類檢索方法的主要思路是首先提取圖像中所包含的高層語義信息，然后以這些語義信息為索引進行圖像檢索。根據(jù)圖像中各語義要素的抽象程度，可將圖像的語義信息分成6個層次(分別是特征語義、對象語義、空間關(guān)系語義、場景語義、行為語義、情感語義)，稱為圖像層次化語義模型(圖1)?；谡Z義信息的圖像檢索被認為是當前最具發(fā)展前景的圖像檢索方式。但是，無論從生物視覺還是計算機視覺來說，人們對視覺理解的認識還遠非深刻，計算機自動從圖像中準確抽取語義描述就目前的技術(shù)手段來說還是一個非常困難的課題。因此此類方法目前是相關(guān)研究領(lǐng)域的熱點和難點，有待進一步的研究和發(fā)展。JiangLi等人在《IEEETRANSACTIONSONGEOSCIENCEANDREMOTESENSING》2004年4月第42巻第4期"IntegratedSpectralandSpatialInformationMininginRemoteSensingImagery"—文中提出了一種基于Gabor紋理特征和圖像對象語義的遙5感圖像檢索方法。其思路是用支持向量機(SupportVectorMachine,SVM)方法對遙感圖像進行分類，將圖像分成水、草地、林地等8個類別。用戶檢索的時候，可以從圖像庫中選擇一幅圖像作為模板也可以直輸入一幅圖像作為模板。如果是用戶從數(shù)據(jù)庫中選擇的圖像，系統(tǒng)會根據(jù)該圖像中地物的類型、面積和每種地物的Gabor紋理特征，從數(shù)據(jù)庫中查找與其最接近的圖像集合。如果是用戶導入的圖像，系統(tǒng)會在線提取該圖像所包含的地物類型、面積，以及圖像的Gabor紋理特征，然后和圖像庫中的圖像進行相似性計算，尋找與其最接近的圖像序列。該方法利用了圖像視覺特征和對象語義信息，但是沒有考慮對象間的空間關(guān)系語義，為此，檢索精度仍有待提高。汪彥龍等人在《計算機工程技術(shù)與發(fā)展》2006年1月第16巻第1期"基于對象空間關(guān)系的圖像檢索方法研究"一文中提出了一種基于對象空間關(guān)系的圖像檢索方法。他們提出了用一個(Aj，f，啡四元組表示圖像中地物之間空間關(guān)系的方法，其中S表示對象之間的拓撲關(guān)系。x和尹分別表示兩對象在X軸和Y軸投影的間隔關(guān)系，9表示兩對象的角度關(guān)系。該方法首先提取圖像的空間關(guān)系特征，并用四元組進行表達和存儲，然后用空間關(guān)系的相似性表達兩圖像間的相似性。這種對象空間關(guān)系的表達方法對于背景單一，對象目標數(shù)目較少的常規(guī)圖像(普通多媒體、醫(yī)學圖像等)來說能取得不錯的檢索效果，但是不太適用于遙感圖像。這是因為遙感圖像和普通多媒體以及醫(yī)學圖像相比，地物類型多樣，分布非常復雜，相互之間的空間關(guān)系組合非常復雜，很難用以上的四元組方法描述清楚。為此，需要尋找更適合遙感圖像的空間關(guān)系表達、度量和檢索的方法。
發(fā)明內(nèi)容本發(fā)明的目的在于克服現(xiàn)有技術(shù)存在的缺陷，提出一種融合圖像視覺特征和空間語義特征的高分辨率遙感圖像檢索方法。該方法首先提取遙感圖像的視覺特征和對象語義、空間關(guān)系語義特征并存儲于關(guān)系數(shù)據(jù)庫中。而后根據(jù)圖像的對象語義特征進行檢索，得到粗檢索結(jié)果。然后從粗檢索結(jié)果中選擇模板圖像，根據(jù)模板圖像的視覺特征以及空間關(guān)系語義特征，對粗檢索結(jié)果進行進一步的檢索，返回在視覺特征以及空間語義特征上相似的圖像集合，完成檢索過程。該方法綜合利用了圖像的視覺特征以及空間對象語義、空間關(guān)系語義特征，為此能夠獲得較高的檢索精度。本發(fā)明方法的原理與基本步驟本發(fā)明的基本步驟包括兩個主要部分(l)離線數(shù)據(jù)準備步驟。它又包括<1>基于五叉樹的圖像分解與視覺特征提取；〈2〉基于四叉樹的圖像分解及SVM分類獲取空間對象語義、空間關(guān)系語義；<3>特征入庫3個步驟；(2)在線圖像檢索步驟。它又包括<1>語義粗檢索；<2>結(jié)合空間關(guān)系語義和視覺特征的精檢索兩個步驟。下面分別對發(fā)明中所使用的主要現(xiàn)有技術(shù)，包括圖像的四叉樹，五叉樹分解，圖像主成分變換(又稱為PCA變換)，Gabor紋理特征提取，SVM非線性圖像分類，直方圖相似性計算的基本原理進行介紹，并據(jù)此給出方法的詳細步驟。(l)圖像的四叉樹、五叉樹分解(也稱為四叉樹、五叉樹分塊)四叉樹分解四叉樹圖像分解方法(圖2)是一種圖像的自適應(yīng)分塊方法。它將圖像表示成一棵四叉樹，樹根就是原圖像本身。除葉節(jié)點外，樹中每個非葉節(jié)點均有4個子節(jié)點，分別對應(yīng)于原圖像(或子圖像)分解的4個次一級層次的子圖像(以下也稱其為圖像子塊，或子塊)。為保證圖像的分解效果同時減少分塊數(shù)，在分解圖像(NXN像元，其中N是2的整數(shù)次冪，不足的添0補足)之前，需要設(shè)定圖像塊的最小尺寸和其他不需要繼續(xù)分解的標準(如圖像塊內(nèi)灰度值方差的最小閾值)。四叉樹分解的結(jié)果可能包括多種不同尺寸(或稱尺度)的圖像子塊，創(chuàng)建的四叉樹的節(jié)點則代表各圖像子塊。進行四叉樹分解的具體過程如下第一步設(shè)定分解的最小塊尺寸參數(shù)，或塊內(nèi)灰度值方差閾值，并初始化樹。第二步將圖像分解成四個大小相同的圖像子塊，判斷每個圖像子塊是否達到不繼續(xù)分解的要求(如已達到最小尺寸，或塊內(nèi)灰度值方差小于閾值)。第三步如果某子塊達到不繼續(xù)分解的要求，對應(yīng)四叉樹上的節(jié)點就標為葉子節(jié)點；否則對應(yīng)四叉樹上的節(jié)點就標為非葉節(jié)點，轉(zhuǎn)到第二步，繼續(xù)對其進行分解。五叉樹分解五叉樹分解法(圖3)和四叉樹分解法過程類似，可以看作是在四叉樹分解的基礎(chǔ)上，增添了一個中央子塊。具體的分解過程為首先需將原圖像(NXN像元，其中N是2的整數(shù)次冪，不足的添0補足)分解成5個子塊；然后在進行下一層次的分解時，由于中央子塊(子塊4)的4個次一層次的子塊分別與其余4個子塊中的一個次一層次的子塊重合，因此，只需將除子圖像塊4(中央子塊)以外的4個子塊各分解為5個次一層次的子塊即可。以此類推，層層分解圖像，直至某一子塊尺寸小于等于mXm為止(m可以由用戶自己設(shè)定，默認值是16，對于高分辨率遙感圖像而言，反復試驗結(jié)果表明，m取16為好)。(2)圖像PCA變換遙感圖像與普通多媒體圖像一個重要區(qū)別就是遙感圖像一般具有多個波段。針對該特點，采用PCA對遙感圖像進行預處理，然后對第一主成分圖像進行特征提取。這樣就可以實現(xiàn)對任意波段數(shù)的圖像進行處理。圖像經(jīng)過PCA變換之后第一主成分集中了圖像90%以上的信息。以下稱第一主成分圖像為PCA圖像。PCA的主要原理如下對某一n個波段的多波段圖像實行一個線性變換，即對該多波段圖像組成的光譜空間X乘以一個線性變換矩陣A，產(chǎn)生一個新的光譜空間Y，即產(chǎn)生一幅新的n個波段的多波段圖像。其表達式為Y=AX(1)公式(1)中X為變換前多波段空間的像元矢量；Y為變換后多波段空間的像元矢量，也即多波段圖像；A為X的特征向量矩陣的轉(zhuǎn)置矩陣。然后我們提取Y的第一主成分圖像，作為PCA圖像。(3)圖像Gabor紋理特征提取本發(fā)明利用GABOR濾波方法提取圖像的紋理特征。我們采用的GABOR濾波器如下所示<formula>formulaseeoriginaldocumentpage7</formula>,))化、p:2)其中u代表了濾波器的尺度，v代表方向。如取I=^,"=0，1,2，『=■■■■■■■■■4，"V:2x0，1，2，3，則共有12個濾波模板。多通道Gabor紋理特征提取步驟如下1)利用以上12個濾波器模板和PCA圖像進行巻積操作，得到該圖像的每個像素的12個濾波輸出特征；2)計算經(jīng)五叉樹分解后各子圖像的12個濾波輸出特征值的均值和方差，作為該子圖像的紋理特征，為此共計24維紋理特征向量。(4)支撐向量機(SVM)圖像分類支持向量機(SupportVectorMachine,SVM)是一種處理非線性分類問題的有效工具。其基本思想可以概括為通過某種事先選擇的非線性映射函數(shù)將輸入空間向量x映射到高維特征空間Z，然后在這個新空間中求取最優(yōu)線性分類面實現(xiàn)分類的過程，而這種非線性映射是通過定義適當?shù)暮撕瘮?shù)實現(xiàn)的。目前，所使用的核函數(shù)有主要如下幾種(x，y代表向量)1.多項式形式核函數(shù)K(x，y)=[(x.y)+l]d(3)(ry)代表向量間的內(nèi)積運算，d為特征調(diào)節(jié)參數(shù)，d越大映射的維數(shù)越高，計算量也越大.2.高斯徑向基核函數(shù)I(:，力=exp[—、]參數(shù)o控制著基函數(shù)的作用半徑。3.指數(shù)徑向基核函數(shù)I(x，j)=exp[-:f]2cr(4):5)(6)隱層結(jié)點數(shù)是由算法自動確定的'4.Sigmoid核函數(shù)K(x，y)=tanh[scale(xy)-offset]這時SVM實現(xiàn)的就是包含一個隱層感知器，scale代表輸入節(jié)點的權(quán)值，offset是一個控制參數(shù)。本方法采用的核函數(shù)是高斯徑向基函數(shù)。(5)直方圖相似性計算本方法中，計算兩直方圖之間的相似度主要采用直方圖相交法，其基本原理如下令HQ和分別為圖像Q和圖像I的某一特征向量的頻數(shù)直方圖，則兩直方圖之間的相似性P(Q，I)可記為8尸(2,/》="^"z-其中L為直方圖的分級數(shù)。min[HQ(i)，H《i)]為兩直方圖對應(yīng)的區(qū)間頻數(shù)的較小值。融合空間關(guān)系語義的高分辨率遙感圖像檢索方法如圖4，該方法包括了兩個主要部分，分別稱之為遙感圖像的離線處理和遙感圖像的在線檢索(在線處理)。離線處理部分首先對一幅遙感圖像進行PCA變換，獲得PCA圖像，然后利用五叉樹分解法對其進行分解并提取圖像的視覺特征。接著對PCA圖像進行四叉樹分解以及SVM分類，然后對分類結(jié)果進行分類后處理(去除細小圖斑并創(chuàng)建圖斑間拓撲關(guān)系)，獲取圖像的對象語義以及對象之間的空間關(guān)系語義特征并將所有特征存入數(shù)據(jù)庫中。在線處理部分又主要包含兩個步驟。第一步是語義粗檢索，即通過用戶指定的語義信息遍歷圖像數(shù)據(jù)庫，將所有包含用戶指定類別的遙感圖像返回；第二步對粗檢索結(jié)果進行進一步檢索，從粗檢索步驟返回的圖像中選擇模板圖像，然后根據(jù)模板圖像的視覺特征以及其包含對象之間的空間關(guān)系特征為檢索依據(jù)，和粗檢索結(jié)果進行進一步的檢索匹配，得到最終檢索結(jié)果。各個步驟的詳細過程如下遙感圖像的離線處理(1)主成分變換對于一幅多波段圖像，采用PCA變換對圖像進行處理，獲取PCA圖像(第一主成分圖像)，然后對PCA圖像進行紋理、色調(diào)等視覺特征的提取。(2)基于五叉樹的圖像分解與視覺特征提取由于遙感圖像一般是大尺度的復雜圖像，遙感圖像檢索實際上是查詢模板影像和待查詢的目標影像局部區(qū)域之間的相似性匹配，這就決定了遙感圖像檢索任務(wù)大多是面向子圖像的檢索。因此，必須對待查詢的遙感圖像進行分塊處理(圖像分解)。為保證檢索精度，需要保證一定的分塊重疊率。如圖5所示，重疊率是指圖像經(jīng)過某級分塊后，從圖像中任意提取的與該級塊大小相同的一幅圖像(稱為興趣圖像)占所有該級塊面積的比率的最大值。圖5中，假設(shè)圖像尺寸為2LX2L，分成4個子塊1、2、3、4，M是一幅興趣圖像，M與原圖像左上點的橫向與縱向距離分別為x(x〈L/2)，y(y<L/2)，顯然M由子塊1覆蓋的面積最大，所以M的塊重疊率為(L-x)(L-x)/(LXL)X100%。五叉樹分解法能確保分塊重疊率50%100%，并且具有分解過程層次清晰、檢索算法簡單等特點。本方法中先對PCA圖像利用上述五叉樹分解法進行分塊。分塊之后，提取每個葉子節(jié)點圖像的視覺特征(顏色特征、紋理特征)。下面分別介紹這兩種特征的提取過程與使用方法。顏色特征提取與使用假設(shè)某圖像經(jīng)過分塊之后得到的子圖像大小為16X16像素，共計256個像元。計算這些像元灰度值的二階、三階矩。記為F。。lOT=(o，s)其中p=:IXj)9<formula>formulaseeoriginaldocumentpage10</formula>為子圖像的像元灰度的平均值，o為子圖像的所有像元灰度值的二階矩，S為子圖像所有像元灰度值的三階矩，圖像大小為nXn，此時n二16。用該二階、三階矩表征子圖像的顏色特征。對于一整幅影像，經(jīng)五叉樹分解，其顏色特征可以由所有葉節(jié)點圖像的顏色特征所構(gòu)成的顏色特征直方圖來描述。例如，一幅1024X1024的遙感圖像分解之后得到一系列葉節(jié)點圖像，以所有葉節(jié)點圖像的顏色特征來構(gòu)建整幅影像的顏色特征直方圖(如圖6就是某兩幅不同影像二階顏色矩生成的特征直方圖)，本方法顏色特征包括二階、三階顏色矩，所以顏色特征直方圖有2個。檢索的時候，用直方圖相交方法計算模板圖像和待檢索圖像二階、三階直方圖之間的相似性。該二階、三階特征相似性的平均值就是兩幅影像的顏色特征的相似性大小。紋理特征提取與使用本方法中紋理特征的提取是通過Gabor濾波器與圖像進行巻積，得到3個尺度4個方向共12維濾波輸出特征，然后分別計算該12維Gabor特征值的平均值和方差得到最后24維的特征向量，并用它們表征該圖像的紋理特征。同時，對于一整幅遙感圖像，經(jīng)五叉樹分解后，其紋理特征又可以由其所有葉節(jié)點圖像的紋理特征所組成的紋理特征直方圖來描述。檢索的時候，通過直方圖相交法考察兩幅圖像的24個紋理特征直方圖的相似性來評價它們的紋理相似性。(3)基于四叉樹的圖像分解以及SVM分類在本方法中，圖像空間語義特征是通過結(jié)合圖像四叉樹分塊、以及支撐向量機分類獲取的。遙感圖像的分類技術(shù)目前主要包括基于像素的分類和基于圖斑的分類(也稱為面向?qū)ο蟮姆诸惣夹g(shù))兩大類方法。基于像素的分類將像元孤立化分析，斑點噪聲難以消除。而面向?qū)ο蠓诸惣夹g(shù)把影像分解成內(nèi)部同質(zhì)均一的圖斑，然后進行分類。該類方法能夠使用的特征較多，比較適合高分辨率遙感圖像。但我們通過試驗發(fā)現(xiàn)，采用面向?qū)ο蠓诸惣夹g(shù)非常容易產(chǎn)生由于和周圍地物差異明顯，很難被歸類的細小圖斑，而這些圖斑會對后續(xù)空間關(guān)系的分析帶來嚴重影響。因此我們設(shè)計了一種不同的分類模式。我們首先對PCA圖像進行四叉樹分塊，再利用SVM對分塊后的葉節(jié)點圖像進行分類。這是和Li等人分類方法的明顯不同。具體過程如下第一步采用四叉樹分解法對PCA圖像進行圖像分解。設(shè)定最小尺度閾值和最小方差閾值，默認值為16和6.0。首先將PCA圖像分成四個大小相同的圖塊，如果各分塊的尺度值小于等于最小尺度閾值則不再分塊，對應(yīng)四叉樹的節(jié)點標記為葉子節(jié)點，否則計算塊內(nèi)像素灰度值的方差，如果小于等于最小方差閾值則不再分塊，對應(yīng)四叉樹的節(jié)點標記為葉子節(jié)點，否則對該子塊繼續(xù)分塊處理，對應(yīng)四叉樹的節(jié)點標記為非葉子節(jié)點。以上過程遞歸進行，直到每子塊均不能再分解。第二步SVM圖像分類。對PCA圖像進行四叉樹分解以后，我們利用SVM對分塊后的圖像進行分類。為SVM選擇高斯徑向基函數(shù)并進行樣本采集和SVM分類器訓練(所用特征為樣本的各個波段的灰度平均值)，而后遍歷四叉樹，求得葉節(jié)點圖像所對應(yīng)的原始圖像的各波段灰度均值，根據(jù)SVM訓練得到的分類模型，判斷該子塊所屬類別，完成分類過程。該過程可見示意圖(圖7)。第三步分類后處理。在進行圖像分類之后，得到由多種類型的圖斑所組成的分類圖。此時還需對其進行一定的后處理。主要目的是去除某些較小圖斑，而這些小圖斑會對地物之間的空間關(guān)系描述有干擾作用。其過程如下根據(jù)一定的面積閾值尋找所有的細小圖斑，遍歷所有相鄰的圖斑，如果與其相鄰的所有圖斑地物類型一致，則將該小圖斑的地物類型修改成其周圍圖斑類型。(4)特征入庫分別將提取的24維圖像的紋理特征和2維的圖像顏色特征經(jīng)過歸一化處理之后本方法采用的是極值歸一化(見公式9)。將各特征向量的值都映射到[O，l]區(qū)入庫。間。<formula>formulaseeoriginaldocumentpage11</formula>式中，V，表示歸一化后的向量值，V。M表示歸一化前的向量值，min(V。ld)、maX(V。ld)分別表示某一特征向量在數(shù)據(jù)庫中的最小值，最大值。對于語義特征，在對PCA圖像利用四叉樹分解和SVM分類以及分類處理之后，我們得到一張分類結(jié)果圖，該分類結(jié)果圖是由分類后的圖斑組成的。將PCA圖像經(jīng)五叉樹分解之后尺寸大于256X256的子圖像與該分類結(jié)果圖進行空間疊置，即可以得到每個子圖像所包含的分類圖斑信息。我們據(jù)此即可獲得該子圖像的空間對象語義。我們用一個二進制串來存儲該子圖像的對象語義信息。例如"01001"的意思就是代表該子圖像中包含了第2種和第5種地物類別。此外，為獲取該子圖像的空間關(guān)系語義特征，我們對分類的圖斑給予唯一標識(ID號)，并建立、存儲圖斑間的拓撲鄰接關(guān)系信息。例如，假設(shè)與某個圖斑相鄰的圖斑有兩個，其ID分別為35和78，則用一個字符串"35"8"來表示該圖斑的鄰居拓撲信此外，我們還存儲分類圖中每個圖斑占該子圖像的面積比(相對面積)供后續(xù)語義分析使用。在特征入庫階段，采用如下(表l、表2、表3)的庫、表結(jié)構(gòu)對視覺特征、語義特征進行存儲。在本方法中，服務(wù)于圖像檢索的特征庫主要包括視覺特征和語義特征，所以整個特征庫是由2張表組成的，分別存儲對應(yīng)的視覺特征和語義特征。表1圖像特征庫結(jié)構(gòu)及其說明<table>tableseeoriginaldocumentpage11</column></row><table>表2視覺特征表結(jié)構(gòu)(Imagelnfo)<table>tableseeoriginaldocumentpage12</column></row><table><table>tableseeoriginaldocumentpage13</column></row><table>遙感圖像的在線檢索，具體步驟為(1)基于對象語義的語義粗檢索第一步語義查詢。在本發(fā)明中，我們用一個字符串來表示圖像包含的對象語義信息。對應(yīng)著數(shù)據(jù)庫中Imagelnfo表中的semantic字段，該字段為一個長度為5的字符串，從左至右，分別代表"水體"、"人工地物"、"植被"、"裸地"、"云霧"。用l來表示包含，0表示不包含。例如假設(shè)表示某幅遙感圖像包含對象語義信息的字符串為"10101"，其物理含義就表示該圖像包含了"水體"、"植被"、"云霧"。如用戶從"水體"、"人工地物"、"植被"、"裸地"、"云霧"5種指定地物中選擇感興趣的地物類別。如選擇了"水體"、"人工地物"，那么他的查詢就轉(zhuǎn)換成一個查詢字符串"n***"，即包含水體和人工地物，其他地物類別任意，可包含也可不包含。第二步語義解析。根據(jù)用戶指定的對象語義信息遍歷圖像數(shù)據(jù)庫，進行字符串匹配，檢索出包含了用戶指定的對象語義信息(對象類別)的所有圖像。第三步結(jié)果顯示。返回結(jié)果列表，供用戶進行選擇和下一步精檢索。(2)基于空間關(guān)系語義和視覺特征的精檢索第一步選擇模板圖像。即根據(jù)步驟(l)粗檢索的結(jié)果，用戶從粗檢索出的所有圖像中選擇一幅圖像作為模板圖像。第二步視覺特征匹配。分別從數(shù)據(jù)庫中讀取模板圖像和數(shù)據(jù)庫中待匹配圖像的視覺特征(2維顏色特征以及24維紋理特征)，并建立對應(yīng)的直方圖。根據(jù)直方圖相交計算原理，計算兩幅圖像的視覺特征的相似性大小。圖6為兩幅遙感圖像二階矩的直方圖示意圖，根據(jù)公式(7)，利用直方圖相交方法可以獲取兩幅遙感圖像二階顏色矩的相似性，紋理特征的相似性也同樣采用公式(7)，利用直方圖相交方法進行計算。第三步空間關(guān)系語義匹配。通過SVM分類，我們已獲取了四叉樹中每個子塊的語義類別，且存儲了子塊內(nèi)的圖斑間鄰接關(guān)系，為此可以根據(jù)這些信息計算圖像之間的空間關(guān)系相似性。具體過程如下設(shè)定分類類別數(shù)，建立空間關(guān)系直方圖，其橫軸表示對象類別組合，縱軸表示面積累加值；對于每個待考察圖斑，獲取其對象類別，遍歷所有與其具有相鄰關(guān)系的圖斑，同樣獲取這些圖斑的類別信息；將相鄰圖斑的面積加到空間關(guān)系直方圖對應(yīng)對象類別組合的柱子上；依次考察每個圖斑，執(zhí)行上述操作；對所有圖斑遍歷一次，就可得到該圖像的空間關(guān)系直方圖；分別構(gòu)建模板圖像和待匹配圖像(即語義粗檢索結(jié)果返回的圖像集中的某幅圖像)所包含對象之間的空間關(guān)系直方圖，最后同樣利用直方圖相交方法計算兩者的空間關(guān)系的相似性。如圖9所示，因為事先預定義了影像一共被分為5類地物，分別用A、B、C、D、E表示。我們建立如圖9所示的空間關(guān)系直方圖，橫軸表示對象組合，縱軸表示面積(注意面積是指該圖斑占該圖像的相對面積，以下面積均指相對面積)的累加值。注意直方圖中"AB"柱代表A類和B類地物具有相鄰關(guān)系的面積統(tǒng)計，"BA"柱代表B類地物和A類相鄰的面積統(tǒng)計。在本方法中它們的物理含義不同。假設(shè)當前考察的某個圖斑(圖斑甲)對應(yīng)的對象語義信息為A，則遍歷所有與其具有相鄰關(guān)系的圖斑(該信息已經(jīng)用字符串存儲在數(shù)據(jù)庫中)，獲取這些圖斑的類別信息。例如，假定圖斑乙和圖斑甲相鄰，圖斑乙的類別為B類，則在直方圖的AB柱上加上一次圖斑甲的面積。同樣道理，如果圖斑甲還和類別為C的圖斑丙相鄰，則在AC柱上加上一次A的面積。依次考察每個圖斑，執(zhí)行上述操作，注意當考察對象為乙的時候，由于它和甲是相鄰的，為此需要在BA柱上加上一次圖斑乙的面積。對所有圖斑遍歷一次，就可得到該圖像的空間關(guān)系直方圖。分別構(gòu)建模板圖像和待匹配圖像(即語義粗檢索結(jié)果返回的圖像集中的某幅圖像)所包含地物對象之間的空間關(guān)系直方圖，最后同樣利用公式(7)，即直方圖相交方法計算兩者的空間關(guān)系的相似性。第四步綜合兩幅圖像的視覺相似性和空間關(guān)系相似性，用兩者的加權(quán)平均值(默認權(quán)重均為0.5)來表示兩幅圖像的綜合(視覺和語義)相似性大小，指定某個相似性閾值(默認0.6)，將語義粗檢索返回的結(jié)果圖像(即語義粗檢索結(jié)果)中與用戶選擇的模板圖像相似性大于該閾值的圖像返回，完成整個檢索過程。本發(fā)明方法具有以下優(yōu)點(1)融合了遙感圖像的視覺特征和語義特征，從某種程度上填補了一定的"語義鴻溝"。本方法通過構(gòu)建低層視覺特征和高層語義信息之間的聯(lián)系來獲取圖像的語義信息，從一定程度上客服了傳統(tǒng)的基于視覺特征檢索所面臨的"語義鴻溝"問題。從而提高了檢索的準確度。(2)檢索效率高。本方法的檢索有兩步，第一步進行語義粗檢索，然后再對粗檢索的結(jié)果進行更加進一步的檢索。這種方法能夠極大的縮小檢索的范圍，提高了檢索的效率。圖1:圖像語義層次模型圖2:圖像四叉樹分解過程示意圖圖3:圖像五叉樹分解模型示意圖圖4:方法流程圖圖5:圖像分解后子塊的重疊率示意圖圖6:兩張不同遙感圖像二階矩特征的直方圖，其中(a)是第一幅遙感圖像的二階矩直方圖；(b)是第二幅遙感圖像的二階矩直方圖圖7:基于四叉樹分解的SVM圖像分類。(a)原始圖像；(b)樣本采集示意圖；(C)圖像四叉樹分解；(d)分類結(jié)果圖8:分類結(jié)果處理前后示意圖，其中，(a)是初始分類結(jié)果(b)是進行了分類后處理的結(jié)果。圖9:空間關(guān)系直方圖具體實施例方式下面結(jié)合附圖和實施例，對本發(fā)明作進一步詳細說明。數(shù)據(jù)準備實驗數(shù)據(jù)為50幅大小為1024X1024的10米分辨率的SPOT-5圖像。該遙感圖像為多光譜圖像，具有4個波段。遙感圖像的離線處理部分(l)主成分變換對所有圖像進行PCA變換，獲取對應(yīng)的PCA圖像。15(2)基于五叉樹的圖像分解與視覺特征提取對PCA圖像進行五叉樹分解，將圖像分成一系列的子圖像。圖像分塊主要是有兩個目的，一是為了得到不同尺寸的遙感圖像和一定程度的影像重疊率。這些都是組成檢索的圖像數(shù)據(jù)庫的基礎(chǔ)。二是為了能夠?qū)D像分成葉節(jié)點圖像進行特征提取，各個大尺度的圖像特征都是由這些葉節(jié)點圖像的特征來描述。此外，由于分解后的子圖像如果太小，檢索價值不大，我們將所有尺寸大于等于256X256的子圖像作為檢索過程可返回的結(jié)果圖像。因此，實驗數(shù)據(jù)中每幅圖像可被分成25幅256X256的子圖像，5幅512X512的子圖像，因此，最后整個數(shù)據(jù)庫中包含50幅1024X1024子圖像、250幅512X512子圖像、1250幅256X256子圖像。顏色特征提取利用公式(8)分別計算分塊后生成的所有葉節(jié)點圖像像元灰度值的二階、三階矩作為子圖像的顏色特征。紋理特征提取利用二維Gabor濾波和PCA圖像進行巻積得到該圖像的12維紋理特征。計算分塊后生成的所有葉子節(jié)點對應(yīng)的子圖像的12維紋理特征的平均值、方差作為該子圖像的24維紋理特征。(3)基于四叉樹的圖像分解以及SVM分類用SVM對PCA圖像進行分類，分類的對象是是經(jīng)過四叉樹分解后的一系列葉子節(jié)點對應(yīng)的圖塊。詳細步驟如下第一步樣本采集。首先要進行的是樣本采集樣本，分別采集"水體"、"人工地物"、"植被"、"裸地"、"云霧"地物的樣本。第二步四叉樹分解。將原始圖像逐步分成小塊，操作的目標是將具有一致性的像素分到同一小塊中。第三步SVM分類。利用SVM支持向量機對分塊后的所有葉子節(jié)點子塊圖像進行分類。分類的對象是經(jīng)過四叉樹分塊之后生成的一系列的子圖像。經(jīng)過這步處理之后，我們就得到了該圖像所包含的對象語義信息。第四步分類后處理。如圖8(a)所示，經(jīng)過四叉樹分解以及SVM分類后，分類效果還并不那么令人滿意。我們發(fā)現(xiàn)中間有一些細小圖斑，如圖8(a)所示。為了去除細類似這樣的小圖斑以及獲取圖像中更加準確的對象空間關(guān)系，必須對分類結(jié)果進行后處理。首先要挑選出所有細小圖斑，這可以通過設(shè)定面積參數(shù)實現(xiàn)，當面積小于設(shè)定的參數(shù)就認為是細小圖斑(默認是四叉樹分解之后最小圖塊面積的2倍)，然后對這些細小圖斑遍歷其相鄰的所有圖斑，如果與這些小圖斑相鄰的圖斑的地物類型是一致的，則將該小圖斑的類型修改成與其相鄰圖斑一樣，完成合并過程。處理后的結(jié)果如圖8(b)所示。(4)特征入庫經(jīng)過上述4步處理之后，我們可以得到圖像的視覺特征和對象語義特征以及對象空間關(guān)系語義特征。對于圖像的視覺特征，我們利用公式(9)將這些特征進行歸一化處理，將各特征向量的值都映射到[O，l]區(qū)間。對于語義特征，我們分別將五叉樹分解之后尺寸大于256X256像素的子圖像與利用四叉樹分解和SVM分類后的結(jié)果圖像進行疊置，即可以得到這些子圖像所包含的對象語義信息。存儲的時候用一個字符串來表示，對應(yīng)著數(shù)據(jù)庫中Imagelnfo表中的16Semantic字段。假設(shè)某張子圖像該字段為"01001"，即代表該圖像中包含了第2種和第5種地物(該字符串從左至右分別代表水體、人工地物、植被、裸地、云霧，l表示包含，0表示不包含)。對于空間關(guān)系語義特征，我們存儲了圖像中每個對象占圖像的面積比以及每個對象中心的坐標的X，Y分別與圖像寬和長的比值以及和該對象具有相鄰關(guān)系的所有圖斑。用一個字符串記錄所有和某個圖斑相鄰的圖斑ID號，經(jīng)過四叉樹分解和SVM分類能夠得到一張分類結(jié)果圖像，該圖像中存儲的是一個個分類后的圖斑，每個圖斑對應(yīng)著一種地物。我們給每個圖斑一個ID號作為該圖斑的唯一標識。存儲圖像空間關(guān)系的時候，我們遍歷所有圖斑，假設(shè)與某個圖斑相鄰關(guān)系的圖斑ID分別為35和78，則用字符串"35*78*"來表示，即代表和該圖斑相鄰的ID號為35和78。遙感圖像的在線檢索部分(1)基于對象語義的語義粗檢索第一步語義查詢。用戶從"水體"、"人工地物"、"植被"、"裸地"、"云霧"5種地物中選擇感興趣的地物類別。本案例中我們選擇"水體"、"人工地物"、"裸地"三種地物。第二步語義解析。根據(jù)用戶選擇的地物信息，我們可以得知，用戶需要選擇的圖像是數(shù)據(jù)庫中Imagelnfo表中字段semantic為"11*1*"的圖像。由于在本方法中我們還設(shè)定了一個面積閾值參數(shù)和圖像尺寸閾值參數(shù)，即要求檢索的地物占圖像面積比的最小值，默認值O.Ol。也就是說，在本例中，要求檢索的"水體"、"人工地物"、"裸地"三種地物任何一種地物占圖像總面積的比例不能小于0.01。圖像尺寸閾值就是要求被檢索的圖像最小尺寸值，默認為512。即要求所有返回的圖像的長和寬都必須大于512。根據(jù)以上要求遍歷圖像數(shù)據(jù)庫，將所有符合要求的圖像返回。這個結(jié)果稱為語義檢索粗結(jié)果。第三步將結(jié)果返回，供用戶進行下一步檢索。(2)基于空間關(guān)系語義和視覺特征的精檢索第一步選擇模板圖像。所有包含了用戶選擇的"水體"、"人工地物"、"裸地"三種地物的圖像均已返回，它們被稱為語義粗檢索結(jié)果。用戶通過瀏覽此語義粗檢索結(jié)果，從中選擇一幅感興趣的圖像作為模板圖像進行進一步的檢索。第二步視覺特征匹配。分別從數(shù)據(jù)庫中讀取模板圖像和待匹配圖像(即語義粗檢索結(jié)果)的顏色和紋理視覺特征，建立類似于圖(6)的對應(yīng)的直方圖。根據(jù)直方圖相交原理，計算得到兩幅圖像的紋理特征和顏色特征的相似性大小。并利用權(quán)重值進行線性加權(quán)(公式10)，其結(jié)果就是查詢圖像Q與數(shù)據(jù)庫中圖像I的視覺特征相似性大小。S(Q，I)=WtextureStexture+WcolorScolor(10)公式(10)中，S(Q，I)就是兩幅遙感圖像的視覺特征的相似度，S^，和S。。i。r分別是兩幅圖像之間的紋理特征向量和顏色特征向量之間的相似度。Wtexture和W。。lOT分別為兩者的權(quán)重，可以由用戶手動輸入也可以利用默認值，W^，和W。。i。r的默認值分別為0.5、0.5。本案例中，使用默認值。第三步空間關(guān)系語義匹配，即建立模板圖像和待檢索圖像的空間關(guān)系特征直方圖，然后根據(jù)直方圖相交的原理來計算兩幅圖像的空間關(guān)系相似性。具體原理部分已17經(jīng)在前面給出。本案例中需要統(tǒng)計的空間關(guān)系具體為"水體和人工地物"、"水體和裸地"、"人工地物和水體"、"人工地物和裸地"、"裸地和水體"、"裸地和人工地物"。為此該直方圖有6個柱。分別遍歷模板圖像中的"水體"、"人工地物"、"裸地"三種地物的所有圖斑以及與其相鄰的所有圖斑，然后按方法詳細步驟中空間關(guān)系語義直方圖的構(gòu)建方法，累計各個柱的面積，完成直方圖構(gòu)建，并用直方圖相交法進行相似性判斷。第四步綜合兩幅圖像的視覺相似性和空間關(guān)系相似性，得到兩幅圖像的總體相似性大小。我們將視覺特征相似性和空間關(guān)系相似性進行加權(quán)求和，兩者的權(quán)重各為0.5，得到最后的總體相似性。然后我們將相似性大于0.6的所有圖像返回，完成檢索。權(quán)利要求融合空間關(guān)系語義的高分辨率遙感圖像檢索方法，包括遙感圖像的離線處理和遙感圖像的在線檢索兩部分；其中遙感圖像的離線處理，其步驟是(a)主成分變換將多波段圖像，采用PCA變換對圖像進行處理，獲取PCA圖像；(b)基于五叉樹的圖像分解與視覺特征提取對PCA圖像采用五叉樹分解法進行圖像分塊；分塊之后，提取每個葉子節(jié)點圖像的顏色特征、紋理特征；(c)基于四叉樹的圖像分解以及SVM分類首先對PCA圖像進行四叉樹分塊，再利用SVM對分塊后的葉節(jié)點圖像進行分類；具體過程如下第一步對PCA圖像采用四叉樹分解法進行圖像分解設(shè)定最小尺度閾值和最小方差閾值，默認值為16和6.0；首先將PCA圖像分成四個大小相同的圖塊，如果各分塊的尺度值小于等于最小尺度閾值則不再分塊，對應(yīng)四叉樹的節(jié)點標記為葉子節(jié)點，否則計算塊內(nèi)像素灰度值的方差，如果小于等于最小方差閾值則不再分塊，對應(yīng)四叉樹的節(jié)點標記為葉子節(jié)點，否則對該子塊繼續(xù)分塊處理，對應(yīng)四叉樹的節(jié)點標記為非葉子節(jié)點；以上過程遞歸進行，直到每子塊均不能再分解；第二步SVM圖像分類對PCA圖像進行四叉樹分解以后，利用SVM對分塊后的圖像進行分類；為SVM選擇高斯徑向基函數(shù)并進行樣本采集和SVM分類器訓練，而后遍歷四叉樹，求得葉節(jié)點圖像所對應(yīng)的原始圖像的各波段灰度均值，根據(jù)SVM訓練得到的分類模型，判斷該子塊所屬類別，完成分類過程；第三步分類后處理在進行圖像分類之后，得到由多種類型的圖斑所組成的分類圖，然后對分類圖進行后處理，即去除較小圖斑，其過程如下根據(jù)面積閾值尋找所有的細小圖斑，遍歷所有相鄰的圖斑，如果與其相鄰的所有圖斑地物類型一致，則將該小圖斑的地物類型修改成其周圍圖斑類型；(d)特征入庫分別將提取的24維圖像的紋理特征和2維的圖像顏色特征經(jīng)過歸一化處理之后入庫；所述歸一化處理為極值歸一化<mrow><msub><mi>V</mi><mi>new</mi></msub><mo>=</mo><mfrac><mrow><msub><mi>V</mi><mi>old</mi></msub><mo>-</mo><mi>min</mi><mrow><mo>(</mo><msub><mi>V</mi><mi>old</mi></msub><mo>)</mo></mrow></mrow><mrow><mi>max</mi><mrow><mo>(</mo><msub><mi>V</mi><mi>old</mi></msub><mo>)</mo></mrow><mo>-</mo><mi>min</mi><mrow><mo>(</mo><msub><mi>V</mi><mi>old</mi></msub><mo>)</mo></mrow></mrow></mfrac></mrow>式中，Vnew表示歸一化后的向量值，Vold表示歸一化前的向量值，min(Vold)、max(Vold)分別表示某一特征向量在數(shù)據(jù)庫中的最小值，最大值；通過上式將各特征向量的值都映射到區(qū)間；對于語義特征，對PCA圖像利用四叉樹分解和SVM分類以及分類處理之后，得到分類結(jié)果圖，該分類結(jié)果圖是由分類后的圖斑組成的；將PCA圖像經(jīng)五叉樹分解之后尺寸大于256×256的子圖像與該分類結(jié)果圖進行空間疊置，即可以得到每個子圖像所包含的分類圖斑信息；據(jù)此即可獲得該子圖像的空間對象語義；用一個二進制串來存儲該子圖像的對象語義信息；此外，為獲取該子圖像的空間關(guān)系語義特征，對分類的圖斑給予唯一標識，并建立、存儲圖斑間的拓撲鄰接關(guān)系信息；還存儲分類圖中每個圖斑占該子圖像的面積比供后續(xù)語義分析使用；在特征入庫階段，采用關(guān)系數(shù)據(jù)庫對視覺特征、語義特征進行存儲；遙感圖像的在線檢索，其步驟為(a)基于對象語義的語義粗檢索第一步語義查詢用一個字符串來表示圖像包含的對象語義信息；第二步語義解析根據(jù)用戶指定的對象語義信息遍歷圖像數(shù)據(jù)庫，進行字符串匹配，檢索出包含了用戶指定的對象類別的所有圖像；(b)基于空間關(guān)系語義和視覺特征的精檢索第一步選擇模板圖像，即從語義粗檢索出的所有圖像中選擇一幅圖像作為模板圖像；第二步視覺特征匹配分別從數(shù)據(jù)庫中讀取模板圖像和數(shù)據(jù)庫中待匹配圖像的視覺特征，建立對應(yīng)的直方圖；根據(jù)直方圖相交計算原理，計算兩幅圖像的視覺特征的相似性大小；第三步空間關(guān)系語義匹配通過SVM分類，已獲取了四叉樹中每個子塊的語義類別，且存儲了子塊內(nèi)的圖斑間鄰接關(guān)系，為此可以根據(jù)這些信息計算圖像之間的空間關(guān)系相似性；具體過程如下設(shè)定分類類別數(shù)，建立空間關(guān)系直方圖，其橫軸表示對象類別組合，縱軸表示面積累加值；對于每個待考察圖斑，獲取其對象類別，遍歷所有與其具有相鄰關(guān)系的圖斑，同樣獲取這些圖斑的類別信息；將相鄰圖斑的面積加到空間關(guān)系直方圖對應(yīng)對象類別組合的柱子上；依次考察每個圖斑，執(zhí)行上述操作；對所有圖斑遍歷一次，就可得到該圖像的空間關(guān)系直方圖；分別構(gòu)建模板圖像和待匹配圖像所包含對象之間的空間關(guān)系直方圖，最后同樣利用直方圖相交方法計算兩者的空間關(guān)系的相似性；第四步綜合兩幅圖像的視覺相似性和空間關(guān)系相似性，用兩者的加權(quán)平均值來表示兩幅圖像的綜合相似性大小，指定相似性閾值，將粗檢索結(jié)果中與用戶選擇的模板圖像相似性大于該閾值的圖像返回，完成整個檢索過程。2.根據(jù)權(quán)利要求1所述融合空間關(guān)系語義的高分辨率遙感圖像檢索方法，其特征是所述基于五叉樹的圖像分解與視覺特征提取，其中顏色特征提取過程為假設(shè)某圖像經(jīng)過分塊之后得到的子圖像大小為16X16像素，共計256個像元；計算這些像元灰度值的二階、三階矩，記為<formula>formulaseeoriginaldocumentpage3</formula>其中<formula>formulaseeoriginaldocumentpage3</formula><formula>formulaseeoriginaldocumentpage4</formula>P為子圖像的像元灰度的平均值，o為子圖像的所有像元灰度值的二階矩，s為子圖像所有像元灰度值的三階矩，圖像大小為nXn，此時11=16;用該二階、三階矩表征子圖像的顏色特征，對于一整幅影像，經(jīng)五叉樹分解，其顏色特征由所有葉節(jié)點圖像的顏色特征所構(gòu)成的顏色特征直方圖來描述；紋理特征提取通過Gabor濾波器與圖像進行巻積，得到3個尺度4個方向共12維濾波輸出特征，然后分別計算該12維Gabor特征值的平均值和方差得到最后24維的特征向量，并用它們表征該圖像的紋理特征；對于一整幅遙感圖像，經(jīng)五叉樹分解后，其紋理特征由其所有葉節(jié)點圖像的紋理特征所組成的紋理特征直方圖來描述。全文摘要本發(fā)明公開了一種融合空間關(guān)系語義的高分辨率遙感圖像檢索方法，它包括遙感圖像的離線處理和遙感圖像的在線檢索兩個部分。在離線處理部分，方法首先提取遙感圖像的視覺特征和空間對象語義、空間關(guān)系語義特征并存儲于關(guān)系數(shù)據(jù)庫中。在在線檢索部分，方法首先根據(jù)圖像的對象語義特征進行檢索，得到粗檢索結(jié)果。然后從粗檢索結(jié)果中選擇模板圖像，根據(jù)模板圖像的視覺特征以及空間關(guān)系語義特征，對粗檢索結(jié)果進行進一步的檢索，返回在視覺特征以及空間語義特征上和所選模板圖像相似的圖像集合，完成檢索過程。由于該方法綜合利用了圖像的視覺特征以及空間對象語義、空間關(guān)系語義特征，為此能夠獲得較高的檢索精度。文檔編號G06F17/30GK101692224SQ20091003245公開日2010年4月7日申請日期2009年7月8日優(yōu)先權(quán)日2009年7月8日發(fā)明者萬其明,汪閩申請人:南京師范大學