本發(fā)明涉及遙感圖像分類領(lǐng)域,特別是針對跨領(lǐng)域的大規(guī)模遙感圖像數(shù)據(jù)分類任務(wù)。具體而言,本發(fā)明提出了一種基于類中心一致性的深度域適配方法(clusterconsistency?domain?adaptation,簡稱ccda),用于提升模型對新遙感圖像數(shù)據(jù)的適應(yīng)能力。通過采用跨域類中心一致性準(zhǔn)則,本發(fā)明實(shí)現(xiàn)源域類中心和目標(biāo)域類中心的有效適配,提高算法在不同領(lǐng)域間的泛化能力和分類精度。
背景技術(shù):
1、遙感技術(shù)是通過衛(wèi)星、飛機(jī)或無人機(jī)等工具從遠(yuǎn)處收集和分析數(shù)據(jù)的技術(shù)手段。隨著國產(chǎn)衛(wèi)星技術(shù)和計算機(jī)視覺技術(shù)的發(fā)展,數(shù)據(jù)處理、成像和通信方面的進(jìn)步使其更加普及且更具成本效益。通過遙感技術(shù)獲得的遙感數(shù)據(jù)被廣泛應(yīng)用于智能交通、城市規(guī)劃、環(huán)境監(jiān)測等民用場景。
2、遙感圖像分類是遙感技術(shù)應(yīng)用的一個重要環(huán)節(jié)。該過程主要是根據(jù)地面物體電磁波輻射在遙感圖像上的光譜信息和空間信息,判斷識別地面物體的屬性,實(shí)現(xiàn)圖像的分類。遙感圖像分類不僅為目標(biāo)檢測與識別等其他應(yīng)用提供輔助信息,還可以獲取地表的各種信息,為地圖更新、災(zāi)害評估等提供重要的輔助支持。
3、然而,遙感圖像分類目前存在一些挑戰(zhàn)。由于不同類型衛(wèi)星生成的遙感圖像往往受到人為因素或自然因素的影響,如技術(shù)、傳感器、姿態(tài)視角、地形位置、大氣條件等,導(dǎo)致新數(shù)據(jù)與已標(biāo)注數(shù)據(jù)的數(shù)據(jù)分布不同(即數(shù)據(jù)漂移)。因此,在舊數(shù)據(jù)上訓(xùn)練的模型直接處理新的遙感圖像時性能表現(xiàn)不理想,而對大規(guī)模的新數(shù)據(jù)進(jìn)行人工標(biāo)注的過程既費(fèi)時又費(fèi)力。
4、在深度學(xué)習(xí)領(lǐng)域中,域自適應(yīng)(domain?adaptation,da)被認(rèn)為是解決上述問題的重要方法之一。域自適應(yīng)方法以有標(biāo)注的遙感圖像作為源域,以無標(biāo)記的遙感圖像為目標(biāo)域,在源域和目標(biāo)域之間建立一個共享的模型,通過算法實(shí)現(xiàn)源域到目標(biāo)域的遷移,從而提高模型的泛化能力和性能。這種方法已經(jīng)在遙感圖像分類中展示出顯著的潛力,能夠有效減少數(shù)據(jù)標(biāo)注工作量。
5、然而,實(shí)現(xiàn)遙感圖像分類的域自適應(yīng)方法也面臨一些挑戰(zhàn)。首先,現(xiàn)有的域自適應(yīng)方法在更精細(xì)的類別級別上實(shí)現(xiàn)特征分布的一致性仍然受到限制:即使特征抽取器經(jīng)過良好訓(xùn)練,可以給出源樣本和目標(biāo)樣本的領(lǐng)域不變特征,但特征和類別的聯(lián)合分布在數(shù)據(jù)域之間仍無法很好地對齊。其次,大多數(shù)域自適應(yīng)方法很少考慮遙感圖像類別不均衡問題,導(dǎo)致小類樣本的重要性被忽略。
6、為了緩解這些問題,本領(lǐng)域內(nèi)學(xué)者在以下文獻(xiàn)中給出了一些解決方法:[1]ganiny,ustinova?e,ajakan?h,et?al.domain-adversarial?training?of?neural?networks[j].journal?of?machine?learning?research,2016,17(59):1-35.[2]zhang?y,tang?h,jia?k,et?al.domain-symmetric?networks?for?adversarial?domain?adaptation[c],proceedings?of?the?ieee/cvf?conference?on?computer?vision?and?patternrecognition,2019,5031-5040.[3]tzeng?e,hoffman?j,saenko?k,et?al.adversarialdiscriminative?domain?adaptation[c],proceedings?of?the?ieee?conference?oncomputer?vision?and?pattern?recognition,2017,7167-7176.[4]prabhu?v,chandrasekaran?a,saenko?k,etal.active?domain?adaptation?via?clusteringuncertainty-weighted?embeddings[c],proceedings?of?the?ieee/cvf?internationalconference?on?computer?vision,2021,8505-8514.文獻(xiàn)[1]提出了基于對抗網(wǎng)絡(luò)的深度域適應(yīng)方法,模型domain-adversarial?neural?networks(簡稱dann)通過對抗神經(jīng)網(wǎng)絡(luò)聯(lián)合優(yōu)化底層特征。文獻(xiàn)[2]提出了domain?symmetric?networks(簡稱symnets)模型,在文獻(xiàn)[1]的基礎(chǔ)上針對類別不對齊問題,構(gòu)建了一個對稱的任務(wù)分類器結(jié)構(gòu),設(shè)計了兩級域混淆方案,通過學(xué)習(xí)兩個領(lǐng)域相對應(yīng)類別的域不變性特征以及兩個領(lǐng)域整體的域不變性特征。文獻(xiàn)[3]引入了一種基于固定比例的圖像混合(mixup)方法,模型bridging?domain?spacesfor?unsupervised?domain?adaptation(簡稱fixbi)通過多個增強(qiáng)的中間領(lǐng)域雙向匹配。文獻(xiàn)[4]基于樣本特征的熵值代表樣本的不確定性與域混淆程度進(jìn)行加權(quán)聚類,尋找模型不確定性和特征空間的多樣性之間的平衡。盡管這些方法在一定程度上緩解了問題,但仍存在以下挑戰(zhàn):
7、1.文獻(xiàn)[1]的方法對于類別和特征的對齊不夠精細(xì);
8、2.文獻(xiàn)[2]的方法仍存在對于小類樣本容易被忽略的問題;
9、3.文獻(xiàn)[3]的不同類別的圖像混合會產(chǎn)生不同程度的噪聲,降低訓(xùn)練的效率;
10、4.文獻(xiàn)[4]未充分利用特征的價值,方法只限于類內(nèi)信息約束,而缺乏類間約束。
11、為此,本發(fā)明提出了基于類中心一致性的遙感圖像深度域適應(yīng)的分類方法,以保持模型在已標(biāo)注遙感圖像分類任務(wù)中的準(zhǔn)確性,同時提高模型的泛化能力,增強(qiáng)其在新數(shù)據(jù)分類任務(wù)中的性能表現(xiàn)。通過引入跨域類中心一致性準(zhǔn)則,本發(fā)明有效地緩解現(xiàn)有方法在類別對齊和小類樣本處理方面的不足,提高遙感圖像分類識別性能。
技術(shù)實(shí)現(xiàn)思路
1、本發(fā)明要克服現(xiàn)有遙感圖像分類技術(shù)的上述缺點(diǎn),提供一種基于類中心一致性的遙感圖像深度域適配方法(cluster?consistency?domain?adaptation,簡稱ccda)。該方法以類中心一致性假設(shè)為前提,構(gòu)建跨域類中心,通過引導(dǎo)源域與目標(biāo)域共同學(xué)習(xí)同一特征分布,實(shí)現(xiàn)特征分布的對齊。該技術(shù)可廣泛應(yīng)用于遙感圖像分類系統(tǒng),用于標(biāo)注和分類新采集的遙感圖像,提升遙感圖像處理技術(shù)的完備性和遙感圖像的使用效率。本發(fā)明的技術(shù)創(chuàng)新描述如下:
2、a)跨域類內(nèi)樣本特征約束機(jī)制。本發(fā)明通過類中心聚合,引導(dǎo)同類別遙感圖像的特征分布聚合。具體來說,該機(jī)制利用類內(nèi)的局部信息,使得同類別樣本點(diǎn)相互靠近,減小類內(nèi)距離,從而提高模型在識別同類物體時的準(zhǔn)確性,增強(qiáng)遙感圖像分類的精度。
3、b)跨域類間樣本特征約束機(jī)制。本發(fā)明通過分離樣本點(diǎn)與最近異類別類中心的距離,有效約束類間樣本分布。該機(jī)制增強(qiáng)了不同類別間類中心的可分離性,從而提高模型在處理不同類別物體時的泛化能力和穩(wěn)定性。通過類間約束,模型能夠更好地識別和區(qū)分不同類別的遙感圖像。
4、c)構(gòu)建跨域類中心一致性準(zhǔn)則。本發(fā)明利用源域與目標(biāo)域共同學(xué)習(xí)跨域的類中心,以實(shí)現(xiàn)在特征分布上的更細(xì)致對齊。通過這種假設(shè),模型能夠在源域和目標(biāo)域之間建立更為一致的特征分布,達(dá)到更好的領(lǐng)域適應(yīng)效果。
5、d)基于目標(biāo)域偽標(biāo)簽估計的類中心更新策略。本發(fā)明利用網(wǎng)絡(luò)對目標(biāo)域新數(shù)據(jù)的預(yù)測結(jié)果生成偽標(biāo)簽,通過置信度篩選機(jī)制選取高置信度的樣本,更新類中心。該策略可以確保類中心更新的可靠性,還能動態(tài)調(diào)整類中心位置以適應(yīng)目標(biāo)域數(shù)據(jù)的分布,從而提高方法在目標(biāo)域數(shù)據(jù)上的分類精度和泛化能力。
6、為了便于更好的理解和描述,本發(fā)明制定統(tǒng)一的符號表示規(guī)則以及符號說明表,其中標(biāo)量用未加粗的小寫字母或大寫字母表示,如:x、x。向量用加粗的小寫字母表示,如:x。矩陣用加粗的大寫字母表示,如:x。如表1所示為本發(fā)明所涉及的符號說明。
7、
8、表1符號說明表
9、本發(fā)明基于深度神經(jīng)網(wǎng)絡(luò),采用跨域類中心一致性原則,提出了一種基于類中心一致性的遙感圖像深度域適配方法,簡稱ccda??偭鞒倘绺綀D1所示,具體步驟如下:
10、步驟一:構(gòu)建遙感圖像分類數(shù)據(jù)集。本步驟旨在獲取并構(gòu)建適用于領(lǐng)域適配遷移學(xué)習(xí)的源域和目標(biāo)域遙感圖像數(shù)據(jù)集。數(shù)據(jù)集構(gòu)建過程如附圖2所示。
11、1.1)獲取源域與目標(biāo)域的遙感數(shù)據(jù)。對于源域,收集現(xiàn)有公共的已標(biāo)記分類遙感圖像數(shù)據(jù)集作為源域數(shù)據(jù)來源,并加以常規(guī)整理。對于目標(biāo)域,數(shù)據(jù)使用傳感器獲取的新原始影像,通過超分技術(shù)增強(qiáng)和尺寸剪裁等數(shù)據(jù)預(yù)處理操作,獲得與源域圖像大小相同(每張圖像大小統(tǒng)一為3×224×224)的待分類目標(biāo)域圖像。最后,通過數(shù)據(jù)增強(qiáng)(包括翻轉(zhuǎn)、旋轉(zhuǎn)、縮放、裁剪等操作)對源域和目標(biāo)域進(jìn)行圖像增強(qiáng),以提高模型訓(xùn)練的穩(wěn)健性和泛化能力。
12、1.2)構(gòu)建ccda模型的訓(xùn)練數(shù)據(jù)集。利用收集到的遙感數(shù)據(jù),分別構(gòu)建源域和目標(biāo)域數(shù)據(jù)集。讀取待分類的源域數(shù)據(jù)和目標(biāo)域數(shù)據(jù),構(gòu)建源域數(shù)據(jù)集(包括遙感圖像與對應(yīng)標(biāo)簽),以及目標(biāo)域數(shù)據(jù)集(包括無標(biāo)簽遙感圖像),ns、nt分別為源域和目標(biāo)域的樣本規(guī)模。域適配學(xué)習(xí)任務(wù)假設(shè)源域數(shù)據(jù)集和目標(biāo)域數(shù)據(jù)集的類別數(shù)一致,類別數(shù)統(tǒng)一用符號k表示。
13、步驟二:提取遙感圖像的特征表達(dá)。本步驟使用預(yù)訓(xùn)練的殘差網(wǎng)絡(luò)提取圖像特征,獲取遙感圖像的有效特征表達(dá),特征提取網(wǎng)絡(luò)如附圖3所示。
14、本發(fā)明采用resnet50預(yù)訓(xùn)練網(wǎng)絡(luò)構(gòu)建特征提取網(wǎng)絡(luò)f(·;θf),網(wǎng)絡(luò)參數(shù)為θf。輸入rgb三通道的遙感圖像數(shù)據(jù)x,經(jīng)過多個殘差塊的卷積和池化,輸出遙感數(shù)據(jù)的初始特征表達(dá)x。
15、x=f(x;θf)??????(1)
16、其中,x的維度為:1×2048。
17、步驟三:特征映射至特征潛空間以及標(biāo)記空間。本步驟的功能是通過全連接神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)特征表達(dá)的潛空間構(gòu)建和標(biāo)記空間映射。
18、構(gòu)建雙層全連接神經(jīng)網(wǎng)絡(luò)c。第一層全連接層用于構(gòu)建特征表達(dá)的潛空間,其輸出維度設(shè)置為1×d(潛空間維度可根據(jù)圖像大小變動,此處d=256)。同時,后續(xù)將基于跨域類中心一致性準(zhǔn)則,利用潛空間特征學(xué)習(xí)源域與目標(biāo)域同類別的聯(lián)合分布跨域類中心。第二層用于將潛空間映射到標(biāo)記空間。通過兩層全連接層將特征表達(dá)整合,減少特征位置對分類結(jié)果的影響,提高模型擬合能力。全連接神經(jīng)網(wǎng)絡(luò)如附圖3所示,具體網(wǎng)絡(luò)構(gòu)建如下:
19、3.1)第1層全連接層(簡稱fc1層)輸入特征表達(dá)x,輸出特征表達(dá)z。
20、z=c(x;θfc1)??????(2)
21、其中,x為樣本的一維特征向量,其維度為1×2048,z為潛空間特征表達(dá),其維度為1×256,c(·;θcf1)表示fc1層網(wǎng)絡(luò)及其網(wǎng)絡(luò)參數(shù)θfc1。
22、3.2)第2層全連接層(簡稱fc2層)輸入潛空間特征表達(dá)z,輸出原始輸出值l(logits)。
23、l=c(z;θfc2)??????(3)
24、其中,c(·;θfc2)表示fc2層網(wǎng)絡(luò)及其網(wǎng)絡(luò)參數(shù)θfc2,l的維度為1×k。
25、3.3)激活函數(shù)輸入l,輸出預(yù)測類別分布p:
26、p=softmax(l)[p1,p2…pk,…pk]t,1≤k≤k?????(4)
27、其中,激活函數(shù)為softmax(·),p的維度為1×k,k為類別,pk為第k類別輸出。
28、步驟四:構(gòu)建類中心與跨域一致性準(zhǔn)則。本步驟旨在構(gòu)建源域和目標(biāo)域的跨域類中心m,輸出類中心矩陣,并建立跨域類中心的一致性準(zhǔn)則,使得源域與目標(biāo)域在統(tǒng)一的跨域類中心m上學(xué)習(xí)中心特征分布,從而約束各類別樣本。
29、4.1)生成類中心矩陣。本發(fā)明中假設(shè)每個類別擁有一個類中心,其代表該類別的特征分布中心。根據(jù)遙感數(shù)據(jù)集類別數(shù)k和潛空間維度d,構(gòu)建跨域類中心m,其初始參數(shù)通過隨機(jī)化生成,類中心矩陣的表達(dá)式為:
30、
31、其中,矩陣維度為k×d,mk為第k類別的類中心向量,mk1為該類別類中心向量的第一個特征值,mkd為該類別類中心向量的最后一個特征值。
32、4.2)構(gòu)建跨域類中心一致性。建立源域和目標(biāo)域之間的跨域類中心一致性準(zhǔn)則,確保特征分布對齊。如果源域和目標(biāo)域的類中心分布各自獨(dú)立,則缺乏高度關(guān)聯(lián)性,難以在特征維度上實(shí)現(xiàn)分布對齊。因此,本發(fā)明構(gòu)建跨域類中心一致性準(zhǔn)則——源域與目標(biāo)域同類別數(shù)據(jù)屬于風(fēng)格迥異但內(nèi)在本質(zhì)特征一致的數(shù)據(jù),其聯(lián)合特征分布可通過一組類中心特征向量表示。根據(jù)這一準(zhǔn)則,為保持源域與目標(biāo)域類中心分布一致,源域與目標(biāo)域的同一類別樣本共用一個類中心約束。
33、
34、源域與目標(biāo)域通過跨域類中心一致性準(zhǔn)則建立有效聯(lián)系,協(xié)同學(xué)習(xí)并優(yōu)化跨域類中心矩陣,提取潛在的類共享特征信息,從而實(shí)現(xiàn)跨域特征分布對齊。
35、4.3)基于小批量樣本進(jìn)行自動更新。由于特征潛空間的高維度距離計算和反向傳播的梯度計算問題,對整個目標(biāo)域數(shù)據(jù)集進(jìn)行統(tǒng)一更新是不合理的。因此,采用批次梯度訓(xùn)練更新類中心參數(shù)的方法,將類中心設(shè)為可訓(xùn)練參數(shù),按批次根據(jù)同類別樣本的訓(xùn)練損失梯度更新參數(shù),并以學(xué)習(xí)率β控制,防止離群樣本或錯誤標(biāo)記樣本對類中心造成較大波動。
36、
37、其中,對于第k類別,mk為當(dāng)前輪的類中心向量,m′k為更新后的類中心向量,β為更新學(xué)習(xí)率,為更新梯度。
38、步驟五:構(gòu)建源域有監(jiān)督分類損失。本步驟在源域上構(gòu)建有監(jiān)督的分類損失,確保模型在已標(biāo)注數(shù)據(jù)上的性能,同時提供良好的模型域適應(yīng)基礎(chǔ)。
39、首先,輸入源域樣本的真實(shí)標(biāo)簽和預(yù)測概率分布向量,計算源域的有監(jiān)督分類損失。良好的源域識別能力是域適應(yīng)的基礎(chǔ)。針對源域遙感圖像,ccda使用交叉熵?fù)p失作為源域有監(jiān)督分類損失函數(shù),即:
40、
41、其中,ns為源域樣本規(guī)模,k為總類別數(shù),為樣本第k個類別的真實(shí)分布,為其第k個類別的預(yù)測概率。
42、步驟六:篩選高置信度目標(biāo)域樣本與偽標(biāo)簽估計。本步驟旨在通過閾值篩選高置信度的目標(biāo)域樣本,采用有選擇地優(yōu)化類中心更新策略。
43、由于目標(biāo)域樣本類別未知,存在固有劣勢,因此本發(fā)明采用基于目標(biāo)域偽標(biāo)簽估計的類中心更新策略。首先,根據(jù)模型預(yù)測的概率分布為目標(biāo)域樣本分配偽標(biāo)簽,并設(shè)定置信度閾值,篩選出高置信度的目標(biāo)域樣本。具體來說,只有當(dāng)目標(biāo)域樣本的預(yù)測概率超過設(shè)定閾值時,才將該樣本納入高置信度目標(biāo)域樣本集,參與類中心的訓(xùn)練,即:
44、
45、其中,表示指示函數(shù),表示樣本的預(yù)測概率分布,表示其概率分布的最大值,τ為閾值。若樣本符合條件,則指示函數(shù)輸出1,否則輸出0。
46、同時符合條件樣本以預(yù)測概率最大的類別作為偽標(biāo)簽:
47、
48、目標(biāo)域通過篩選高置信度的目標(biāo)域樣本同源域樣本參與類中心訓(xùn)練,從而逐步增強(qiáng)模型泛化能力,實(shí)現(xiàn)特征對齊。
49、步驟七:構(gòu)建跨域類內(nèi)聚合損失。本發(fā)明基于類中心構(gòu)建跨域類內(nèi)聚合損失,以平方歐式距離度量樣本與其類中心的距離,引導(dǎo)同類別樣本聚攏,減小類內(nèi)距離,使得同一類別的特征更加緊致。源域和目標(biāo)域的同類樣本以類中心為參考進(jìn)行有效聚合,流程如附圖4所示。
50、7.1)構(gòu)建源域類內(nèi)聚合損失。源域樣本通過類中心聚合,引導(dǎo)源域同類別遙感圖像的特征分布聚合,使得源域同類別樣本點(diǎn)相互靠近,減小類內(nèi)距離,從而提高模型在識別同類物體時的準(zhǔn)確性。具體而言,源域樣本因其已標(biāo)記的優(yōu)點(diǎn),可通過樣本的真實(shí)標(biāo)簽定位該類別所屬的類中心,計算兩者歐式距離的平方和作為該樣本的跨域類內(nèi)聚合損失。源域的總跨域類內(nèi)聚合損失為:
51、
52、其中,ns為樣本規(guī)模,為樣本的特征表達(dá),為樣本真實(shí)標(biāo)簽,為所屬類中心向量。
53、7.2)構(gòu)建目標(biāo)域類內(nèi)聚合損失。目標(biāo)域樣本的跨域類內(nèi)聚合與源域一致,通過類中心聚合,引導(dǎo)目標(biāo)域同類別遙感圖像的特征分布聚合,使得目標(biāo)域同類別樣本點(diǎn)相互靠近,減小類內(nèi)距離。同時,基于跨域類中心一致性準(zhǔn)則,通過統(tǒng)一的類中心,分別引導(dǎo)目標(biāo)域與源域同類別的特征分布對齊,實(shí)現(xiàn)領(lǐng)域適應(yīng)。具體而言,輸入目標(biāo)域樣本使用前述方法篩選,并根據(jù)其偽標(biāo)簽定位所屬類中心,最后計算兩者歐式距離的平方和作為該樣本的跨域類內(nèi)聚合損失為:
54、
55、其中,nt為樣本規(guī)模,表示樣本的預(yù)測概率分布,為偽標(biāo)簽,為樣本的特征表示,mk為所屬類中心向量,表示式(9)指示函數(shù)。
56、通過源域和目標(biāo)域的類內(nèi)聚合損失,模型能夠更有效地約束同類別樣本的特征聚合,從而提升跨域適應(yīng)能力和分類性能??偪缬蝾悆?nèi)聚合損失為:
57、
58、步驟八:構(gòu)建跨域類間分離損失。本步驟基于類中心構(gòu)建跨域類間分離損失,旨在增加不同類別樣本之間的距離,增強(qiáng)類間可分離性。通過分離樣本點(diǎn)與最近異類別類中心的距離,有效約束類間樣本分布,從而提高模型在處理不同類時的泛化能力和穩(wěn)定性。流程如圖5所示。
59、8.1)構(gòu)建跨域類間分離度量。將基于類中心構(gòu)建樣本的跨域類間分離損失,樣本分離度量計算描述如下:
60、首先,計算樣本與其余類中心的距離,獲取樣本的最近異類別類中心,即
61、
62、其中,zi為樣本xi的潛空間特征表達(dá),yi為樣本標(biāo)簽(源域?yàn)檎鎸?shí)標(biāo)簽,目標(biāo)域?yàn)閭螛?biāo)簽),為最近異類別。根據(jù)式(14)計算樣本與所有類中心的距離,并得到最近異類別
63、然后,設(shè)置分離條件,樣本與所屬類中心的距離與邊緣值α之和應(yīng)小于樣本與最近異類別類中心的距離,即
64、
65、最后,根據(jù)分離條件,若需要分離樣本,則類中心分離損失為兩者的差值;反之,則該樣本的類中心分離損失為零,即
66、
67、其中,α為間隔參數(shù),zi為樣本xi的潛空間特征表達(dá),和分別為該樣本的類中心和最近異類別類中心。根據(jù)式(16),通過max(·)函數(shù)修正分離條件(15),確保需要分離樣本的差值大于0,而無需分離樣本的差值小于等于0。
68、8.2)構(gòu)建源域類間分離損失。依照步驟(8.1),構(gòu)建源域的樣本跨域類間分離損失,即
69、
70、其中,ns為源域樣本規(guī)模,max(·)函數(shù)取最大值,為源域樣本的潛空間特征表達(dá),為樣本真實(shí)標(biāo)簽,為所屬類中心向量,為最近異類別,為最近異類別類中心向量,α為間隔參數(shù)。
71、8.3)構(gòu)建目標(biāo)域類間分離損失。首先,使用前述方法篩選滿足閾值條件的目標(biāo)域樣本,并根據(jù)其偽標(biāo)簽定位所屬類中心。然后,依照步驟(8.1)的子流程(1),結(jié)合樣本偽標(biāo)簽和度量距離,獲取樣本的最近異類別,更新式(14):
72、
73、其中,為樣本的潛空間特征表達(dá),為該目標(biāo)域樣本偽標(biāo)簽,為樣本最近異類別。根據(jù)式(18),可得該樣本的分離對象:最近異類別;
74、最后,依照步驟(8.1)子流程,構(gòu)建目標(biāo)域跨域類間分離損失:
75、
76、其中,nt為樣本規(guī)模,表示指示函數(shù),max(·)函數(shù)取最大值,為所屬類中心向量,為最近異類別類中心向量,α為間隔參數(shù)。
77、綜上所述,構(gòu)建基于類中心構(gòu)建跨域類間分離損失,增加不同類別樣本之間的距離,增強(qiáng)類間可分離性,通過分離樣本點(diǎn)與最近異類別類中心的距離,有效約束類間樣本分布,從而提高模型在處理不同類別物體時的泛化能力和穩(wěn)定性??偪缬蝾愰g分離損失為:
78、
79、步驟九:構(gòu)建目標(biāo)域無監(jiān)督損失。本步驟旨在通過輸入目標(biāo)域的預(yù)測概率分布,計算目標(biāo)域的無監(jiān)督優(yōu)化損失。由于目標(biāo)域樣本的未標(biāo)記,為此,本發(fā)明將采用條件熵?fù)p失函數(shù)作為目標(biāo)域分類優(yōu)化的輔助損失函數(shù),使得不同類別的目標(biāo)域樣本之間實(shí)現(xiàn)低密度分離。目標(biāo)域無監(jiān)督損失描述如下:
80、
81、其中,nt為樣本規(guī)模,k為類別數(shù),為樣本的第k個類別的預(yù)測概率。通過最小化條件熵?fù)p失,可以有效減少目標(biāo)域樣本在特征空間中的不確定性,促使模型在目標(biāo)域上形成明確的分類邊界。同時,加速高置信度的目標(biāo)域樣本偽標(biāo)簽生成,從而對齊源域與目標(biāo)域特征分布,提升目標(biāo)域的分類性能。
82、步驟十:構(gòu)建ccda網(wǎng)絡(luò)框架與模型總體損失。本步驟描述了ccda網(wǎng)絡(luò)框架的具體組成及其功能,并詳細(xì)介紹了模型訓(xùn)練過程中的各個模塊和優(yōu)化方法,如附圖3所示,ccda網(wǎng)絡(luò)框架具體描述如:
83、10.1)特征提取網(wǎng)絡(luò)模塊:針對遙感圖像,ccda模型通過特征提取網(wǎng)絡(luò)f進(jìn)行多次卷積和池化操作,提取圖像特征,并獲取一維特征向量。
84、10.2)全連接神經(jīng)網(wǎng)絡(luò)模塊:利用全連接神經(jīng)網(wǎng)絡(luò)c的第一層fc1,構(gòu)建指定維度的特征潛空間,并在該維度下實(shí)現(xiàn)跨域類中心矩陣m的構(gòu)建,得到潛空間特征表達(dá)。通過跨域類中心一致性策略,實(shí)現(xiàn)特征整合和分布對齊。然后,通過全連接網(wǎng)絡(luò)c的第二層fc2以及softmax激活函數(shù),獲取樣本的原始輸出值和預(yù)測概率分布。
85、10.3)源域有監(jiān)督學(xué)習(xí)模塊:對源域樣本進(jìn)行有監(jiān)督學(xué)習(xí)訓(xùn)練,以交叉熵?fù)p失作為優(yōu)化目標(biāo)。
86、10.4)跨域類內(nèi)聚合模塊:建立聚合損失函數(shù),以類中心表示類別分布中心,并通過跨域類中心一致性準(zhǔn)則,構(gòu)建源域和目標(biāo)域的有效聯(lián)系。源域采用真實(shí)標(biāo)簽,目標(biāo)域采用偽標(biāo)簽估計策略,對雙域樣本進(jìn)行同類別特征聚合,實(shí)現(xiàn)域適應(yīng)并解決類別對齊。
87、10.5)跨域類間分離模塊:在樣本聚合的基礎(chǔ)上,建立分離損失函數(shù)。通過分離樣本與最近異類別類中心的距離,增強(qiáng)所有異類中心之間的距離,提高類別分離性,降低類別預(yù)測的不確定性。
88、10.6)目標(biāo)域無監(jiān)督優(yōu)化模塊:采用條件熵?fù)p失作為目標(biāo)域樣本的優(yōu)化目標(biāo)。通過該損失函數(shù),使得不同類別的目標(biāo)域樣本之間實(shí)現(xiàn)低密度分離。
89、10.7)模型損失優(yōu)化模塊:ccda模型的訓(xùn)練總體損失函數(shù)構(gòu)建如下:
90、
91、其中,λ1,λ2,λ3為超參數(shù),用于權(quán)衡各損失項,為式(8)的源域交叉熵?fù)p失,為式(13)的跨域類內(nèi)聚合損失,為式(20)的跨域類間分離損失,為以式(21)的目標(biāo)域條件熵?fù)p失。
92、根據(jù)計算的總優(yōu)化損失,使用梯度下降優(yōu)化算法對ccda模型進(jìn)行訓(xùn)練。具體而言,特征提取網(wǎng)絡(luò)f、全連接神經(jīng)網(wǎng)絡(luò)c以及跨域類中心m分別進(jìn)行參數(shù)調(diào)整。交叉熵?fù)p失和條件熵?fù)p失主要對網(wǎng)絡(luò)f和網(wǎng)絡(luò)c進(jìn)行優(yōu)化,而樣本的分離損失和聚合損失則對網(wǎng)絡(luò)f及跨域類中心m進(jìn)行優(yōu)化。
93、通過上述方式,根據(jù)損失函數(shù)(22),使用隨機(jī)梯度下降法訓(xùn)練模型,使模型能夠利用源域的有監(jiān)督信息遷移到目標(biāo)域,實(shí)現(xiàn)跨領(lǐng)域遙感圖像分類。
94、步驟十一:目標(biāo)域遙感圖像分類預(yù)測。本步驟將使用訓(xùn)練好的ccda模型對新采集的目標(biāo)域遙感圖像進(jìn)行分類。具體描述如下:
95、11.1)對于一個傳感器新獲取的待分類遙感圖像樣本x,將其輸入至訓(xùn)練好的ccda模型。首先,通過特征提取網(wǎng)絡(luò)f對樣本進(jìn)行特征映射,得到特征表達(dá)z=f(x;θf)。接著,將特征表達(dá)輸入全連接神經(jīng)網(wǎng)絡(luò)c,映射至標(biāo)記空間得到原始輸出值l=c(z;θc)。
96、11.2)應(yīng)用softmax激活函數(shù)對原始輸出值進(jìn)行處理,得到預(yù)測概率分布p=softmax(l)
97、11.3)取預(yù)測概率分布中概率最大的類別作為最終預(yù)測類別,即從而得到待分類遙感圖像的最終預(yù)測結(jié)果,遙感圖像分類的決策函數(shù)如下:
98、
99、本發(fā)明涉及遙感圖像分類領(lǐng)域,特別是針對大規(guī)模遙感圖像數(shù)據(jù)的跨領(lǐng)域分類任務(wù)。具體而言,本發(fā)明提出了一種基于類中心一致性的遙感圖像深度域適配方法,旨在提升遙感圖像數(shù)據(jù)在源域和目標(biāo)域之間的適應(yīng)能力。通過采用跨域類中心一致性準(zhǔn)則,本發(fā)明實(shí)現(xiàn)了源域類中心和目標(biāo)域類中心的有效適配,從而提高了算法在不同領(lǐng)域間的泛化能力和分類精度。
100、本發(fā)明的優(yōu)點(diǎn)是:
101、a)跨域類內(nèi)樣本特征約束機(jī)制。本發(fā)明通過類中心聚合,引導(dǎo)同類別遙感圖像的特征分布聚合。具體來說,該機(jī)制利用類內(nèi)的局部信息,使得同類別樣本點(diǎn)相互靠近,減小類內(nèi)距離,從而提高模型在識別同類物體時的準(zhǔn)確性,增強(qiáng)遙感圖像分類的精度。
102、b)跨域類間樣本特征約束機(jī)制。本發(fā)明通過分離樣本點(diǎn)與最近異類別類中心的距離,有效約束類間樣本分布。該機(jī)制增強(qiáng)了不同類別間類中心的可分離性,從而提高模型在處理不同類別物體時的泛化能力和穩(wěn)定性。通過類間約束,模型能夠更好地識別和區(qū)分不同類別的遙感圖像。
103、c)構(gòu)建類中心一致性。本發(fā)明利用源域與目標(biāo)域共同學(xué)習(xí)跨域類中心,以實(shí)現(xiàn)在特征分布上的更細(xì)致對齊。通過這種假設(shè),模型能夠在源域和目標(biāo)域之間建立更為一致的特征分布,達(dá)到更好的領(lǐng)域適應(yīng)效果。
104、d)基于目標(biāo)域偽標(biāo)簽估計的類中心更新策略。本發(fā)明利用網(wǎng)絡(luò)對目標(biāo)域新數(shù)據(jù)的預(yù)測結(jié)果生成偽標(biāo)簽,通過置信度篩選機(jī)制選取高置信度的樣本,更新類中心。該策略可以確保類中心更新的可靠性,還能動態(tài)調(diào)整類中心位置以適應(yīng)目標(biāo)域數(shù)據(jù)的分布,從而提高方法在目標(biāo)域數(shù)據(jù)上的分類精度和泛化能力。