本發(fā)明涉及深度學(xué)習(xí)，具體而言，涉及一種基于特征交互和場景-語義協(xié)同的礦山占地模型訓(xùn)練方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、當(dāng)前，利用大規(guī)模數(shù)據(jù)對(duì)各類模型進(jìn)行訓(xùn)練已成為有效的方法，能夠使模型學(xué)習(xí)到更泛化的特征表示。這種泛化特征對(duì)下游任務(wù)有益，可以幫助模型更好地理解輸入數(shù)據(jù)中的普遍模式，從而提升性能并緩解過擬合問題。通過在大規(guī)模數(shù)據(jù)上學(xué)習(xí)的通用特征，預(yù)訓(xùn)練模型在特定任務(wù)上表現(xiàn)更出色。

2、然而，訓(xùn)練模型在不同任務(wù)之間的遷移性能差異明顯，雖然利用大規(guī)模數(shù)據(jù)進(jìn)行訓(xùn)練可以幫助模型學(xué)習(xí)到泛化的特征表示，但由于不同訓(xùn)練任務(wù)之間的差異，導(dǎo)致模型在某些特定任務(wù)上表現(xiàn)不佳，實(shí)現(xiàn)遷移學(xué)習(xí)的效果受到限制，導(dǎo)致性能下降。例如，針對(duì)場景級(jí)分類預(yù)訓(xùn)練的模型通常在類似的分類任務(wù)上表現(xiàn)良好，因?yàn)檫@些模型學(xué)習(xí)到了對(duì)不同場景和物體的特征表示。然而，在像素級(jí)分割這樣的任務(wù)上，要求模型不僅理解場景中的不同類別，還需要對(duì)每個(gè)像素進(jìn)行分類，因此，面對(duì)礦山占地識(shí)別分類問題時(shí)，由于礦山通常具有復(fù)雜的形狀、紋理和顏色，使得模型會(huì)在像素級(jí)分割任務(wù)上表現(xiàn)不佳。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明解決的問題是如何提高現(xiàn)有模型在礦山占地任務(wù)中，面對(duì)不同任務(wù)的差異時(shí)的數(shù)據(jù)特征處理能力。

2、為解決上述問題，本發(fā)明提供一種基于特征交互和場景-語義協(xié)同的礦山占地模型訓(xùn)練方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)。

3、第一方面，本發(fā)明提供了一種基于特征交互和場景-語義協(xié)同的礦山占地模型訓(xùn)練方法，包括：

4、獲取場景分類數(shù)據(jù)集，其中，所述場景分類數(shù)據(jù)集包括多個(gè)遙感圖像；

5、將所述遙感圖像輸入初始訓(xùn)練模型，得到預(yù)測(cè)結(jié)果，根據(jù)所述預(yù)測(cè)結(jié)果得到損失值，通過所述損失值對(duì)所述初始訓(xùn)練模型進(jìn)行調(diào)優(yōu)，得到礦山占地模型；

6、其中，所述初始訓(xùn)練模型包括特征提取模塊和特征交互模塊，

7、通過所述特征提取模塊對(duì)所述遙感圖像進(jìn)行特征提取，得到淺層特征數(shù)據(jù)和深層特征數(shù)據(jù)；

8、通過所述特征交互模塊將所述淺層特征數(shù)據(jù)和所述深層特征數(shù)據(jù)，通過自注意力機(jī)制進(jìn)行任務(wù)交互處理，得到目標(biāo)特征數(shù)據(jù)，所述目標(biāo)特征數(shù)據(jù)用于得到所述預(yù)測(cè)結(jié)果。

9、可選地，所述獲取場景分類數(shù)據(jù)集，包括：

10、獲取當(dāng)前研究區(qū)影像和礦山細(xì)分類標(biāo)注數(shù)據(jù)，根據(jù)所述當(dāng)前研究區(qū)影像和礦山細(xì)分類標(biāo)注數(shù)據(jù)得到遙感多模態(tài)語義分割數(shù)據(jù)集；

11、將所述遙感多模態(tài)語義分割數(shù)據(jù)集進(jìn)行擴(kuò)充和標(biāo)簽轉(zhuǎn)換處理，得到所述場景分類數(shù)據(jù)集。

12、可選地，所述特征提取模塊包括多尺度注意力單元和金字塔池化單元，所述通過所述特征提取模塊對(duì)所述遙感圖像進(jìn)行特征提取，得到淺層特征數(shù)據(jù)和深層特征數(shù)據(jù)，包括：

13、對(duì)所述遙感圖像進(jìn)行特征提取，得到所述淺層特征數(shù)據(jù)；

14、將所述淺層特征數(shù)據(jù)分別輸入所述多尺度注意力單元和所述金字塔池化單元，得到第一深層特征和第二深層特征，其中，所述深層特征數(shù)據(jù)包括所述第一深層特征和所述第二深層特征。

15、可選地，所述特征交互模塊包括兩個(gè)任務(wù)查詢單元和多任務(wù)特征交互單元，所述通過所述特征交互模塊將所述淺層特征數(shù)據(jù)和所述深層特征數(shù)據(jù)，通過自注意力機(jī)制進(jìn)行任務(wù)交互處理，得到目標(biāo)特征數(shù)據(jù)，所述目標(biāo)特征數(shù)據(jù)用于得到所述預(yù)測(cè)結(jié)果，包括：

16、將所述第一深層特征和所述第二深層特征輸入所述多任務(wù)特征交互單元，通過自注意力機(jī)制進(jìn)行任務(wù)交互處理，得到第一深層數(shù)據(jù)和第二深層數(shù)據(jù)；

17、將所述淺層特征數(shù)據(jù)分別與所述第一深層數(shù)據(jù)和第二深層數(shù)據(jù)結(jié)合，各自輸入兩個(gè)所述任務(wù)查詢單元，進(jìn)行不同粒度任務(wù)的查詢處理，得到第一指定特征和第二指定特征，所述目標(biāo)特征數(shù)據(jù)包括所述第一指定特征和所述第二指定特征，所述目標(biāo)特征數(shù)據(jù)用于得到所述預(yù)測(cè)結(jié)果。

18、可選地，所述將所述第一深層特征和所述第二深層特征輸入所述多任務(wù)特征交互單元，通過自注意力機(jī)制進(jìn)行任務(wù)交互處理，得到第一深層數(shù)據(jù)和第二深層數(shù)據(jù)，包括：

19、將所述第一深層特征和所述第二深層特征進(jìn)行沿通道拼接處理后，進(jìn)行張量重塑處理和層歸一化處理，再通過多頭自注意力進(jìn)行任務(wù)交互整合，得到所述第一深層數(shù)據(jù)和所述第二深層數(shù)據(jù)。

20、可選地，所述不同粒度任務(wù)包括場景尺度任務(wù)和像素尺度任務(wù)，所述將所述淺層特征數(shù)據(jù)分別與所述第一深層數(shù)據(jù)和第二深層數(shù)據(jù)結(jié)合，各自輸入兩個(gè)所述任務(wù)查詢單元，進(jìn)行不同粒度任務(wù)的查詢處理，得到第一指定特征和第二指定特征，包括：

21、通過所述場景尺度任務(wù)，將所述淺層特征數(shù)據(jù)和所述第一深層數(shù)據(jù)進(jìn)行場景圖像分類，得到所述第一指定特征；

22、通過所述像素尺度任務(wù)，將所述淺層特征數(shù)據(jù)和所述第一深層數(shù)據(jù)進(jìn)行語義分割處理，得到所述第二指定特征。

23、可選地，所述根據(jù)所述預(yù)測(cè)結(jié)果得到損失值，通過所述損失值對(duì)所述初始訓(xùn)練模型進(jìn)行調(diào)優(yōu)，得到礦山占地模型，包括：

24、將所述預(yù)測(cè)結(jié)果與所述遙感圖像中的標(biāo)簽數(shù)據(jù)進(jìn)行損失計(jì)算，得到所述損失值，通過所述損失值對(duì)所述初始訓(xùn)練模型進(jìn)行調(diào)優(yōu)，得到所述礦山占地模型。

25、第二方面，本發(fā)明提供了一種基于特征交互和場景-語義協(xié)同的礦山占地模型訓(xùn)練裝置，包括：

26、獲取單元，用于獲取場景分類數(shù)據(jù)集，其中，所述場景分類數(shù)據(jù)集包括多個(gè)遙感圖像；

27、訓(xùn)練單元，用于將所述遙感圖像輸入初始訓(xùn)練模型，得到預(yù)測(cè)結(jié)果，根據(jù)所述預(yù)測(cè)結(jié)果得到損失值，通過所述損失值對(duì)所述初始訓(xùn)練模型進(jìn)行調(diào)優(yōu)，得到礦山占地模型；

28、其中，所述初始訓(xùn)練模型包括特征提取模塊和特征交互模塊，

29、通過所述特征提取模塊對(duì)所述遙感圖像進(jìn)行特征提取，得到淺層特征數(shù)據(jù)和深層特征數(shù)據(jù)；

30、通過所述特征交互模塊將所述淺層特征數(shù)據(jù)和所述深層特征數(shù)據(jù)，通過自注意力機(jī)制進(jìn)行任務(wù)交互處理，得到目標(biāo)特征數(shù)據(jù)，所述目標(biāo)特征數(shù)據(jù)用于得到所述預(yù)測(cè)結(jié)果。

31、第三方面，本發(fā)明提供了一種電子設(shè)備，包括存儲(chǔ)器和處理器；

32、所述存儲(chǔ)器，用于存儲(chǔ)計(jì)算機(jī)程序；

33、所述處理器，用于當(dāng)執(zhí)行所述計(jì)算機(jī)程序時(shí)，實(shí)現(xiàn)如第一方面所述的基于特征交互和場景-語義協(xié)同的礦山占地模型訓(xùn)練方法。

34、第四方面，本發(fā)明提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)程序，當(dāng)所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)，實(shí)現(xiàn)如第一方面所述的基于特征交互和場景-語義協(xié)同的礦山占地模型訓(xùn)練方法。

35、本發(fā)明的基于特征交互和場景-語義協(xié)同的礦山占地模型訓(xùn)練方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)的有益效果是：本發(fā)明的場景分類數(shù)據(jù)集包括多個(gè)遙感圖像，訓(xùn)練模型識(shí)別不同場景下的特征提供了豐富的場景信息和語義標(biāo)簽，將遙感圖像輸入初始訓(xùn)練模型進(jìn)行訓(xùn)練，可以獲得初始的特征表示和模型參數(shù)，為后續(xù)調(diào)優(yōu)和優(yōu)化奠定基礎(chǔ)。通過提取遙感圖像的淺層特征和深層特征，使模型能夠捕獲圖像的不同級(jí)別和抽象程度的特征信息；再通過自注意力機(jī)制對(duì)淺層和深層特征進(jìn)行交互處理，能夠有效地捕獲特征之間的依賴關(guān)系和語義信息，提高模型對(duì)不同場景級(jí)分類任務(wù)的的特征提取能力，本發(fā)明根據(jù)特征交互和場景-語義協(xié)同的訓(xùn)練方法，獲得的預(yù)測(cè)結(jié)果將包含更豐富的特征表示和更準(zhǔn)確的場景分類結(jié)果，以及根據(jù)預(yù)測(cè)結(jié)果得到的損失函數(shù)將更好地反映模型在場景分類任務(wù)中的訓(xùn)練效果，有助于精細(xì)調(diào)整模型參數(shù)和優(yōu)化模型性能。進(jìn)而解決了面對(duì)礦山占地識(shí)別分類問題時(shí)，由于礦山通常具有復(fù)雜的形狀、紋理和顏色，使得模型會(huì)在像素級(jí)分割任務(wù)上表現(xiàn)不佳的問題，本發(fā)明的訓(xùn)練方法使礦山占地模型更好地理解圖像內(nèi)容和語義關(guān)系，在面對(duì)礦山占地識(shí)別分類問題時(shí)，顯著提高了礦山占地模型學(xué)習(xí)能力和泛化能力，進(jìn)而提升模型在場景分類和礦山占地識(shí)別任務(wù)中的性能和精度。