本發(fā)明屬于遙感圖像處理，更具體地，涉及一種輕量化的全信息交融和雙向?qū)нb感圖像變化檢測(cè)方法和裝置。

背景技術(shù)：

1、遙感圖像的變化檢測(cè)是對(duì)于城鎮(zhèn)建設(shè)、災(zāi)害評(píng)估、環(huán)境保護(hù)都有重要的意義。當(dāng)前的遙感圖像的變化檢測(cè)方法往往設(shè)計(jì)的過(guò)分復(fù)雜，導(dǎo)致模型參數(shù)量(params.)和計(jì)算復(fù)雜度(flops)?很高，阻礙了變化檢測(cè)的實(shí)際應(yīng)用。

技術(shù)實(shí)現(xiàn)思路

1、針對(duì)現(xiàn)有技術(shù)的以上缺陷或改進(jìn)需求，本發(fā)明提出了一種輕量化的全信息交融和雙向?qū)нb感圖像變化檢測(cè)方法和裝置，通過(guò)將創(chuàng)新設(shè)計(jì)的全信息交融模塊和雙向?qū)Р町惒东@模塊嵌入到輕量級(jí)的?lighter?中,排除偽變化干擾，識(shí)別多尺度、多形狀的真實(shí)變化區(qū)域，將?lighter成功應(yīng)用于遙感圖像分析領(lǐng)域。

2、為實(shí)現(xiàn)上述目的，按照本發(fā)明的一個(gè)方面，提供了一種輕量化的全信息交融和雙向?qū)нb感圖像變化檢測(cè)方法，包括：

3、將獲得的遙感圖像數(shù)據(jù)集輸入到構(gòu)建好的輕量化的全信息交融和雙向?qū)ЬW(wǎng)絡(luò)(lighter)中進(jìn)行訓(xùn)練，得到訓(xùn)練好的lighter并保存；

4、輸入待處理的遙感圖像，通過(guò)訓(xùn)練好的lighter進(jìn)行預(yù)測(cè)，得到雙時(shí)相變化預(yù)測(cè)圖。

5、在一些可選的實(shí)施方案中，所述獲得的遙感圖像數(shù)據(jù)集，包括：

6、構(gòu)建遙感圖像數(shù)據(jù)集采用了成對(duì)的雙時(shí)相圖像及其對(duì)應(yīng)的變化掩碼。為了確保數(shù)據(jù)集的一致性和可比性，每對(duì)雙時(shí)相圖像與其相應(yīng)的變化掩碼必須精確對(duì)應(yīng)，并且遵循統(tǒng)一的文件命名規(guī)范。這種對(duì)應(yīng)關(guān)系確保了在每一對(duì)圖像中，無(wú)論是變化區(qū)域還是穩(wěn)定區(qū)域，它們?cè)谙鄳?yīng)的變化掩碼中均展現(xiàn)出一致的幾何特征，包括大小、形狀和空間位置。此外，變化掩碼采用了二值化表示方法，其中變化區(qū)域的像素值被編碼為1或255，而未變化區(qū)域的像素值則被設(shè)定為0。

7、在一些可選的實(shí)施方案中，輕量化的全信息交融和雙向?qū)ЬW(wǎng)絡(luò)(lighter)中進(jìn)行訓(xùn)練，包括：

8、構(gòu)建lighter，將獲得的數(shù)據(jù)集輸入到lighter，設(shè)置每次迭代的批量大小、訓(xùn)練輪次對(duì)lighter進(jìn)行訓(xùn)練。

9、在一些可選的實(shí)施方案中，所述的構(gòu)建lighter，包括：權(quán)重共享的連體骨干、全信息交融模塊、雙向?qū)Р町惒东@模塊、解碼器和預(yù)測(cè)頭。

10、在一些可選的實(shí)施方案中，所述的權(quán)重共享的連體骨干，包括：參數(shù)共享的預(yù)訓(xùn)練的mobilenetv2?構(gòu)建的特征提取器，將一對(duì)雙時(shí)相遙感圖像輸入該結(jié)構(gòu)生成雙時(shí)特征、，之后將、輸入全信息交融模塊。

11、在一些可選的實(shí)施方案中，所述的全信息交融模塊，包括：雙時(shí)信息融合，層內(nèi)空間聚合和層間空間交互。

12、在一些可選的實(shí)施方案中，所述雙時(shí)信息融合，包括：對(duì)前兩個(gè)尺度的雙時(shí)特征進(jìn)行拼接和卷積后得到。對(duì)于高級(jí)雙時(shí)特征、?的時(shí)間注入，首先采用絕對(duì)值差提取其中豐富的語(yǔ)義差異信息?。之后將??輸入到坐標(biāo)注意(ca)[?基于時(shí)空增強(qiáng)和層間融合網(wǎng)絡(luò)的遙感圖像變化檢測(cè)spatiotemporal?enhancement?andinterlevel?fusion?network?for?remote?sensing?images?change?detection，ieeetransactions?on?geoscience?and?remote?sensing?(volume:?62)]后與、?相乘得到第一個(gè)尺度的全信息特征、?。最后，對(duì)、??同樣進(jìn)行拼接和?卷積后得到高級(jí)的?由以下公式(1)-(3)得到：

13、?????????????（1）

14、??????（2）

15、??????????（3）

16、在一些可選的實(shí)施方案中，所述的層內(nèi)空間聚合，包括：在不同的注意力頭中設(shè)置不同的層次空間聚合率。該方法只作用于在層間空間交互時(shí)的小尺度特征（即?和?)從而生成不同粒度的?k，v。由以下公式(4)得到：

17、??????(4)

18、公式(4)中的和表示不同粒度的鍵、值，也即第?j?個(gè)注意力頭中的鍵、值。表示在注意力的第?j?個(gè)頭中將聚合率設(shè)置為的層內(nèi)空間聚合，表示lsa需要處理的特征。和表示在注意力的第j個(gè)頭的線性投影參數(shù)。

19、在一些可選的實(shí)施方案中，所述的層間空間交互，包括：逐級(jí)的層級(jí)間空間交互得到另外兩種尺度的全信息特征由以下公式?(5)-(7)得到：

20、??????????????(5)

21、???????(6)

22、???????(7)

23、公式中的??所代表由第層的大尺度特征作為雙時(shí)查詢(xún)q和第層的小尺度特征（s）得到的多粒度健，和代表拼接特征，值、?進(jìn)行層間交互由以下公式?(8)得到：

24、???????????????????????????(8)

25、公式?(8)中表示經(jīng)過(guò)交互的特征，表示第?j?個(gè)注意力頭中的查詢(xún)，表示第?j?個(gè)注意力頭中的鍵的轉(zhuǎn)置，d表示維度。之后將??經(jīng)過(guò)拼接、線性投射得到全信息特征。將全信息特征通過(guò)可學(xué)習(xí)的參數(shù)調(diào)整后加入到大尺度特征、?中生成、?。

26、在一些可選的實(shí)施方案中，所述的雙向?qū)Р町惒东@模塊，包括：將兩種不同的輸入作為向?qū)В旱谝环N向?qū)菍⑼叨鹊娜畔⑻卣髌唇雍蠼?jīng)過(guò)卷積操作、批量歸一化和激活函數(shù)整合不同時(shí)間、空間位置的豐富信息得到的融合向?qū)?。另一種是計(jì)算同尺度的全信息特征的絕對(duì)差值得到差異向?qū)В町愑?jì)算能夠提供一種直接的、對(duì)比性的特征表示，使得模型在捕捉變化時(shí)更加敏感和精確。之后，進(jìn)行輕量化的重點(diǎn)信息提取。最終，經(jīng)過(guò)雙向?qū)Р町惒东@模塊后捕獲到三種尺度的精準(zhǔn)差異由以下公式?(9)-(11)得到：

27、???????????????(9)

28、???????????????(10)

29、????????????????(11)

30、上述公式(9)-公式(11)中，、、分別表示由差異向?qū)?生成的查詢(xún)、鍵的轉(zhuǎn)置、值，、、分別表示由融合向?qū)傻牟樵?xún)、鍵的轉(zhuǎn)置、值。表示softmax函數(shù)，表示可學(xué)習(xí)的參數(shù)，表示通道維度的拼接，表示的卷積層。

31、在一些可選的實(shí)施方案中，所述的解碼器和預(yù)測(cè)頭，包括：解碼器采用的是[change?detection?on?remote?sensing?images?using?dual-branch?multilevelintertemporal?network]中的解碼器，預(yù)測(cè)頭采用的是[remote?sensing?image?changedetection?with?transformers]中的預(yù)測(cè)頭，并無(wú)改動(dòng)，不再贅述兩者具體結(jié)構(gòu)。解碼器和預(yù)測(cè)頭對(duì)?進(jìn)行處理得到兩個(gè)預(yù)測(cè)、。需要注意的是，?僅在訓(xùn)練中作為深度監(jiān)督存在，有助于生成更準(zhǔn)確的變化地圖。

32、在一些可選的實(shí)施方案中，所述的得到訓(xùn)練好的lighter并保存，包括：經(jīng)過(guò)逐步迭代計(jì)算損失并更新網(wǎng)絡(luò)參數(shù)，完成網(wǎng)絡(luò)的訓(xùn)練并保存網(wǎng)絡(luò)的參數(shù)文件。

33、在一些可選的實(shí)施方案中，所述的通過(guò)訓(xùn)練好的lighter進(jìn)行預(yù)測(cè)，得到雙時(shí)相變化預(yù)測(cè)圖，將需要進(jìn)行變化檢測(cè)的雙時(shí)遙感圖像對(duì)處理為模型可以接收的分辨率大小后，輸入到訓(xùn)練好的lighter進(jìn)行預(yù)測(cè)得到雙時(shí)相變化預(yù)測(cè)圖，完成方法。

34、本發(fā)明的第二個(gè)方面涉及一種輕量化的全信息交融和雙向?qū)нb感圖像變化檢測(cè)裝置，包括存儲(chǔ)器和一個(gè)或多個(gè)處理器，所述存儲(chǔ)器中存儲(chǔ)有可執(zhí)行代碼，所述一個(gè)或多個(gè)處理器執(zhí)行所述可執(zhí)行代碼時(shí)，用于實(shí)現(xiàn)本發(fā)明的一種輕量化的全信息交融和雙向?qū)нb感圖像變化檢測(cè)方法。

35、本發(fā)明的第三個(gè)方面涉及一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有程序，該程序被處理器執(zhí)行時(shí)，實(shí)現(xiàn)本發(fā)明的一種輕量化的全信息交融和雙向?qū)нb感圖像變化檢測(cè)方法。

36、本發(fā)明的工作原理是：

37、本發(fā)明的核心工作原理是通過(guò)構(gòu)建一個(gè)輕量化的全信息交融和雙向?qū)ЬW(wǎng)(lighter)，來(lái)實(shí)現(xiàn)遙感圖像變化檢測(cè)。lighter網(wǎng)絡(luò)由權(quán)重共享的連體骨干、全信息交融模塊、雙向?qū)Р町惒东@模塊、解碼器和預(yù)測(cè)頭組成。首先，將雙時(shí)相遙感圖像輸入連體骨干，提取特征并輸入到全信息交融模塊，該模塊注入場(chǎng)景的動(dòng)態(tài)時(shí)間性質(zhì)、空間關(guān)系、細(xì)節(jié)和語(yǔ)義信息，增強(qiáng)了特征的多維信息。接著，雙向?qū)Р町惒东@模塊通過(guò)兩種向?qū)б圆煌暯墙档蛡巫兓母蓴_，以識(shí)別真實(shí)發(fā)生的變化區(qū)域。最后，解碼器和預(yù)測(cè)頭對(duì)提取的特征進(jìn)行解碼和預(yù)測(cè)，生成雙時(shí)相變化預(yù)測(cè)圖，完成遙感圖像的變化檢測(cè)。

38、本發(fā)明的優(yōu)點(diǎn)是：

39、本發(fā)明提出了一種輕量化的全信息交融和雙向?qū)ЬW(wǎng)絡(luò)(lighter)，通過(guò)極其輕量化的設(shè)計(jì)顯著提升了遙感圖像變化檢測(cè)的精度與性能。通過(guò)設(shè)計(jì)了一個(gè)全信息交融模塊，專(zhuān)注于在特征交互階段將多視角信息注入，從而將豐富語(yǔ)義作為線索推理形狀各異的變化。此外在差分采集階段提出了雙向?qū)Р町惒东@模塊，利用各向?qū)У莫?dú)特的信息相互指導(dǎo)從而減少偽變化的干擾。最后，我們的輕量級(jí)架構(gòu)僅需1.10m參數(shù)和2.01g?flops就能達(dá)到最先進(jìn)的性能。綜上所述，本發(fā)明不僅在理論上證實(shí)了深度學(xué)習(xí)技術(shù)在遙感圖像分析領(lǐng)域的顯著優(yōu)勢(shì)，而且在實(shí)際應(yīng)用層面也彰顯了其出色的性能和廣泛的適用性。