本發(fā)明屬于橋梁、公路裂縫識(shí)別，尤其涉及橋梁道路裂縫識(shí)別的改進(jìn)型語(yǔ)義分割網(wǎng)絡(luò)構(gòu)建方法及系統(tǒng)。

背景技術(shù)：

1、隨著交通事業(yè)的不斷發(fā)展，橋梁和道路的養(yǎng)護(hù)里程不斷增加，在通車之后，由于車輛荷載的作用以及各種自然環(huán)境條件的影響，使得橋梁和道路會(huì)出現(xiàn)各種損傷病害，從而導(dǎo)致其質(zhì)量下降，因此，病害檢測(cè)是橋梁、道路結(jié)構(gòu)養(yǎng)護(hù)的重要手段，而在眾多損傷當(dāng)中，裂縫的檢測(cè)往往是最困難的，裂縫是結(jié)構(gòu)嚴(yán)重?fù)p失的早期征兆，也是結(jié)構(gòu)健康評(píng)估和檢測(cè)的重要指標(biāo)，傳統(tǒng)的裂縫檢測(cè)通常依賴人工，但存在著勞動(dòng)工作大，耗時(shí)長(zhǎng)、影響交通等一系列缺點(diǎn)，目前也存在著一些基于圖像的自動(dòng)化檢測(cè)方法以及激光探地雷達(dá)監(jiān)測(cè)，但也存在著精度不高，且圖像背景復(fù)雜，難以識(shí)別出細(xì)小、邊緣模糊的裂縫。

2、隨著深度學(xué)習(xí)的不斷發(fā)展以及計(jì)算機(jī)算力的提升，逐漸衍生出了一批用于檢測(cè)裂縫的神經(jīng)網(wǎng)絡(luò)，2015年，fcn全卷積神經(jīng)網(wǎng)絡(luò)問(wèn)世，它將cnn中的全連接層替換為卷積層，從而能自由的接受輸入的圖片并輸出分割后的圖片，同年，u-net通過(guò)u型結(jié)構(gòu)以及引入跳躍連接在醫(yī)學(xué)圖像分割領(lǐng)域尤其受到青睞，為了提高網(wǎng)絡(luò)識(shí)別精度，u-net一系列變體應(yīng)運(yùn)而生，resunet通過(guò)引入殘差結(jié)構(gòu)，提高了識(shí)別精度，unet++通過(guò)增加編碼器和解碼器之間的跳躍連接，減少了特征傳輸過(guò)程中的損失，attation-unet通過(guò)在解碼器下采樣與卷積層添加通道注意力機(jī)制，從而使得網(wǎng)絡(luò)專注于裂縫連通區(qū)域處，減小了圖像噪聲，2017年，deeplabv2網(wǎng)絡(luò)被提出，該網(wǎng)絡(luò)引入了空洞卷積，增大了感受野，能夠有效的提取多尺度的信息，提升了分割的魯棒性，deelplabv3是deeplabv2的改進(jìn)型，引入了串聯(lián)和并聯(lián)的aspp模型，并引入xception替換卷積層，以提高多尺度特征的提取能力，這些經(jīng)典的網(wǎng)絡(luò)以及其變體成功地應(yīng)用到裂縫檢測(cè)當(dāng)中，大大降低了人工檢測(cè)所需要的時(shí)間，但裂縫往往是小條帶形狀，且裂縫邊緣微小，這些網(wǎng)絡(luò)雖然成功應(yīng)用，但對(duì)于結(jié)構(gòu)復(fù)雜的裂縫識(shí)別精度不高，往往需要人工進(jìn)行二檢，因此，設(shè)計(jì)一個(gè)魯棒性的語(yǔ)義分割網(wǎng)絡(luò)存在技術(shù)困難。

3、通過(guò)上述分析，現(xiàn)有技術(shù)存在的問(wèn)題及缺陷為：現(xiàn)有技術(shù)橋梁、公路裂縫圖像識(shí)別中，對(duì)于橋梁、公路裂縫分割的精度低，識(shí)別效果差。

技術(shù)實(shí)現(xiàn)思路

1、為克服相關(guān)技術(shù)中存在的問(wèn)題，本發(fā)明公開(kāi)實(shí)施例提供了橋梁道路裂縫識(shí)別的改進(jìn)型語(yǔ)義分割網(wǎng)絡(luò)構(gòu)建方法及系統(tǒng)，具體涉及一種識(shí)別橋梁、道路裂縫的新型語(yǔ)義分割網(wǎng)絡(luò)。

2、所述技術(shù)方案如下：橋梁道路裂縫識(shí)別的改進(jìn)型語(yǔ)義分割網(wǎng)絡(luò)構(gòu)建方法，通過(guò)改進(jìn)unet網(wǎng)絡(luò)中的卷積塊、下采樣層以及上采樣層，引入空間-通道注意力機(jī)制，保留unet網(wǎng)絡(luò)中的跳躍連接和u型結(jié)構(gòu)，構(gòu)建出改進(jìn)型語(yǔ)義分割網(wǎng)絡(luò)，進(jìn)行裂縫識(shí)別；具體包括以下步驟：

3、s101，pconv輕量化卷積重構(gòu)卷積層：將u-net的二維卷積中的用于特征提取的第二個(gè)卷積操作替換為pconv輕量化卷積，提高空間特征，通過(guò)控制變量，僅在改變卷積層的狀況下，提高unet網(wǎng)絡(luò)運(yùn)算速度；

4、s102，引入scsa空間-通道注意力機(jī)制：基于pconv輕量化卷積，針對(duì)裂縫邊緣部位出現(xiàn)的模糊，通過(guò)將通道注意力機(jī)制加入到u-net模型的下采樣、上采樣以及跳躍連接當(dāng)中，將不同層次之間的圖像特征信息結(jié)合起來(lái)，提高對(duì)裂縫的關(guān)注度；

5、s103，重構(gòu)下采樣層：在裂縫分割過(guò)程中，裂縫邊緣紋理的特征信息領(lǐng)域細(xì)小，引入scsa空間-通道注意力機(jī)制，采用hwd小波下采樣層替換最大池化層，提高u-net網(wǎng)絡(luò)對(duì)于裂縫邊緣、細(xì)紋處特征的保留；

6、s104，重構(gòu)上采樣層：引入scsa空間-通道注意力機(jī)制，利用新型的上采樣器dysample重構(gòu)上采樣層，構(gòu)建完成改進(jìn)型語(yǔ)義分割網(wǎng)絡(luò)構(gòu)建，基于改進(jìn)型語(yǔ)義分割網(wǎng)絡(luò)完成圖像分割，實(shí)現(xiàn)裂縫結(jié)構(gòu)恢復(fù)。

7、在步驟s101中，pconv輕量化卷積重構(gòu)卷積層，包括：

8、（1）將輸入特征圖進(jìn)行劃分，輸入特征圖通道數(shù)為32，提取8個(gè)通道數(shù)與卷積核進(jìn)行卷積，剩余24個(gè)通道上保持不變，并輸出8個(gè)通道的輸出特征圖像；

9、（2）將卷積操作輸出得到的8通道的特征圖與剩余的24個(gè)通道的輸入特征圖進(jìn)行拼接，從而獲得完整的卷積操作。

10、在步驟s102中，引入scsa空間-通道注意力機(jī)制，包括：

11、第一步，輸入尺寸為b×c×h×w大小的特征圖，運(yùn)用1d卷積對(duì)輸入特征圖沿著高度和寬度維度進(jìn)行分解，并對(duì)每一維應(yīng)用全局平均池化，通過(guò)spilt操作將特征圖進(jìn)行分解，從而得到兩個(gè)不同方向的4個(gè)子特征；

12、第二步，將兩個(gè)不同方向的4個(gè)子特征，分別輸入到卷積核為3、5、7、9的一維卷積當(dāng)中，進(jìn)行不同尺度的卷積操作，提取不同尺度的信息；

13、第三步，將提取的兩個(gè)不同方向的多尺度特征，分別進(jìn)行通道拼接，再進(jìn)行組內(nèi)歸一化，經(jīng)過(guò)sigmoid激活函數(shù)后，將兩個(gè)不同方向特征進(jìn)行融合，結(jié)合殘差結(jié)構(gòu)將輸入特征與輸出特征進(jìn)行特征融合，從而完成構(gòu)建smsa模塊；

14、第四步，將smsa模塊輸出的特征圖進(jìn)行全局平均池化，再進(jìn)行一個(gè)組的歸一化操作，保證每一個(gè)子特征的獨(dú)立性；

15、第五步，將歸一化后的特征圖分別與不同維度的1×1卷積核進(jìn)行卷積操作，獲得不同通道數(shù)的v、k、q特征圖像，并將v、k、q分別輸入到自注意力機(jī)制中進(jìn)行特征融合，獲得特征圖像后進(jìn)行全局平均池化以及sigmiod函數(shù)，與輸入特征圖融合，從而輸出最終的特征圖，完成scsa空間-通道注意力機(jī)制。

16、在步驟s103中，重構(gòu)下采樣層，包括：

17、第1步，輸入特征圖經(jīng)過(guò)haar小波變換模塊hwt，以降低特征圖的分辨率，同時(shí)保留特征圖所有信息，haar小波變換通過(guò)分解圖像高頻、低頻信息從而生成四個(gè)方向的細(xì)分分量，從而使得通道數(shù)變成了四倍，將部分信息從空間維度編碼到信道維度，從而獲得小波變換的特征圖；

18、第2步，將小波變換的特征圖傳入到特征學(xué)習(xí)模塊，該特征學(xué)習(xí)模塊由卷積層、激活函數(shù)以及批量歸一化組成，完成對(duì)于輸入圖像的尺寸的下采樣。

19、在步驟s104中，重構(gòu)上采樣層，包括：

20、（a）輸入尺寸為h×w×c的特征圖，通過(guò)生成動(dòng)態(tài)的權(quán)重因子s，從而輸出sh×sw×sc的特征圖，該特征圖的采樣集由權(quán)重因子s決定的，利用采樣點(diǎn)生成器，輸入特征由柵格采樣函數(shù)重新采樣，從而保證了該特征圖是動(dòng)態(tài)的，再與原特征圖進(jìn)行拼接從而輸出尺寸為sh×sw×c的特征圖，實(shí)現(xiàn)dysample上采樣；

21、（b）上采樣器提供兩種生成動(dòng)態(tài)的權(quán)重因子s的方法，輸出權(quán)重因子s。

22、步驟（b）中，兩種生成動(dòng)態(tài)的權(quán)重因子s的方法，包括：

23、第一種，將輸入的尺寸為h×w×c的特征圖到線性連接層，輸出尺寸為h×w×2gs2的特征圖，并縮小到原來(lái)的0.25倍，將縮小后的o特征圖作為偏置，并與g特征圖進(jìn)行拼接，從而輸出權(quán)重因子s；

24、第二種，對(duì)兩個(gè)尺寸為h×w×2gs2的特征圖，其中一個(gè)縮小到原來(lái)的0.5σ并與另一個(gè)尺寸為h×w×2gs2的特征圖進(jìn)行拼接，再進(jìn)行偏置，生成o特征圖與g特征圖進(jìn)行拼接從而生成權(quán)重因子s。

25、該方法還包括：

26、（1）裂縫圖像輸入，經(jīng)過(guò)doubleconv卷積層，用于提取特征信息，doubleconv由一個(gè)二維卷積和一個(gè)pconv、以及激活函數(shù)和bn層組成；

27、（2）經(jīng)過(guò)doubleconv卷積層輸出的特征圖，輸入到scsa注意力機(jī)制當(dāng)中，用于保留裂縫特征信息，輸出的特征層一部分輸入到hwd進(jìn)行下采樣，一部分保留經(jīng)過(guò)跳躍連接輸入到對(duì)應(yīng)層的解碼器當(dāng)中；

28、（3）特征圖經(jīng)過(guò)hwd小波下采樣后，通道數(shù)翻倍，尺寸縮小至原來(lái)的一半，doubleconv、scsa、hwd共同構(gòu)成編碼器的每一層，之后特征圖的輸入與輸出與上述步驟相同，經(jīng)歷過(guò)四層編碼器之后，完成對(duì)圖像信息的特征提取；

29、（4）完成信息提取過(guò)后的特征圖，有著小尺寸和高通道數(shù)的特性，在經(jīng)過(guò)dysample后，完成對(duì)特征圖尺寸的翻倍，通道數(shù)保持不變；

30、（5）經(jīng)過(guò)dysample輸出的特征圖，在經(jīng)過(guò)1×1的卷積層，完成通道數(shù)的壓縮，輸出的特征圖是原特征圖尺寸的兩倍，通道數(shù)的一半；

31、（6）經(jīng)過(guò)1×1的卷積層輸出的特征圖，將輸入到scsa注意力機(jī)制當(dāng)中，用于提取特征圖主干信息，特征圖尺寸和通道數(shù)均保持不變；

32、（7）經(jīng)過(guò)scsa輸出的特征圖，將輸入到doubleconv卷積層中，來(lái)完成特征的提取以及通道數(shù)的壓縮；

33、（8）經(jīng)過(guò)doubleconv的卷積層輸出的特征圖與最下層編碼器輸出的特征圖進(jìn)行通道拼接，兩個(gè)特征圖的尺寸和通道數(shù)均一致，經(jīng)過(guò)拼接之后，特征圖通道數(shù)翻倍，并輸入到上一層的解碼器當(dāng)中；

34、（9）每一層的解碼器由dysample、1×1conv、scsa以及doubleconv組成，在經(jīng)歷四次解碼器的尺寸和通道數(shù)還原之后便完成了圖像分割任務(wù)。

35、本發(fā)明的另一目的在于提供一種橋梁道路裂縫識(shí)別的改進(jìn)型語(yǔ)義分割網(wǎng)絡(luò)構(gòu)建系統(tǒng)，該系統(tǒng)實(shí)施橋梁道路裂縫識(shí)別的改進(jìn)型語(yǔ)義分割網(wǎng)絡(luò)構(gòu)建方法，該系統(tǒng)具體包括：

36、pconv輕量化卷積重構(gòu)卷積層模塊，用于將u-net的二維卷積中的用于特征提取的第二個(gè)卷積操作替換為pconv輕量化卷積，提高空間特征，通過(guò)控制變量，在僅改變卷積層的狀況下，提高unet網(wǎng)絡(luò)運(yùn)算速度；

37、引入scsa空間-通道注意力機(jī)制模塊，用于基于pconv輕量化卷積，針對(duì)裂縫邊緣部位出現(xiàn)的模糊，通過(guò)將通道注意力機(jī)制加入到u-net模型的下采樣、上采樣以及跳躍連接當(dāng)中，將不同層次之間的圖像特征信息結(jié)合起來(lái)，提高對(duì)裂縫的關(guān)注度；

38、重構(gòu)下采樣層模塊，用于針對(duì)在裂縫分割過(guò)程中，裂縫邊緣紋理的特征信息領(lǐng)域細(xì)小，基于引入scsa空間-通道注意力機(jī)制，采用hwd小波下采樣層替換最大池化層，提高u-net網(wǎng)絡(luò)對(duì)于裂縫邊緣、細(xì)紋處特征的保留；

39、重構(gòu)上采樣層模塊，用于基于引入scsa空間-通道注意力機(jī)制，利用新型的上采樣器dysample重構(gòu)上采樣層，構(gòu)建完成改進(jìn)型語(yǔ)義分割網(wǎng)絡(luò)構(gòu)建，基于改進(jìn)型語(yǔ)義分割網(wǎng)絡(luò)完成圖像分割，實(shí)現(xiàn)裂縫結(jié)構(gòu)恢復(fù)。

40、進(jìn)一步，該系統(tǒng)搭載在計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)可實(shí)現(xiàn)上述功能。

41、進(jìn)一步，該系統(tǒng)搭載在信息數(shù)據(jù)處理終端，所述信息數(shù)據(jù)處理終端用于實(shí)現(xiàn)于電子裝置上執(zhí)行時(shí)，提供用戶輸入接口以實(shí)施如上述功能

42、結(jié)合上述的所有技術(shù)方案，本發(fā)明所具備的有益效果為：

43、本發(fā)明以經(jīng)典的u-net網(wǎng)絡(luò)為基礎(chǔ)，通過(guò)引入輕量化的卷積來(lái)替換普通的二維卷積，并且在編碼器和解碼器以及跳躍連接中加入新型的通道-空間混合注意力機(jī)制，用于特征指導(dǎo)以及協(xié)同多個(gè)語(yǔ)義層之間的關(guān)系，將編碼器中的下采樣最大池化層替換為小波變換下采樣模塊，用于保留特征圖多樣性的同時(shí)降低圖像的像素，最后將編碼器中的轉(zhuǎn)置卷積上采樣層替換為新型的動(dòng)態(tài)上采樣器，用于恢復(fù)特征圖的分辨率，從而大幅度提高了網(wǎng)絡(luò)對(duì)于橋梁、公路裂縫分割的精度。

44、本發(fā)明分析了unet原模型整體架構(gòu)的老舊，對(duì)模型的上采樣和下采樣結(jié)構(gòu)進(jìn)行重構(gòu)且引入新型注意力機(jī)制，從而設(shè)計(jì)了一種泛化能力更強(qiáng)、精準(zhǔn)度更高的高度特化的裂縫語(yǔ)義分割網(wǎng)絡(luò)模型，在crack500、sdnet2018、cfd公開(kāi)數(shù)據(jù)集上，iou為73.3%，在f1達(dá)到了82.6%，遠(yuǎn)高于其他模型，適用對(duì)橋梁的路面、橋塔等橋體結(jié)構(gòu)上的裂縫進(jìn)行檢測(cè)。

45、本發(fā)明提供的高精度的裂縫識(shí)別模型能夠高效的識(shí)別道路、橋梁裂縫，從而降低維護(hù)成本，延長(zhǎng)使用壽命，提高基礎(chǔ)設(shè)施的安全性和可靠性，減少因突發(fā)性結(jié)構(gòu)故障導(dǎo)致的經(jīng)濟(jì)損失和人員傷亡。本發(fā)明通過(guò)對(duì)原模型的整體結(jié)構(gòu)進(jìn)行重構(gòu)，提升了裂縫檢測(cè)的精度和效率，解決了現(xiàn)有技術(shù)在復(fù)雜背景下識(shí)別能力不足的問(wèn)題，作為填補(bǔ)技術(shù)空白的方案，該技術(shù)有潛力推動(dòng)行業(yè)檢測(cè)標(biāo)準(zhǔn)的制定和完善。復(fù)雜的模型結(jié)構(gòu)通常被認(rèn)為能夠提供更高的精度，但也帶來(lái)了計(jì)算成本高、難以部署的問(wèn)題，該方案在保留原模型的主體架構(gòu)僅對(duì)其不同的結(jié)構(gòu)進(jìn)行改進(jìn)從而克服了模型復(fù)雜性偏見(jiàn)，且該模型通過(guò)引入注意力機(jī)制以及新型上下采樣模塊從而使該模型在不同的環(huán)境下都能表現(xiàn)出不錯(cuò)的性能，從而克服了環(huán)境適應(yīng)性偏見(jiàn)。