本發(fā)明涉及道路病害目標(biāo)檢測，尤其是涉及一種基于尺度差異的道路病害檢測方法。

背景技術(shù)：

1、在道路維護(hù)與管理領(lǐng)域，道路病害的及時準(zhǔn)確檢測是保障交通安全、延長道路使用壽命的關(guān)鍵環(huán)節(jié)。然而，道路病害檢測面臨諸多挑戰(zhàn)，包括病害種類繁多、尺度差異顯著、以及復(fù)雜多變的道路環(huán)境干擾因素(如車輛遮擋、陰影干擾、光線變化等)。這些因素不僅增加了病害檢測的難度，也會降低檢測算法的魯棒性和準(zhǔn)確性。

2、當(dāng)前，基于深度學(xué)習(xí)的目標(biāo)檢測算法，尤其是yolov8等單階段目標(biāo)檢測算法，因其在速度和精度上的良好平衡而備受關(guān)注。yolov8通過其獨特的網(wǎng)絡(luò)架構(gòu)設(shè)計——包括輸入端圖像、主干特征提取網(wǎng)絡(luò)、頸部網(wǎng)絡(luò)以及頂部檢測網(wǎng)絡(luò)，實現(xiàn)了對整張圖片的高效預(yù)測。其機(jī)制在于將圖像劃分為s×s的網(wǎng)格，每個網(wǎng)格單元負(fù)責(zé)檢測其覆蓋區(qū)域內(nèi)的目標(biāo)，并生成帶有置信度的邊界框，進(jìn)而通過非極大值抑制算法去除冗余框，提升檢測質(zhì)量。yolov8基礎(chǔ)網(wǎng)絡(luò)結(jié)構(gòu)見圖1。

3、然而，在實際的道路病害檢測中，由于病害類別多樣且尺度差異顯著，小尺度目標(biāo)的特征在多次卷積和池化后易丟失，影響檢測精度。其次，復(fù)雜的道路環(huán)境干擾因素使得現(xiàn)有算法在泛化能力上表現(xiàn)不足，容易出現(xiàn)假陽性檢測或遺漏識別等問題，降低了病害檢測的可靠性。

技術(shù)實現(xiàn)思路

1、本發(fā)明的目的就是為了克服上述現(xiàn)有技術(shù)存在的缺陷而提供一種基于尺度差異的道路病害檢測方法，從模型復(fù)雜度高、當(dāng)前基準(zhǔn)網(wǎng)絡(luò)模型對淺層目標(biāo)信息和邊界信息提取不足等問題入手，針對道路病害在實際場景中呈現(xiàn)多尺度目標(biāo)特性的優(yōu)化設(shè)計開展深入研究，通過優(yōu)化訓(xùn)練措施、改進(jìn)網(wǎng)絡(luò)結(jié)構(gòu)從而提高模型的精準(zhǔn)率和召回率。

2、在構(gòu)思?xì)v程中，本發(fā)明聚焦于提升道路病害目標(biāo)檢測的準(zhǔn)確性，從優(yōu)化模型結(jié)構(gòu)、增強(qiáng)淺層及邊界信息提取能力、以及改進(jìn)數(shù)據(jù)預(yù)處理等方面入手，提出了一種基于尺度差異的道路病害檢測優(yōu)化方法，通過調(diào)整網(wǎng)絡(luò)架構(gòu)、優(yōu)化訓(xùn)練策略，旨在提高模型對多尺度目標(biāo)的識別能力，同時利用數(shù)據(jù)清洗、標(biāo)注及增強(qiáng)技術(shù)，如陰影弱化等預(yù)處理手段，減輕環(huán)境干擾對檢測結(jié)果的影響，從而全面提升道路病害目標(biāo)檢測的精準(zhǔn)率和召回率，為道路維護(hù)提供更加準(zhǔn)確可靠的病害信息。

3、本發(fā)明的目的可以通過以下技術(shù)方案來實現(xiàn)：

4、本發(fā)明提供一種基于尺度差異的道路病害檢測方法，包括以下步驟：

5、s1：獲取含有典型路面病害的瀝青路面圖像數(shù)據(jù)，對獲取的道路病害數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗、病害標(biāo)記，得到包含不同分辨率的路面病害圖像數(shù)據(jù)集，進(jìn)行數(shù)據(jù)預(yù)處理及增強(qiáng)；

6、s2：基于yolov8基礎(chǔ)網(wǎng)絡(luò)架構(gòu)構(gòu)建改進(jìn)的道路病害目標(biāo)檢測算法，其中包括：在模型主干特征提取網(wǎng)絡(luò)中對c2f模塊進(jìn)行網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化，將可變形卷積模塊dcnv3模塊替換原有卷積模塊，增加有效預(yù)測區(qū)域范圍，將fpn模塊的1×1卷積替換為3×3可變形卷積dcnv3模塊，增加模型對于特征的多尺度適應(yīng)能力，在yolov8基礎(chǔ)網(wǎng)絡(luò)架構(gòu)的頂部檢測網(wǎng)絡(luò)中設(shè)置多尺度檢測器并引入cbam模塊，用于優(yōu)化模型對于復(fù)雜干擾因素場景下目標(biāo)特征提取過程；

7、s3：部署模型測試環(huán)境，調(diào)整模型參數(shù)，以此適應(yīng)道路病害在圖像中的多樣性及其尺寸差異，將預(yù)處理后的圖像輸入到所搭建的網(wǎng)絡(luò)模型中進(jìn)行訓(xùn)練，獲取模型訓(xùn)練權(quán)重，最后進(jìn)行測試驗證；

8、s4：構(gòu)建性能評估指標(biāo)，并設(shè)立消融實驗來驗證可變形卷積模塊、cbam注意力機(jī)制以及小尺度檢測器對目標(biāo)檢測模型精度的有效性以及對模型精度的優(yōu)化，通過評估后的模型進(jìn)行道路病害檢測。

9、進(jìn)一步地，s1中，具體過程包括：

10、s1-1：獲取多個城市高速公路上的瀝青路面圖像，所述青路面圖像包含典型路面病害，對圖像進(jìn)行數(shù)據(jù)清洗，排除遮擋或模糊的圖像，確保圖像數(shù)據(jù)質(zhì)量，使用darklabel軟件對病害進(jìn)行精確標(biāo)記；

11、s1-2：對完成標(biāo)記的圖像數(shù)據(jù)集進(jìn)行預(yù)處理和增強(qiáng)，提高模型對不同條件下病害的識別能力，統(tǒng)一圖像分辨率并進(jìn)行歸一化處理，為模型訓(xùn)練準(zhǔn)備高質(zhì)量的數(shù)據(jù)集；

12、s1-3：將歸一化處理后的圖像數(shù)據(jù)劃分為訓(xùn)練集、驗證集、測試集。

13、進(jìn)一步地，s2中，具體過程包括：

14、s2-1：在yolov8模型主干特征提取網(wǎng)絡(luò)中對c2f模塊進(jìn)行網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化，將可變形卷積模塊dcnv3模塊替換原有卷積模塊，增加有效預(yù)測區(qū)域范圍，使用c2f模塊改進(jìn)后的cspdarknet53結(jié)構(gòu)作為模型的主干特征提取網(wǎng)絡(luò)增強(qiáng)特征的傳遞和融合效率；

15、s2-2：將所述yolov8模型中fpn模塊的1×1卷積替換為3×3可變形卷積dcnv3模塊；

16、s2-3：將所述yolov8模型頂部檢測網(wǎng)絡(luò)中設(shè)置包含大、中、小型以及微型的四種特征檢測器結(jié)構(gòu)；

17、s2-4：在所述yolov8模型頂部檢測網(wǎng)絡(luò)中引入cbam模塊，以此通過通道注意力機(jī)制判斷不同通道特征的重要程度，然后基于空間注意力機(jī)制進(jìn)一步細(xì)化突出目標(biāo)區(qū)域中的關(guān)鍵特征；

18、s2-5：采用目標(biāo)類別損失(losso)、置信度閾值損失(lossi)和邊界框預(yù)測回歸損失(lossc)作為損失函數(shù)，引入vfl損失函數(shù)作為目標(biāo)類別損失，eiou損失函數(shù)作為置信度閾值損失，dfl損失函數(shù)作為邊界框預(yù)測回歸損失。

19、進(jìn)一步地，s2-1中，具體過程包括：

20、在yolov8模型主干特征提取網(wǎng)絡(luò)中對c2f模塊進(jìn)行網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化，將可變形卷積模塊dcnv3模塊替換原有卷積模塊，增加有效預(yù)測區(qū)域范圍；

21、使用c2f模塊改進(jìn)后的cspdarknet53結(jié)構(gòu)作為模型的主干特征提取網(wǎng)絡(luò)增強(qiáng)特征的傳遞和融合效率；

22、所述可變形卷積結(jié)構(gòu)是常規(guī)正則卷積的改進(jìn)網(wǎng)絡(luò)結(jié)構(gòu)，當(dāng)給定輸入x∈rc×h×w，當(dāng)前為像素p0，表示為：

23、

24、式中，k為采樣點總數(shù)，k為采樣點個數(shù)，wk∈rc×c表示第k個采樣點的投影權(quán)值，mk∈r表示第k個采樣點的調(diào)制標(biāo)量，sigmoid函數(shù)歸一化后，用于調(diào)節(jié)該采樣點的權(quán)重，pk表示為在正則卷積中預(yù)定義網(wǎng)格采樣的第k個位置(-1，1)，(-1，0)，…，(0，+1)，…，(+1，+1)，δpk為第k個網(wǎng)格采樣位置對應(yīng)的偏移量，偏移量δpk能與短程或長程特征相互作用，采樣偏移量δpk和調(diào)制標(biāo)量mk均被x的約束；

25、所述可變形卷積將卷積權(quán)重分解為深度方向和點方向，深度方向部分負(fù)責(zé)調(diào)整原始位置感知的調(diào)制標(biāo)量mk，控制特征圖的不同通道，點方向部分則采用采樣點之間共享的投影權(quán)重w，減少模型的參數(shù)量，引入組卷積將空間聚集過程分為g組，每組具有獨立的采樣偏移量δpgk和調(diào)制尺度mgk，使模型在不同的表示子空間中學(xué)習(xí)更豐富的信息，并且每個組可以展現(xiàn)不同的空間聚集模式；

26、在c2f模塊中替換的dcnv3可表示為：

27、

28、式中，g為組卷積的組數(shù)，對于第g組，wg∈rc×c表示該組的位置無關(guān)投影權(quán)值，c＝c/g表示維數(shù)；mgk∈r表示第g組中第k個采樣點的調(diào)制標(biāo)量；xgk∈rc×h×w表示切片的輸入特征映射；δpgk為第g組網(wǎng)格采樣位置pk對應(yīng)的偏移量。

29、進(jìn)一步地，s2-2中，具體過程包括：

30、在yolov8模型頸部網(wǎng)絡(luò)中的特征金字塔模塊通過融合不同尺度的特征來提高小目標(biāo)物體的檢測性能，使用3×3的可變形卷積dcnv3模塊替換fpn中的融合節(jié)點及上采樣過程中的標(biāo)準(zhǔn)卷積，增加模型對于特征的多尺度適應(yīng)能力，在融合高級特征圖與低級特征圖時能更準(zhǔn)確地捕捉和保留丟失一些淺層和邊界信息；

31、在改進(jìn)的fpn結(jié)構(gòu)中，輸入特征映射被設(shè)置為r3、r4和r5，輸出特征映射則為f3、f4、f5、f6和f7，輸出特征映射的計算公式為：

32、

33、其中ri表示每層網(wǎng)絡(luò)的特征圖輸出，表示卷積后的特征圖輸出，fi表示特征金字塔模塊的特征圖輸出，ti為特征融合處理函數(shù)，整合來自不同層的特征并產(chǎn)生輸出特征映射，ci為應(yīng)用于特征圖的3×3卷積操作。

34、進(jìn)一步地，s2-3中，具體過程包括：

35、在yolov8模型頂部檢測網(wǎng)絡(luò)中設(shè)計包含大、中、小型以及微型的四種特征檢測器結(jié)構(gòu)，多尺度檢測器使模型有效識別和定位不同尺度的目標(biāo)，增強(qiáng)了模型對小尺度目標(biāo)檢測的適用性。

36、進(jìn)一步地，s2-4中，所述cbam模塊包括通道注意力(cam)和空間注意力(sam)，沿著通道和空間順序兩個獨立維度推斷注意力映射，并將注意力映射乘以自適應(yīng)特征細(xì)化的輸入特征映射，卷積層輸出的結(jié)果先通過通道注意力(cam)關(guān)注到有意義的病害特征，輸入圖像通過使用卷積層傳輸?shù)教卣骶仃?，得到的特征矩陣的通道?shù)與核數(shù)相同，核數(shù)的值為1024或2048；

37、所述cbam模塊同時利用了最大池化和平均池化來調(diào)整特征映射中各個通道的權(quán)重；

38、空間注意力(sam)用于提取重要物體的定位信息，平均池化和最大池化操作都用于計算沿通道軸的空間注意力，沿通道維度連接，經(jīng)空間注意力(sam)關(guān)注到網(wǎng)絡(luò)中最重要的病害部位進(jìn)行處理；

39、cbam模塊中處理輸入特征圖f的計算公式如下：

40、

41、其中，f為輸入特征圖，mc為通道注意力圖，f'為特征圖與通道注意力圖相乘的結(jié)果，ms為空間注意力圖，f”為細(xì)化輸出的結(jié)果；

42、通道注意力(cam)利用特征的通道間關(guān)系生成通道注意力圖，通過全局平均池化和最大池化操作壓縮特征圖以減少數(shù)據(jù)丟失，每個通道都被視為一個獨立的特征檢測器響應(yīng)輸入；

43、空間注意力(sam)基于特征空間關(guān)系生成空間注意力圖，著重于特征的位置信息，其更關(guān)注圖像中特征的具體位置，能夠突出空間上重要的特征區(qū)域。

44、進(jìn)一步地，s2-5中，損失函數(shù)的具體計算式為：

45、loss＝a*leiou+b*dfl+c*vfl

46、a為xx，b為xx，c為xx；

47、dfl損失函數(shù)計算公式如下：

48、

49、其中si表示sigmod函數(shù)輸出，y是標(biāo)簽值；

50、vfl損失函數(shù)具體如下式所示：

51、

52、其中q為預(yù)測標(biāo)簽，p為真實標(biāo)簽；

53、邊界框預(yù)測損失選用eiou，考慮了預(yù)測邊界框和真實邊界框的重疊面積、中心點距離、橫縱比、寬高尺寸損失、收斂速度和精度，提高目標(biāo)檢測任務(wù)中邊界框定位的準(zhǔn)確性，計算公式所如下：

54、

55、其中，b和bgt代表邊界框和真實框，b和bgt代表邊界框和真實框的中心點，ρ代表兩個中心計算點的歐式距離，c代表能夠同時包含預(yù)測框和真實框的最小閉包區(qū)域的對角線距離，w和h代表邊界框的長和寬，wgt和hgt代表真實框的長和寬，cw和ch是最小外接框的寬度和高度。

56、進(jìn)一步地，s3中，具體過程包括：

57、在操作系統(tǒng)中搭建了基于pytorch的深度學(xué)習(xí)建模環(huán)境，設(shè)置包括學(xué)習(xí)率為0.01，batch?size為64，訓(xùn)練周期(epoch)為300，針對道路病害檢測，模型輸入圖像尺寸為640x640；

58、為適應(yīng)病害多樣性和尺寸差異，調(diào)整了關(guān)鍵檢測參數(shù)：置信度閾值設(shè)為0.4以提高召回率，nms閾值同樣設(shè)為0.4以減少冗余檢測，目標(biāo)框縮放值設(shè)為0.6以適應(yīng)病害特征，確保有效識別。

59、進(jìn)一步地，s4中，構(gòu)建性能評估指標(biāo)的具體過程包括：

60、引入的主要評價指標(biāo)包括召回率(recall)、準(zhǔn)確率(precision)和平均準(zhǔn)確率(map，average?precision)、f1分?jǐn)?shù)(f1-score)以及每秒處理幀數(shù)(frame?per?second，fps)評價算法性能的優(yōu)劣，引入交并比(intersection?over?union)評價檢測框準(zhǔn)確度，預(yù)測樣本可能會出現(xiàn)的四種情況：將真標(biāo)簽預(yù)測為真、將真標(biāo)簽預(yù)測為假、將假標(biāo)簽預(yù)測為真、將假標(biāo)簽預(yù)測為假；

61、準(zhǔn)確率(precision)分別為：

62、

63、其中，tp：被分為正樣本，并且正確的部分；

64、fp：被分為正樣本，并且錯誤的部分；

65、召回率計算公式如下：

66、

67、其中，fn：被分為負(fù)樣本，并且錯誤的部分；

68、模型訓(xùn)練結(jié)束后選取合適閾值分類數(shù)據(jù)集中的樣本并計算出精準(zhǔn)率和召回率，通過繪制不同閾值下的精確度(precision)和召回率(recall)來繪制p-r曲線，共同評估模型的道路病害檢測性能，其值越高表示模型的綜合檢測能力越強(qiáng)；

69、map計算公式如下：

70、

71、多個模型的pr曲線交叉時難以判斷優(yōu)劣，通過精確率和召回率計算得到f1-score來評判模型性能的優(yōu)劣，f1-score是精確率和召回率的調(diào)和平均數(shù)，通過計算每個類別下的precision和recall能夠計算每個類別的f1-score，計算方式如下：

72、

73、再對每個類別的f1-score求均值得到最后結(jié)果，計算方式如下：

74、

75、fps是模型在1秒內(nèi)可以處理的幀數(shù)，fps值越大代越短的平均處理時間，表明模型的檢測速度更快，可以用來評估模型的實時檢測效率，計算方式如下：

76、

77、其中，time是模型平均檢測時間(s)，framenum代表道路裂縫檢測錨框的數(shù)量，elapsedtime是目標(biāo)檢測所經(jīng)過的時間(s)；

78、iou計算如下：

79、

80、其中，area(d∩g)、area(d∪g)分別為預(yù)測框與真值框的交集和并集；

81、設(shè)立消融實驗的過程具體包括：

82、通過消融實驗驗證了可變形卷積模塊、cbam注意力機(jī)制和小尺度檢測器對提高目標(biāo)檢測模型精度的有效性，實驗分為五組，從基準(zhǔn)模型yolov8到集成所有提出的模塊的完整網(wǎng)絡(luò)模型，所有實驗使用相同的超參數(shù)配置，從召回率(recall)、準(zhǔn)確率(precision)、平均準(zhǔn)確率(map，average?precision)、f1分?jǐn)?shù)(f1-score)、每秒處理幀數(shù)(frame?persecond，fps)、交并比(intersection?over?union)方面，進(jìn)行faster?r-cnn、cascade?r-cnn、ssd、yolov8與s3中訓(xùn)練后模型的比較。

83、與現(xiàn)有技術(shù)相比，本發(fā)明具有以下技術(shù)優(yōu)勢：

84、1)從檢測網(wǎng)絡(luò)結(jié)構(gòu)角度而言，應(yīng)用dcnv3、cbam模塊和增加小尺度檢測器均能提升路面檢測精度，并且各項策略共同應(yīng)用也沒有互斥效果，綜合以上3種措施優(yōu)化后的網(wǎng)絡(luò)模型在精準(zhǔn)率、召回率及f1-score上提升了5.13％、4.87％和5.00％，且訓(xùn)練集和驗證集的損失曲線趨于一致。

85、2)從病害類別角度而言，本算法模型對縱向裂縫、橫向裂縫、坑槽及修補(bǔ)類病害提升了檢測精度，尤其是修補(bǔ)類病害的檢測精度，表明了本發(fā)明所提模型在識別路面病害尺度差異較大的多目標(biāo)時具備優(yōu)異的檢測能力。

86、3)從數(shù)據(jù)增強(qiáng)算法角度而言，mixup算法、cutmix算法和mosaic算法能夠有效地應(yīng)用于路面檢測場景，而通過陰影弱化算法將陰影弱化后數(shù)據(jù)集融入道路病害數(shù)據(jù)集中，比原始數(shù)據(jù)集擬合模型的精準(zhǔn)率、召回率及f1-score上提高了1.37％、2.68％和2.03％。