本發(fā)明涉及圖像識別，具體涉及一種基于sba跨尺度特征融合的鋼鐵缺陷檢測方法。

背景技術：

1、鋼鐵作為國家基礎設施的重要原料，在生產(chǎn)或者使用的過程中，難免會產(chǎn)生各種各樣的損壞，比如劃痕、突起、氧化生銹、斑點等等，如果不將這些有缺陷的鋼鐵檢測出來，將會對工業(yè)建造埋下了很大的隱患，造成很大的損失。

2、傳統(tǒng)檢測這些缺陷和損失的方法是人工識別，然而這種方法檢測效率和準確率較低，大量的人工增加了檢測成本，不適合進行大批量的鋼材檢測。隨著自動化檢測的發(fā)展，鋼鐵缺陷檢測也引入了自動化監(jiān)測，這些系統(tǒng)根據(jù)紅外、漏磁檢測，旨在加速檢測速度，提升效率。

3、近年來，隨著人工智能技術的發(fā)展，基于深度學習的目標檢測方法取得顯著成果。與之前方法對比，基于深度學習的方法具有更高的準確率和檢測效率，更適合應用在大批量的鋼鐵表面缺陷檢測任務中。目前目標檢測算法主要以yolo系列為主，就目標識別方面效果顯著，但yolo算法屬于非端到端檢測算法，存在部署麻煩，運算資源成本高的弊端。常規(guī)端到端模型雖易于部署，但應用于鋼鐵缺陷檢測應用時，檢測結果收斂實時性較低，檢測精度也存在提升空間。

技術實現(xiàn)思路

1、發(fā)明目的：為解決背景技術中提到的問題，本發(fā)明公開一種基于sba跨尺度特征融合的鋼鐵缺陷檢測方法，依托rt-dert-r34網(wǎng)絡，利用starnet進行backbone替換，改進并自設sccfm頸部結構，繼而提升其作為端到端模型的檢測精度，實現(xiàn)在低成本和低部署條件下，達到鋼鐵缺陷檢測實際需求精度水平。

2、技術方案：

3、本發(fā)明公開一種基于sba跨尺度特征融合的鋼鐵缺陷檢測方法，所述方法包括如下步驟：

4、s1：構建鋼鐵缺陷數(shù)據(jù)集并對其進行預處理。

5、s2：以原始模型rt-detr-r34為基準，改進并獲取新鋼鐵缺陷檢測模型。

6、s2.1：以一層transformer的encoder構建rt-detr-r34，替換backbone為starnet，利用星運算實現(xiàn)高維和非線性特征空間的映射。

7、s2.2：構建新頸部結構sccfm，將原始模型ccfm頸部結構fusion模塊替換為sba模塊，增加一條融合分支，3個sba模塊共進行四次特征融合，每個sba模塊后面額外加入一個repc3模塊，學習更豐富圖像特征。

8、s2.3：選擇inner?loss替換原有邊界框回歸損失函數(shù)。

9、s3：設置設置訓練超參數(shù)，使用s2中的訓練集對改進后的新鋼鐵缺陷檢測模型進行訓練并設置驗證參數(shù)進行驗證。

10、s4：將驗證后的模型部署到可視化界面實現(xiàn)鋼鐵缺陷的實時檢測。

11、進一步地，s1預處理的數(shù)據(jù)集包含1800個灰度圖像，涵蓋了6種典型的鋼鐵表面缺陷，即裂紋、夾雜物、斑塊、點蝕面、氧化軋皮和劃痕，每個圖像的分辨率為200×200，每種缺陷圖片的樣本數(shù)目為300；對數(shù)據(jù)集進行劃分，將改數(shù)據(jù)集按照8:1:1的比例將數(shù)據(jù)集劃分為訓練集、驗證集和測試集，訓練集包含1440張圖片，驗證集包含180張圖片，測試集包含180張圖片。

12、進一步地，s2.1的具體操作如下：

13、在提取特征階段，將骨干網(wǎng)絡替換成starnet，starnet通過星運算實現(xiàn)高維和非線性特征空間的映射，星運算常規(guī)公式為：

14、

15、其中，w1t、是權重矩陣w1、w2轉置，b1、b2是偏執(zhí)矩陣，x是輸入特征。

16、通過元素乘法融合兩個線性變換的特征，將權重矩陣w和偏置b合并成一個矩陣，用表示，將x變?yōu)榭傻眯沁\算簡化式，將假設單元素輸入、單輸出通道以簡化運算，因此w1,w2,x∈r(d+1)×1，d是輸入維度，則星運算如下所示：

17、

18、

19、其中，w1t、是權重矩陣w1、w2和偏執(zhí)矩陣b1、b2合并的矩陣的轉置，是矩陣上的元素，xi、xj是輸入特征矩陣上的元素。

20、將公式(3)展開后可以得到個多項式，除了部分項外，每個項都與x呈非線性關系，表明隱含的維度，因此在維度遠大于2的情況下，不產(chǎn)生額外消耗并顯著放大特征維度。

21、進一步地，starnet主干網(wǎng)絡設置四次星運算，每層運算公式如下：

22、

23、其中，o1、o2、o3、o4分別是第一次、第二次、第三次、第四次星運算的輸出，是第二個星運算的權重矩陣和偏執(zhí)矩陣的合并，是第三個星運算的權重矩陣和偏執(zhí)矩陣的合并，是第四個星運算的權重矩陣和偏執(zhí)矩陣的合并。

24、對于l層隱式地獲得一個的特征空間，starnet通過四層簡單網(wǎng)絡結構隱式獲得更高維度的特征，進一步降低模型計算量。

25、進一步地，s2.2scffm頸部結構特征融合詳細步驟為：

26、對于從starnet中輸出的s3、s4、s5特征，s5經(jīng)過aifi后得到f5，f5經(jīng)過一個卷積后與s4進入sba模塊進行特征融合，對于融合后的特征，輸入到repc3中進一步學習特征信息，這部分信息分兩個分支，一個分支與淺層特征進行特征融合，融合后的特征輸入到repc3，直接作為輸出相加并與另一個分支輸入到sba特征融合，然后輸入到repc3，作為第二個輸出相加并繼續(xù)與最開始的深層特征經(jīng)過一個卷積后的特征送入sba中進行融合，然后經(jīng)過一個repc3作為第三個輸出相加，這樣所得的輸出聚合了不同層次的特征信息，并且通過sba的融合機制獲得更細粒度的目標輪廓和重新校準目標的位置。

27、進一步地，所述sba模塊內(nèi)部將淺層特征和深層特征fa、fb送入兩個rau塊中，以彌補高層特征的細節(jié)缺失和低層特征的語義信息缺失，將兩個rau塊輸出連接起來，并經(jīng)過一個3×3卷積之后得到輸出，實現(xiàn)不同特征的魯棒組合，并對粗糙特征進行細化，rau模塊過程可表示為：

28、pau(t1,t2)＝t1'·t1+t2'·t2·(-(t1'))+t1???(9)

29、t1'＝wθ(t1),t′2＝wφ(t2)??(10)

30、其中，t1,t2是輸入特征，wθ(·),wφ(·)是兩個1×1線性映射卷積和sigmoid函數(shù)將維度變?yōu)?2，·是逐點相乘，-是反運算，sba融合過程表示為：

31、z＝c3×3(concat(pau(fa,fb),pau(fb,fa)))(11)

32、其中c3×3是3×3卷積加一個batchnorm加一個relu激活函數(shù)，最終輸出

33、進一步地，s2.3中所述inner?loss損失函數(shù)，通過引入一個縮放因子比來控制計算損失的輔助邊界框的尺度大小，inner-iou的計算公式如下所示：

34、linner-iou＝1-iouinner???(12)

35、

36、union＝(wgt*hgt)*(ratio)2+(w*h)*(ratio)2-inter?(15)

37、

38、

39、其中，真實框的中心點用表示，錨框中心點是(xc,yc)，wgt、hgt分別表示真實框的寬高，w、h分別表示錨框的寬高，ratio表示縮放因子，其變化范圍在[0.5,1.5]，是有關真實框的代號，bl、br、bt、bb是有關錨框的代號，union是真實框和錨框的并集部分，inter是真實框和錨框交集部分，iouinner是inner損失函數(shù)的交并比。

40、進一步地，s3中訓練超參數(shù)設定如下：訓練次數(shù)為200輪，batchsize為設為8，使用sgd優(yōu)化器。

41、有益效果：

42、1.本發(fā)明在提取特征階段，將骨干網(wǎng)絡替換為starnet，通過星運算在保持計算復雜度較低的同時，實現(xiàn)了高維特征空間的映射，無需復雜的特征融合和多分支設計就能實現(xiàn)更豐富的特征表示，進一步降低運算成本的同時提高鋼鐵缺陷檢測精度。

43、2.本發(fā)明設計了結合sba的ccfm頸部結構scffm，進一步捕捉多尺度特征，提升高維和低維特征的融合效果，進一步提高識別精度。

44、3.本發(fā)明選擇inner?loss作為邊界框回歸損失函數(shù)，避免了nms帶來的延遲，提高了對新鋼鐵缺陷檢測模型的收斂速度，簡化端到端檢測方式，部署難度進一步簡化。