本發(fā)明屬于圖像處理，具體涉及基于fusionnet模型的惡劣天氣下輸電線路異物檢測方法。

背景技術(shù)：

1、隨著現(xiàn)代城市的持續(xù)發(fā)展和電力需求的不斷增加，電力輸電線路的規(guī)模也在不斷擴(kuò)大。同時，線路周圍的環(huán)境變得越來越復(fù)雜，容易受到各種異物的影響和附著。如果不及時清理這些異物，將會對輸電線路的安全運(yùn)行產(chǎn)生嚴(yán)重的負(fù)面影響。其中，一些因素如輸電線路所處環(huán)境復(fù)雜易受各種異物附著、在復(fù)雜天氣下難以檢測等，都可能導(dǎo)致電力輸電線路的故障和安全隱患。傳統(tǒng)的線路巡檢方式已無法滿足現(xiàn)代電力輸電線路的實際需求，急需更加智能化、高效率的檢測方法。目前廣泛采用無人機(jī)等設(shè)備來進(jìn)行輸電線路的圖像巡檢。相較于傳統(tǒng)的巡檢方式，這種智能化的方法能夠高效地檢測線路中的異物，從而有效地預(yù)防和避免線路故障的發(fā)生。

2、考慮到輸電線路異物檢測的關(guān)鍵性，一種基于fusionnet模型的輸電線路異物檢測方法應(yīng)運(yùn)而生。該算法在惡劣天氣的背景下對輸電線路異物目標(biāo)檢測進(jìn)行研究，首先安裝圖像采集裝置，以實時獲取傳輸線路的狀態(tài)信息，其次通過5g通信無線網(wǎng)絡(luò)，將從圖像采集裝置獲取的數(shù)據(jù)傳輸?shù)降孛嫔系脑O(shè)備健康監(jiān)測中心，實現(xiàn)遠(yuǎn)程監(jiān)控，避免人員直接登塔巡檢帶來的安全隱患。最后利用相關(guān)算法進(jìn)行圖像分析、數(shù)據(jù)訓(xùn)練和測試，以檢測圖像中是否存在異物并確定其位置。通過這一流程實現(xiàn)對傳輸線路是否存在異物的實時監(jiān)測和預(yù)警，從而提高巡檢效率、降低登塔巡檢所帶來的危險，為輸電線路的安全穩(wěn)定運(yùn)行提供保障。

技術(shù)實現(xiàn)思路

1、本發(fā)明的目的是提供基于fusionnet模型的惡劣天氣下輸電線路異物檢測方法，解決了現(xiàn)有技術(shù)中存在的惡劣天氣下輸電線路異物檢測精度低、速度慢的問題。

2、本發(fā)明所采用的技術(shù)方案是，基于fusionnet模型的惡劣天氣下輸電線路異物檢測方法，其特征在于，具體按照以下步驟實施：

3、步驟1、采集輸電線路上的異物圖像，對采集的圖像進(jìn)行數(shù)據(jù)預(yù)處理，標(biāo)注并劃分?jǐn)?shù)據(jù)集為訓(xùn)練集、驗證集和測試集；

4、步驟2、建立網(wǎng)絡(luò)模型；

5、步驟3、將訓(xùn)練集中圖像輸入到所述步驟2建立的網(wǎng)絡(luò)模型中進(jìn)行訓(xùn)練，通過訓(xùn)練得到基于fusionnet模型的惡劣天氣下輸電線路異物檢測網(wǎng)絡(luò)模型；

6、步驟4、將測試集中圖像輸入到所述步驟3訓(xùn)練好的網(wǎng)絡(luò)模型中進(jìn)行檢測，獲得惡劣天氣下輸電線路異物檢測結(jié)果圖。

7、本發(fā)明的特點還在于，

8、步驟1具體按照以下步驟實施：

9、步驟1.1、通過塔上攝像頭和巡檢無人機(jī)巡檢采集大量的巡檢視頻，包括各種輸電線路異物圖像，通過遠(yuǎn)景、近景和特寫的異物圖像，保持每個類型輸電線路異物圖像數(shù)量一致；

10、步驟1.2、將步驟1.1獲得的輸電線路異物圖像進(jìn)行數(shù)據(jù)增強(qiáng)和擴(kuò)充，包括雨、霧、雪、強(qiáng)光等，使用單一和多種方法結(jié)合，從而獲得輸電線路異物數(shù)據(jù)集；

11、步驟1.3、將步驟1.1中獲得的輸電線路異物圖像和步驟1.2獲得的圖片結(jié)合作為輸電線路異物樣本圖像庫，對輸電線路異物樣本圖像庫中的每一圖像樣本制作對應(yīng)的標(biāo)簽文件，對應(yīng)的標(biāo)簽文件中含有異物的類別標(biāo)簽，標(biāo)簽名為fm，按照6：2：2劃分為訓(xùn)練集、驗證集和測試集。

12、步驟2具體按照以下步驟實施：

13、步驟2.1、fusionnet算法網(wǎng)絡(luò)模型分為backbone、neck、head三個部分，將原始網(wǎng)絡(luò)模型中的cbs模塊中的silu激活函數(shù)替換為hardswish激活函數(shù)，同時嵌入ca注意力機(jī)制重新分配通道的權(quán)重以減少網(wǎng)絡(luò)參量；

14、步驟2.2、融華塊fusionblock模塊結(jié)構(gòu)如下：

15、ca注意力機(jī)制將原有的通道注意力分解為方向和位置兩個并行的特征編碼，將空間坐標(biāo)信息聚合成新的注意力圖；

16、首先為了避免空間信息全部壓縮到通道中，捕獲具有精準(zhǔn)位置信息的遠(yuǎn)程空間交互，對全局平均池化進(jìn)行的分解，具體如下：

17、

18、對尺寸為c×h×w輸入特征圖input分別按照x方向和y方向進(jìn)行池化對每個通道進(jìn)行編碼，分別生成尺寸為c×h×1和c×1×w的特征圖，將生成的c×1×w的特征圖進(jìn)行變換，然后進(jìn)行concat操作，公式如下：

19、f＝δ(f1([zh,zw]))???????????????????式(3)

20、將進(jìn)行concat后提取到的特征圖按空間維度進(jìn)行拼接，拼接成形狀的特征圖，其中r用于控制塊的減小率，再將特征圖經(jīng)過f1卷積變換函數(shù)和非線性激活函數(shù)產(chǎn)生f中間特征圖，再將f中間特征圖按空間維度拆分成兩個張量fh和fw，形狀分別為和再分別進(jìn)行fh和fw卷積變換函數(shù)和sigmoid激活函數(shù)得到gh和gw坐標(biāo)注意力，最后將gh和gw坐標(biāo)注意力與原輸入進(jìn)行相乘得到與輸入相同形狀的輸出：

21、

22、coordinateattention的輸出公式寫成：

23、

24、采用mobilenetv3中提出的hardswish激活函數(shù)替代silu激活函數(shù)，公式如下：

25、

26、步驟2.3、fasternet包含4個stages，第一個stage之前通過embedding層，embedding層為一個常規(guī)的4x4卷積，步長為4，相當(dāng)于將寬高縮小為1/4，其他的stage之前使用merging層，merging層常規(guī)個2x2卷積，步長為2，每個stage都由若干fasternet塊堆疊而成，首先，使用常規(guī)的卷積操作在輸入通道的一部分上進(jìn)行空間特征提取，同時保持其余通道不變，然后，在規(guī)則的內(nèi)存訪問中，它將第一個或最后一個連續(xù)的通道視為整個特征圖的代表進(jìn)行計算，假設(shè)輸入和輸出特征圖具有相同數(shù)量的通道，因此，pconv的flops僅為對于典型r＝1/4，pconv的flops僅相當(dāng)于常規(guī)conv的1/16，此外，pconv的內(nèi)存訪問量也較小，即對于r＝1/4，其僅為常規(guī)conv的1/4；

27、步驟2.4、將步驟2.2中的fb模塊替代原始的cbs模塊，其次將concat后的結(jié)果送入到步驟2.3中的fsb模塊中，在sppf右側(cè)增加一條殘差邊，并且通過ca注意力機(jī)制增強(qiáng)網(wǎng)絡(luò)的特征提取能力，形成fmb模塊；

28、步驟2.5、在預(yù)測層將ciou損失函數(shù)和eiou損失函數(shù)結(jié)合形成新的eciou損失函數(shù)，具體如下：

29、ciou用iou、歐幾里得距離、對應(yīng)的長寬比和角度來測量目標(biāo)和真實框的重疊區(qū)域，公式如下：

30、

31、其中，ρ2(b，bgt)分別代表預(yù)測框和真實框的中心點的歐氏距離，c代表的是能夠同時包含預(yù)測框和真實框的最小閉包區(qū)域的對角線距離，α是一個正的trade-off參數(shù)，v用于去度量長寬比的一致性，wp和hp分別代表預(yù)測框的寬和高，wgt和hgt分別代表真實框的寬和高；

32、eiou_loss在ciou_loss的基礎(chǔ)上對縱橫比影響因子進(jìn)行了分解，并計算預(yù)測幀和真實幀的寬度和高度，以解決ciou_loss可能出現(xiàn)的問題，公式如下：

33、

34、其中cw和ch是覆蓋兩個box的最小外接框的寬度和高度；

35、eciou損失函數(shù)首先通過ciou調(diào)整預(yù)測幀的縱橫比，直到它收斂到合適的范圍。然后，每個邊緣通過eiou進(jìn)行精細(xì)調(diào)整，直到達(dá)到正確的值；通過這種改進(jìn)的損失函數(shù)，增加預(yù)測幀的調(diào)整，并加快幀的回歸速度，eciou公式如下：

36、

37、步驟2.5、將以上結(jié)果送入到head中，對特征點進(jìn)行判斷，判斷特征點是否有物體與其對應(yīng)。

38、步驟3具體按照以下步驟實施：

39、步驟3.1、將步驟2中劃分的訓(xùn)練集圖像輸入到fusionnet網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，設(shè)置參數(shù)學(xué)習(xí)率為0.001，動量為0.937，權(quán)重衰減為0.0005，epoch為300次，batchsize＝16，圖片大小為640×640，并采用余弦退火的學(xué)習(xí)率衰減方式，得到訓(xùn)練結(jié)果；

40、步驟3.2、使用驗證集對優(yōu)化的fusionnet網(wǎng)絡(luò)模型進(jìn)行測試，得到驗證結(jié)果，分析訓(xùn)練結(jié)果和驗證結(jié)果的差異，如果出現(xiàn)過擬合說明模型在訓(xùn)練集上表現(xiàn)很好，到了驗證集就很差，即模型的泛化能力很差，需通過增加訓(xùn)練數(shù)據(jù)數(shù)量、使用正則化約束、調(diào)整參數(shù)和超參數(shù)、降低模型的復(fù)雜度解決；若出現(xiàn)欠擬合說明模型在訓(xùn)練集、驗證集表現(xiàn)都不佳，需通過提高模型復(fù)雜度、降低正則化約束、增加更多的特征；

41、步驟3.3、通過在驗證集上微調(diào)網(wǎng)絡(luò)的超參數(shù)，將學(xué)習(xí)率微調(diào)到0.002，將學(xué)習(xí)率變大，設(shè)置batch_size為16，得到優(yōu)化的fusionnet網(wǎng)絡(luò)模型。

42、步驟4具體按照以下步驟實施：

43、步驟4.1、將測試集輸入所述步驟3.3得到的優(yōu)化后的fusionnet模型中，優(yōu)化具體過程為：fusionnet模型超參數(shù)設(shè)置：num_workers＝4，adam優(yōu)化器，衰減權(quán)重系數(shù)5*10-4，初始學(xué)習(xí)率1*10-5，測試集測試的時候設(shè)置iou閾值為0.5進(jìn)行試驗，在驗證時，將學(xué)習(xí)率微調(diào)到0.003，在總的300輪中驗證集的損失變化逐漸減小，得到fusionnet異物檢測模型；

44、步驟4.2、采用測試集測試基于fusionnet模型的惡劣天氣下輸電線路異物檢測算法模型的性能，獲得檢測結(jié)果。

45、本發(fā)明的有益效果是，基于fusionnet模型的惡劣天氣下輸電線路異物檢測方法，針對現(xiàn)有監(jiān)測方法對惡劣天氣下輸電線路異物檢測精度低、速度慢、可靠性差的問題，提出了一種基于fusionnet模型的惡劣天氣下輸電線路異物檢測算法。其中fusionnet中的fb模塊能夠更好地捕獲目標(biāo)特征，提高了檢測精度；fsb模塊有助于更好地處理空間信息，提高了目標(biāo)的定位準(zhǔn)確性；fmb模塊有助于動態(tài)調(diào)整特征映射，增強(qiáng)了網(wǎng)絡(luò)對不同目標(biāo)的適應(yīng)能力；eciou損失函數(shù)通過更好的權(quán)衡目標(biāo)檢測中的精確性和召回率以減少模型漏檢、誤檢的數(shù)目，使得檢測結(jié)果更加可靠。實驗證明fusionnet模型能夠高效地檢測和識別各種異物，特別是在不利的氣象條件，如大風(fēng)、雨雪、或能見度較低的情況下。同時，改進(jìn)后的模型平衡了模型檢測精度和模型大小之間的關(guān)系，具有廣泛的實際應(yīng)用前景。此外，本發(fā)明還為電力行業(yè)提供了一種先進(jìn)的解決方案，有望在不同氣象條件下提供更可靠的輸電線路監(jiān)測。