本發(fā)明屬于電力安全監(jiān)察業(yè)務(wù)頻圖像識(shí)別及作業(yè)現(xiàn)場巡視，尤其涉及一種基于機(jī)器視覺的電力作業(yè)風(fēng)險(xiǎn)行為違章智能識(shí)別方法。

背景技術(shù)：

1、電網(wǎng)安全管理是一個(gè)龐大、復(fù)雜、理論性和操作性極強(qiáng)的系統(tǒng)工程。隨著智能電廠(變電站)的發(fā)展，專業(yè)人員優(yōu)化精簡、業(yè)務(wù)面穩(wěn)步拓展、末端融合持續(xù)推進(jìn)，安全涉及范圍隨之?dāng)U大，新安全風(fēng)險(xiǎn)不斷出現(xiàn)，電網(wǎng)安全管理的壓力越來越大。當(dāng)前現(xiàn)場作業(yè)的安全監(jiān)督辦法雖然較為完善，但仍需相關(guān)安全管理人員人為執(zhí)行?，F(xiàn)場安全管控工作僅僅依靠文件督導(dǎo)、材料反饋、現(xiàn)場督查、明察抽訪等方式來提高電力作業(yè)現(xiàn)場安全管理水平，并不能保證百分之百的落到實(shí)處；并且智能電廠(變電站)作業(yè)存在現(xiàn)場多、設(shè)備多、復(fù)雜作業(yè)多等諸多問題，不能夠全天候、全過程、全方位的對(duì)電力作業(yè)現(xiàn)場進(jìn)行監(jiān)督，同時(shí)還耗費(fèi)大量的人力物力財(cái)力。

2、目前，通常采用視頻監(jiān)視系統(tǒng)對(duì)電力作業(yè)場景、重點(diǎn)工作區(qū)域及特定施工區(qū)域出入口的圖像和視頻進(jìn)行遠(yuǎn)程采集、辨識(shí)和剖析；但考慮到大部分電力作業(yè)現(xiàn)場作業(yè)人員的行為管理存在施工復(fù)雜性、瞬時(shí)動(dòng)態(tài)性、行為多變性、不可預(yù)測性等因素，例如：未佩戴安全帽、違規(guī)操作機(jī)械設(shè)備、作業(yè)人員誤入帶電間隔、登高作業(yè)安全措施不到位、變電站現(xiàn)場作業(yè)帶電設(shè)備測距等行為，以至于布置固定的視頻監(jiān)視系統(tǒng)并不經(jīng)濟(jì)適用，很難對(duì)作業(yè)人員的安全起到實(shí)時(shí)監(jiān)控、及時(shí)提醒和有力保障。

3、綜合考慮這些因素，通常在電力作業(yè)現(xiàn)場中的監(jiān)控設(shè)備采用移動(dòng)監(jiān)控設(shè)備，如布控球或移動(dòng)云臺(tái)工作記錄儀，以實(shí)現(xiàn)視頻瞬時(shí)捕捉和圖像抓拍等功能。而移動(dòng)監(jiān)控設(shè)備捕捉到的視頻畫面和瞬時(shí)圖像，通常存在著場景變動(dòng)，周邊環(huán)境復(fù)雜、信號(hào)抖動(dòng)和光線干擾等情況，傳統(tǒng)的數(shù)據(jù)處理方式和視頻圖像識(shí)別方法不能達(dá)到精準(zhǔn)、迅速的辨識(shí)和剖析。

4、因此，亟需一種基于機(jī)器視覺技術(shù)，實(shí)現(xiàn)電力作業(yè)風(fēng)險(xiǎn)行為違章智能識(shí)別功能，對(duì)違章行為自動(dòng)研判、瞬時(shí)告警、記錄日志，實(shí)現(xiàn)了從遠(yuǎn)程巡檢到智能督查的突破，支撐現(xiàn)場作業(yè)本質(zhì)安全水平有效提升。

技術(shù)實(shí)現(xiàn)思路

1、為了克服上述技術(shù)存在的不足，本發(fā)明提出了基于機(jī)器視覺的電力作業(yè)風(fēng)險(xiǎn)行為違章智能識(shí)別方法。基于3d視覺和空間感知、邊緣計(jì)算和圖像處理，利用深度學(xué)習(xí)智能識(shí)別算法，訓(xùn)練算法模型，實(shí)現(xiàn)對(duì)電力作業(yè)現(xiàn)場常見的基坑堆土高度及圍欄臨邊測距、帶電間隔區(qū)域標(biāo)定、腳手架搭設(shè)、鋼絲繩緊固線卡和高空作業(yè)人員行為等違章行為進(jìn)行智能識(shí)別，實(shí)現(xiàn)自動(dòng)研判、瞬時(shí)告警。

2、本發(fā)明為實(shí)現(xiàn)上述目的所采用的技術(shù)方案是：基于機(jī)器視覺的電力作業(yè)風(fēng)險(xiǎn)行為違章智能識(shí)別方法，包括以下步驟：

3、采集違章場景的圖像，對(duì)于收集到的圖像進(jìn)行標(biāo)注；

4、對(duì)圖像進(jìn)行預(yù)處理并存儲(chǔ)；

5、基于預(yù)處理后的圖像，對(duì)提取的特征信息進(jìn)行分類訓(xùn)練，構(gòu)建用于識(shí)別違章行為的分類器模型；

6、基于已標(biāo)定的正負(fù)樣本進(jìn)行自主特征學(xué)習(xí)，對(duì)分類器模型進(jìn)行訓(xùn)練；

7、實(shí)時(shí)采集現(xiàn)場高空作業(yè)人員的行為圖片，通過訓(xùn)練好的分類器模型進(jìn)行違章信息智能識(shí)別。

8、所述對(duì)于收集到的圖像進(jìn)行標(biāo)注，包括以下步驟：

9、在攝像頭和無人機(jī)拍攝的視頻或圖像中，篩選收集違章目標(biāo)的樣本，并標(biāo)注用于識(shí)別違章行為的區(qū)域和類別；所述違章行為包括：作業(yè)人員誤入帶電間隔、登高作業(yè)安全措施不到位、變電站現(xiàn)場作業(yè)帶電設(shè)備測距。

10、所述分類器模型的構(gòu)建，包括：

11、卷積神經(jīng)網(wǎng)絡(luò)，對(duì)預(yù)處理后的圖像進(jìn)行特征提取，構(gòu)成特征圖；

12、區(qū)域提議網(wǎng)絡(luò)，使用區(qū)域提議網(wǎng)絡(luò)，通過在特征圖上滑動(dòng)窗口，生成多個(gè)不同尺度和長寬比的候選框，作為候選區(qū)域；

13、roipooling層，對(duì)于每個(gè)候選區(qū)域，使用roipooling層將不同尺度的候選區(qū)域轉(zhuǎn)換為統(tǒng)一大小的特征向量；

14、全連接層，對(duì)統(tǒng)一大小的特征向量進(jìn)行檢測框的分類和回歸，以識(shí)別目標(biāo)類別和位置；

15、后處理層，通過非極大值抑制去除重疊的檢測框，根據(jù)回歸結(jié)果調(diào)整檢測框的位置和大小，以優(yōu)化目標(biāo)的類別和位置；

16、輸出層，將優(yōu)化后的目標(biāo)的分類、位置、以及置信度作為目標(biāo)檢測結(jié)果輸出。

17、所述基于已標(biāo)定的正負(fù)樣本進(jìn)行自主特征學(xué)習(xí)，對(duì)分類器模型進(jìn)行訓(xùn)練，包括以下步驟：

18、首先，對(duì)于正樣本和負(fù)樣本，使用幀間差分法或背景減除法檢測到運(yùn)動(dòng)目標(biāo)；正樣本為用于表示違章行為的樣本，負(fù)樣本為用于表示無違章行為的樣本；

19、然后，使用模板匹配法將樣本圖像與模板圖像進(jìn)行匹配，得到最佳匹配位置；

20、最后，對(duì)于樣本圖像中的最佳匹配位置，通過分類器對(duì)關(guān)鍵特征進(jìn)行分類，通過不斷迭代形成分類器模型。

21、所述使用模板匹配法將樣本圖像與模板圖像進(jìn)行匹配，得到最佳匹配位置，包括以下步驟：

22、對(duì)于樣本圖像和模板圖像，將模板圖像在輸入的樣本圖像上滑動(dòng)，遍歷輸入圖像中的所有可能位置；每滑動(dòng)到一個(gè)新位置，就計(jì)算模板圖像與輸入的樣本圖像中對(duì)應(yīng)區(qū)域的匹配度；所述匹配度采用平方差匹配、相關(guān)匹配、系數(shù)匹配中的任意一種；

23、將每個(gè)位置的匹配度保存在結(jié)果矩陣中；結(jié)果矩陣的每個(gè)元素對(duì)應(yīng)于當(dāng)前圖像中的一個(gè)位置，其值表示該位置與模板圖像的匹配度；

24、通過遍歷結(jié)果矩陣，找到匹配度的極值位置為最佳匹配位置。

25、所述關(guān)鍵特征包括顏色、紋理、形狀、邊緣、角點(diǎn)、行為狀態(tài)、運(yùn)動(dòng)軌跡中的至少一種，用于表征高空作業(yè)人員行為、帶電間隔或明火區(qū)域標(biāo)定。

26、所述違章信息，包括：未佩戴安全帶、攀爬姿勢不正確；人員或設(shè)備接近帶電間隔；檢測火災(zāi)發(fā)生以及標(biāo)定火源位置。

27、基于機(jī)器視覺的電力作業(yè)風(fēng)險(xiǎn)行為違章智能識(shí)別系統(tǒng)，包括：

28、圖像獲取模塊，用于采集違章場景的圖像，對(duì)于收集到的圖像進(jìn)行標(biāo)注；

29、預(yù)處理模塊，用于對(duì)圖像進(jìn)行預(yù)處理并存儲(chǔ)；

30、模型構(gòu)建模塊，用于基于預(yù)處理后的圖像，對(duì)提取的特征信息進(jìn)行分類訓(xùn)練，構(gòu)建用于識(shí)別違章行為的分類器模型；

31、模型訓(xùn)練模塊，用于基于已標(biāo)定的正負(fù)樣本進(jìn)行自主特征學(xué)習(xí)，對(duì)分類器模型進(jìn)行訓(xùn)練；

32、智能識(shí)別模塊，用于實(shí)時(shí)采集現(xiàn)場高空作業(yè)人員的行為圖片，通過訓(xùn)練好的分類器模型進(jìn)行違章信息智能識(shí)別。

33、一種基于機(jī)器視覺的電力作業(yè)風(fēng)險(xiǎn)行為違章智能識(shí)別裝置，包括存儲(chǔ)器和處理器；所述存儲(chǔ)器，用于存儲(chǔ)計(jì)算機(jī)程序；所述處理器，用于當(dāng)執(zhí)行所述計(jì)算機(jī)程序時(shí)，實(shí)現(xiàn)所述的基于機(jī)器視覺的電力作業(yè)風(fēng)險(xiǎn)行為違章智能識(shí)別方法。

34、一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)程序，當(dāng)所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)，實(shí)現(xiàn)所述的基于機(jī)器視覺的電力作業(yè)風(fēng)險(xiǎn)行為違章智能識(shí)別方法。

35、本發(fā)明具有以下有益效果及優(yōu)點(diǎn)：

36、1.本發(fā)明進(jìn)一步提高電力安全監(jiān)察人員的督查效率，切實(shí)做到電力作業(yè)現(xiàn)場違章行為及時(shí)發(fā)現(xiàn)、有效處置、合理解決，利用模板匹配法、深度學(xué)習(xí)算法及特征提取與視頻圖像處理分析辨識(shí)技術(shù)，實(shí)現(xiàn)了違章智能識(shí)別功能，對(duì)電力作業(yè)現(xiàn)場常見的高空作業(yè)人員行為(如爬梯)、帶電間隔或明火區(qū)域標(biāo)定、腳手架搭設(shè)和基坑堆土高度及圍欄臨邊測距等違章行為進(jìn)行智能識(shí)別、自動(dòng)研判、瞬時(shí)告警、記錄日志，實(shí)現(xiàn)了從遠(yuǎn)程巡檢到智能督查的突破。

37、2.與現(xiàn)有技術(shù)相比，步驟流程上的優(yōu)點(diǎn)或作用在于，本發(fā)明通過集成化的流程設(shè)計(jì)，實(shí)現(xiàn)了從數(shù)據(jù)采集到模型訓(xùn)練再到最終的應(yīng)用部署的全鏈條自動(dòng)化。相比于傳統(tǒng)的人工目視檢查或單一的視頻監(jiān)控系統(tǒng)，本發(fā)明利用自動(dòng)化采集工具(如無人機(jī)和監(jiān)控?cái)z像頭)，利用機(jī)器視覺技術(shù)和深度學(xué)習(xí)算法自動(dòng)完成圖像采集、標(biāo)注、預(yù)處理、特征提取等一系列過程，大大減少了人工干預(yù)的需求，提高了檢測效率和準(zhǔn)確性。

38、3.整個(gè)技術(shù)方案的優(yōu)點(diǎn)在于它涵蓋了一部分電力作業(yè)現(xiàn)場常見違章行為的智能識(shí)別需求(如基坑堆土高度及圍欄臨邊測距、帶電間隔區(qū)域標(biāo)定、腳手架搭設(shè)、鋼絲繩緊固線卡和高空作業(yè)人員行為等違章行為)。通過使用深度學(xué)習(xí)智能識(shí)別算法，本發(fā)明能夠?qū)崿F(xiàn)對(duì)高空作業(yè)人員行為、帶電間隔區(qū)域標(biāo)定等多種違章行為的自動(dòng)研判。系統(tǒng)一旦檢測到違章行為，能夠立即觸發(fā)報(bào)警機(jī)制，并能夠記錄詳細(xì)的日志信息，有助于事后的分析和追責(zé)。此外，該方案還支持遠(yuǎn)程巡檢與智能督查相結(jié)合，使得現(xiàn)場作業(yè)的監(jiān)管更加高效和智能。

39、4.整個(gè)技術(shù)方案的優(yōu)點(diǎn)在于它提供了一種從數(shù)據(jù)采集到模型訓(xùn)練再到現(xiàn)場應(yīng)用的一站式解決方案。通過使用先進(jìn)的圖像處理技術(shù)和智能算法，該方案能夠?qū)﹄娏ψ鳂I(yè)現(xiàn)場的各種違章行為進(jìn)行實(shí)時(shí)監(jiān)測與智能判斷，并能即時(shí)發(fā)出警告，幫助現(xiàn)場管理人員快速響應(yīng)，避免事故的發(fā)生。此外，還具備記錄日志的功能，便于事后追溯和分析，有助于持續(xù)改進(jìn)安全管理措施。因此，本發(fā)明通過智能化手段替代了大量的人工檢查工作，不僅提高了工作效率，減少了人為失誤的可能性，同時(shí)也大幅節(jié)省了人力資源成本。