本發(fā)明屬于航空，具體涉及一種無(wú)人機(jī)實(shí)現(xiàn)自主巡檢森林火災(zāi)的方法。

背景技術(shù)：

1、隨著無(wú)人機(jī)技術(shù)的飛速發(fā)展，無(wú)人機(jī)的性能得到了顯著提升，包括飛行穩(wěn)定性、續(xù)航能力、載荷能力以及智能化水平等。這使得無(wú)人機(jī)能夠勝任更加復(fù)雜和精細(xì)的任務(wù)，包括森林火災(zāi)的自主巡檢。

2、傳統(tǒng)的森林防火方法主要依賴于地面巡護(hù)和瞭望塔觀察，這些方法存在效率低、覆蓋面有限、受地形和天氣影響大等缺點(diǎn)。而森林火災(zāi)具有突發(fā)性強(qiáng)、蔓延速度快、危害范圍廣等特點(diǎn)，對(duì)防火工作提出了更高的要求。因此，需要一種更加高效、全面、實(shí)時(shí)的森林防火手段，無(wú)人機(jī)自主巡檢技術(shù)應(yīng)運(yùn)而生。

3、無(wú)人機(jī)自主巡檢相比于傳統(tǒng)森林防火方法有以下優(yōu)勢(shì)：1、高效性：無(wú)人機(jī)能夠快速覆蓋大面積的森林區(qū)域，提高巡檢效率；2、實(shí)時(shí)性：通過搭載高清攝像頭和熱成像儀等設(shè)備，無(wú)人機(jī)能夠?qū)崟r(shí)傳輸森林圖像和溫度數(shù)據(jù)，使防火管理部門能夠及時(shí)了解森林狀況；3、精準(zhǔn)性：結(jié)合先進(jìn)的ai識(shí)別算法，無(wú)人機(jī)能夠自動(dòng)識(shí)別火源、煙霧等異常情況；4、安全性：無(wú)人機(jī)能夠在復(fù)雜地形和惡劣環(huán)境中進(jìn)行巡檢，減少了人員進(jìn)入危險(xiǎn)區(qū)域的風(fēng)險(xiǎn)。

4、在無(wú)人機(jī)自主巡檢領(lǐng)域，一般分為機(jī)載端檢測(cè)與地面端檢測(cè)兩種檢測(cè)方面，機(jī)載端檢測(cè)是指利用無(wú)人機(jī)上搭載的各種傳感器、攝像頭、激光雷達(dá)(lidar)、紅外熱像儀等設(shè)備進(jìn)行的實(shí)時(shí)數(shù)據(jù)采集，通過無(wú)人機(jī)上部署機(jī)載邊緣處理器對(duì)無(wú)人機(jī)采集的實(shí)時(shí)圖像進(jìn)行處理分析。這種方式的優(yōu)勢(shì)在于能夠直接對(duì)目標(biāo)區(qū)域進(jìn)行近距離、高分辨率的觀測(cè)，無(wú)需人員進(jìn)入危險(xiǎn)或難以到達(dá)的區(qū)域，大大提高了巡檢的安全性和效率。地面端檢測(cè)則側(cè)重于無(wú)人機(jī)巡檢數(shù)據(jù)的接收、處理、分析和存儲(chǔ)。雖然不直接參與數(shù)據(jù)采集，但它是確保巡檢結(jié)果有效應(yīng)用的關(guān)鍵環(huán)節(jié)，這種檢測(cè)方法檢測(cè)精度高，但是實(shí)時(shí)性差，且受限于通信質(zhì)量。

5、但是，現(xiàn)有技術(shù)在進(jìn)行機(jī)載端檢測(cè)時(shí)會(huì)出現(xiàn)檢測(cè)精度差、誤檢率高，難以充分利用多光譜傳感器相機(jī)等問題。本發(fā)明針對(duì)上述問題，提出一種基于雙光的無(wú)人機(jī)機(jī)載森林火災(zāi)檢測(cè)方法。利用多種機(jī)載視覺傳感器來(lái)獲取不同的影像信息(可見光與紅外)，通過機(jī)載邊緣處理設(shè)備對(duì)實(shí)時(shí)采集的多種圖像信息進(jìn)行快速處理，利用圖像處理技術(shù)與輕量級(jí)深度卷積網(wǎng)絡(luò)完成森林火災(zāi)的檢測(cè)與識(shí)別，并且這樣既可保證檢測(cè)的實(shí)時(shí)性，又能保證較高的準(zhǔn)確率，從而實(shí)現(xiàn)無(wú)人機(jī)機(jī)載端的森林火災(zāi)自主檢測(cè)。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的是提供一種基于雙光的無(wú)人機(jī)機(jī)載端的森林火災(zāi)實(shí)時(shí)檢測(cè)方法。解決了現(xiàn)有問題中的檢測(cè)精度低、誤檢率高及難以充分利用多光譜傳感器相機(jī)等問題。

2、本發(fā)明具體實(shí)施步驟如下：

3、步驟1、對(duì)雙光圖像進(jìn)行配準(zhǔn)，包括對(duì)雙光圖像的縮放、計(jì)算縮放因子和偏移值、完成雙光圖像的配準(zhǔn)。

4、步驟2、機(jī)載處理器針對(duì)目標(biāo)地塊進(jìn)行路徑規(guī)劃，針對(duì)規(guī)則地塊直接利用牛耕法進(jìn)行巡檢，針對(duì)不規(guī)則地塊則將其進(jìn)行分割成規(guī)則地塊然后再進(jìn)行巡檢。

5、步驟3、利用雙光圖像算法對(duì)實(shí)時(shí)獲取的圖像進(jìn)行檢測(cè)，其中紅外檢測(cè)算法使用自適應(yīng)閾值分割算法對(duì)火災(zāi)進(jìn)行目標(biāo)與背景的分離，而可見光檢測(cè)算法則使用改進(jìn)mobilenetv2算法進(jìn)行火災(zāi)檢測(cè)。兩部分檢測(cè)均在機(jī)載處理器上運(yùn)行。

6、步驟4、在檢測(cè)到火災(zāi)后，為了進(jìn)一步降低誤檢率，構(gòu)建一種多重檢測(cè)策略，對(duì)兩種檢測(cè)器的檢測(cè)結(jié)果分析并進(jìn)行相對(duì)應(yīng)動(dòng)作，進(jìn)一步降低機(jī)載端的誤檢率與漏檢率。

7、步驟5、在完成對(duì)火災(zāi)的檢測(cè)之后，將火點(diǎn)的具體圖像回傳，并恢復(fù)巡檢任務(wù)，直至巡檢任務(wù)結(jié)束。

8、本發(fā)明的特點(diǎn)還在于，

9、步驟1具體按照以下步驟實(shí)施：

10、步驟1.1、首先，將兩種圖像進(jìn)行縮放，將大小統(tǒng)一為同一尺寸，便于后續(xù)處理。

11、步驟1.2、然后計(jì)算縮放因子和xy方向的偏移，在將兩種圖像縮放到統(tǒng)一大小后，分別在兩種圖像的相對(duì)應(yīng)相同的位置找三個(gè)點(diǎn)，獲取兩種圖像在xy方向的偏移值和縮放因子。其中，x方向縮放因子的計(jì)算公式為：

12、

13、其中，δx表示x方向的縮放因子，avx表示可見光圖像中a點(diǎn)x方向像素位置，airx表示紅外圖像中a點(diǎn)x方向像素位置，b表示b點(diǎn)的。同理，y方向的縮放因子就等于可見光圖像y方向的像素長(zhǎng)度比上紅外圖像y方向的像素長(zhǎng)度。

14、x方向偏移的計(jì)算公式如式(2)所示：

15、λx＝avx-airx???????????????(2)

16、其中，λx表示x方向的偏移。

17、步驟1.3、根據(jù)計(jì)算的縮放因子和偏移值完成圖像配準(zhǔn)。在得到xy方向的偏移量后，根據(jù)縮放后的紅外圖像的長(zhǎng)寬，再次縮放并切割可見光圖像，即可得到與紅外圖像相同場(chǎng)景的一塊配準(zhǔn)后的可見光圖像。

18、步驟2具體按照以下步驟實(shí)施：

19、步驟2.1、將待巡檢地塊進(jìn)行規(guī)則劃分。林區(qū)的形狀通常并不規(guī)則，一般多為不規(guī)則的多邊形，通過外接矩形可以將不規(guī)則多邊形簡(jiǎn)化為規(guī)則矩形。整個(gè)矩形能夠完全包含不規(guī)則地塊，并且其形狀規(guī)則(矩形或正方形)。在外接矩形內(nèi)部，根據(jù)巡檢需求和地塊特點(diǎn)，進(jìn)一步劃分成多個(gè)規(guī)則的小地塊(如小矩形、正方形等)。

20、步驟2.2、將規(guī)則地塊的坐標(biāo)信息輸入全覆蓋路徑規(guī)劃算法中，生成巡檢路徑。根據(jù)巡檢地塊的重要性的不同選擇不同的路徑規(guī)劃算法，其中基礎(chǔ)地塊使用牛耕法進(jìn)行規(guī)劃，重要地塊使用螺旋覆蓋法進(jìn)行巡檢。牛耕法進(jìn)行路徑規(guī)劃的巡檢路徑總長(zhǎng)度為：

21、

22、螺旋覆蓋法進(jìn)行路徑規(guī)劃的巡檢路徑總長(zhǎng)度為：

23、

24、式中，待巡檢林區(qū)是長(zhǎng)為l，寬為w的規(guī)則地塊，無(wú)人機(jī)平臺(tái)視野寬為d。

25、步驟2.3、將規(guī)劃好的路徑點(diǎn)輸入至機(jī)載邊緣處理器中，對(duì)生成的路徑進(jìn)行優(yōu)化處理，生成無(wú)人機(jī)具體的飛行路線，選擇合適的起飛點(diǎn)和切入角度，控制無(wú)人機(jī)執(zhí)行巡檢命令。

26、步驟3具體按照以下步驟實(shí)施：

27、步驟3.1、構(gòu)建紅外閾值分割算法。通過設(shè)定兩個(gè)閾值來(lái)將圖像中的像素分為目標(biāo)和背景兩個(gè)部分。且其中由于紅外圖像的調(diào)色模式在圖像處理和分析中起著關(guān)鍵作用，不同的調(diào)色模式可以突出顯示紅外圖像中的不同特征。在獲取到特定調(diào)色模式的紅外圖像之后，采用顏色空間變化和閾值分割算法對(duì)目標(biāo)圖像進(jìn)行分割，之后利用形態(tài)學(xué)運(yùn)算來(lái)抑制噪聲，最后利用滑動(dòng)窗口法找出火點(diǎn)位置。

28、步驟3.2、構(gòu)建機(jī)載可見光森林火災(zāi)檢測(cè)算法。針對(duì)現(xiàn)有的輕量化圖像分類模型實(shí)時(shí)性能差和分類精度低的問題，提出基于改進(jìn)mobilenet?v2的無(wú)人機(jī)機(jī)載可見光圖像森林火災(zāi)分類方法，構(gòu)建以mobilenet?v2為核心的輕量級(jí)特征提取網(wǎng)絡(luò).通過調(diào)整寬度因子降低模型的參數(shù)量；在模型中嵌入通道和空間注意力模塊，增強(qiáng)網(wǎng)絡(luò)對(duì)特征的細(xì)化能力；設(shè)計(jì)多尺度特征融合結(jié)構(gòu)，增強(qiáng)網(wǎng)絡(luò)對(duì)尺度的適應(yīng)性；利用遷移學(xué)習(xí)的方式優(yōu)化模型參數(shù)，進(jìn)一步提高模型精度。

29、步驟4具體按照以下步驟實(shí)施：

30、步驟4.1、構(gòu)建一種機(jī)載端多重確認(rèn)策略，為了進(jìn)一步降低機(jī)載端森林火災(zāi)檢測(cè)的誤檢率與漏檢率，設(shè)計(jì)一種綜合了多維度數(shù)據(jù)、多傳感器集成和圖像語(yǔ)義上下文環(huán)境的系統(tǒng)，首先基于單一數(shù)據(jù)源對(duì)火災(zāi)進(jìn)行檢測(cè)，然后，將不同數(shù)據(jù)源的檢測(cè)結(jié)果進(jìn)行融合，通過設(shè)定閾值和權(quán)重，進(jìn)行多重確認(rèn)。

31、步驟4.2、在多重確認(rèn)后，對(duì)于相異結(jié)果，會(huì)對(duì)檢測(cè)結(jié)果進(jìn)行進(jìn)一步驗(yàn)證，以排除對(duì)應(yīng)區(qū)域的誤檢情況。在不同圖像檢測(cè)結(jié)果相異時(shí)，多重確認(rèn)機(jī)制會(huì)利用兩種不同的驗(yàn)證策略對(duì)結(jié)果進(jìn)行進(jìn)一步驗(yàn)證：對(duì)于可見光結(jié)果，考慮到小目標(biāo)檢測(cè)的誤檢率較高，因此調(diào)整相機(jī)的放大倍率，在完成驗(yàn)證后將可見光放大倍率恢復(fù)；而對(duì)于紅外檢測(cè)結(jié)果，由于是直接利用熱輻射進(jìn)行火災(zāi)判斷，考慮到初始閾值較高，難以對(duì)片狀火災(zāi)進(jìn)行有效檢測(cè)，因此在驗(yàn)證階段適當(dāng)降低分割閾值，這樣可以對(duì)片狀火災(zāi)進(jìn)行有效檢測(cè)。

32、步驟5具體按照以下步驟實(shí)施：

33、步驟5.1、在確認(rèn)火災(zāi)發(fā)生后，無(wú)人機(jī)進(jìn)行懸停，控制云臺(tái)對(duì)發(fā)生火災(zāi)地塊進(jìn)行多角度、多焦距的拍攝，利用多角度拍攝，獲得火災(zāi)現(xiàn)場(chǎng)的全面視圖，包括火勢(shì)的蔓延方向、受影響區(qū)域的大小。使用不同的焦距進(jìn)行拍攝，可以兼顧火災(zāi)現(xiàn)場(chǎng)的宏觀和微觀信息。

34、步驟5.2、將拍攝的火災(zāi)圖像進(jìn)行回傳。無(wú)人機(jī)機(jī)載端算力較弱，難以實(shí)時(shí)處理高分辨率、高質(zhì)量的圖像數(shù)據(jù)。因此機(jī)載端對(duì)拍攝圖像進(jìn)行壓縮，將壓縮后的圖像數(shù)據(jù)回傳到地面站，為火災(zāi)救援提供決策支持。

35、步驟5.3、在完成圖像回傳后，無(wú)人機(jī)系統(tǒng)自動(dòng)恢復(fù)巡檢任務(wù)，繼續(xù)對(duì)林區(qū)進(jìn)行巡檢。