本發(fā)明涉及目標檢測與跟蹤，尤其是一種基于光電融合感知的智能化無人機侵入檢測與跟蹤方法及系統(tǒng)。

背景技術：

1、無人駕駛飛機簡稱“無人機”，是利用無線電遙控設備和自備的程序控制裝置操縱的不載人飛機，或者由機載計算機完全或間歇地自主操作，具有體積小、造價低、使用方便、環(huán)境要求低等優(yōu)點。隨著無人機技術的發(fā)展與成本的不斷下降，無人機逐漸普及于各行各業(yè)，被廣泛應用于航拍攝影、農(nóng)業(yè)植保、物流運輸?shù)阮I域。然而這導致無人機對限制區(qū)域的侵入也時常發(fā)生，對公共安全造成威脅。無人機可以攜帶爆炸物、毒素或其他危險物質，被用作進行惡意襲擊、破壞的犯罪工具。無人機配備的攝像頭和傳感器可以侵犯個人和機構的隱私，可能被用于進行非法監(jiān)視、窺探或進行間諜活動。無人機的侵入可能干擾航空器的運行，妨礙正常的航空活動并對飛行員和乘客的安全構成威脅。此外，無人機操作不當、失控或墜毀也可能導致財產(chǎn)損壞，特別是在人口密集區(qū)域、建筑物附近或重要設施周圍。因此，反無人機的侵入檢測與目標跟蹤是當前社會的重要需求。

2、目標的檢測與跟蹤是目前熱門的研發(fā)熱點，其技術核心是對目標特征信息的提取和利用。無人機具有多種顯著特征，首先無人機與載人飛行器類似具有升力結構、動力源、起落架等相同的外觀特征，其次無人機的動力源如電池、電機、調速器在工作時產(chǎn)生熱量在自然背景中較為顯著，再者無人機往往需要跟外界進行通訊會主動向外界發(fā)送無線電信號，最后無人機對電磁波等具有一定的反射性。

3、根據(jù)以上特性，現(xiàn)有反無人機檢測與跟蹤方案主要有常規(guī)視覺方案、無線電偵測攔截方案和電磁波雷達掃描探測方案，以上方法均存在許多不夠完善的地方。其中，常規(guī)視覺方案實現(xiàn)相對簡單，但在復雜環(huán)境條件下(暴雨，煙霧，多建筑物或叢林背景)或者無人機采取隱身措施(紅外偽裝，環(huán)境迷彩)時效果較差。無線電偵測攔截方案作為一種被動探測方案僅在無人機主動發(fā)送無線電信號時才能起效，具有一定局限性；同時，該方案難以應對如通訊加密、使用特殊頻段、反探測干擾等無線電對抗手段。電磁波雷達掃描探測方案精度高范圍廣，但軟硬件成本較高，為實現(xiàn)較大范圍覆蓋通常配備較大的天線，體積大功耗高僅能在固定場地部署。常見雷達難以直觀的區(qū)分目標類別，如區(qū)分鳥類與無人機，往往需要配合其他方案或人工二次確認。

技術實現(xiàn)思路

1、本發(fā)明人針對上述問題及技術需求，提出了一種基于光電融合感知的智能化無人機侵入檢測與跟蹤方法及系統(tǒng)，實現(xiàn)高精度、自動化、智能化、本地實時的反無人機檢測與跟蹤，可應用于現(xiàn)實中自動化智能化周界安防的無人機實時檢測跟蹤場景。本發(fā)明的技術方案如下：

2、第一方面，本技術提供了一種基于光電融合感知的智能化無人機侵入檢測與跟蹤方法，包括如下步驟：

3、獲取當前幀的二維可見光圖像、二維紅外圖像及三維點云數(shù)據(jù)；

4、將二維可見光圖像與二維紅外圖像融合為多模態(tài)圖像；

5、對多模態(tài)圖像和三維點云數(shù)據(jù)分別進行目標檢測，以及對二者進行融合目標檢測，得到目標在圖像空間、三維空間及融合后的坐標、邊界框與類別信息；

6、對三組目標檢測輸出的邊界框進行融合，得到當前幀目標最優(yōu)檢測結果并預測目標運動軌跡；

7、若存在威脅性的可疑無人機目標，輸出控制信號對威脅性的可疑無人機目標進行持續(xù)跟蹤。

8、其進一步的技術方案為，將二維可見光圖像與二維紅外圖像融合為多模態(tài)圖像，包括：

9、二維可見光圖像與二維紅外圖像分別經(jīng)過小波變換分解為低頻分量和高頻分量；

10、二維可見光圖像與二維紅外圖像的低頻分量經(jīng)過通道相加，二維可見光圖像與二維紅外圖像的高頻分量經(jīng)過通道相加；

11、相加后的高低頻分量分別進入多頭自注意力mhsa層進行特征提取并通過mlp層壓縮通道；

12、各通道輸出特征圖進入pcnn，選取點火次數(shù)大的像素作為多模態(tài)圖像的像素，再經(jīng)過逆小波變換得到多模態(tài)圖像。

13、其進一步的技術方案為，對多模態(tài)圖像進行目標檢測，包括：

14、將多模態(tài)圖像輸入yolo骨干網(wǎng)絡，經(jīng)過多次下采樣并提取出多種尺度的特征圖；

15、多尺度特征圖輸入使用編碼層-mhsa層的特征融合金字塔網(wǎng)絡fpn；

16、各尺度輸出特征圖輸入多尺度特征融合mff模塊并輸出融合特征圖，再經(jīng)過yolo算法檢測頭進行目標檢測，最終輸出目標在圖像空間中的坐標、邊界框與類別信息。

17、其進一步的技術方案為，多尺度特征圖輸入網(wǎng)絡前，先柵格化為p×p×c的patch，得到二維向量序列patch?query，其中p為尺度、c為通道數(shù)；

18、編碼層的網(wǎng)絡操作包括：

19、q2＝xwq,k2＝xwk,v2＝xwv；

20、

21、qout＝mhsa(ln(x))+x；

22、xout＝mlp(ln(qout))+qout；

23、式中，x為patch?query中的元素，wq、wk、wv為訓練得到的線性變換矩陣，dk為k的維度，mhsa()表示多頭自注意力操作，mlp()表示壓縮操作，ln()表示歸一化操作。

24、其進一步的技術方案為，在mff模塊中，利用可訓練的權重參數(shù)對各尺度輸出特征圖中出現(xiàn)信息沖突的像素中正確的特征向量進行融合，公式為：

25、

26、式中，下標ij表示特征圖中的某像素點，表示第n層向第l層經(jīng)過融合縮放后該像素點ij處的特征向量，表示第l層該像素點ij處輸出的融合特征向量，αij、βij、γij分別為不同層級的可訓練權重參數(shù)。

27、其進一步的技術方案為，對三維點云數(shù)據(jù)進行目標檢測，包括：

28、三維點云數(shù)據(jù)依次經(jīng)過分割篩選、點云濾波、體素化的預處理操作后輸入3d特征提取網(wǎng)絡；

29、提取出的體素特征一方面在z軸方向進行壓縮，輸出二維bev特征圖；另一方面，將提取出的體素特征中不含點云的空體素剔除，對剩余的體素壓縮為序列并與體素位置信息進行編碼；

30、將輸出的特征編碼矩陣作為查詢矩陣q3，二維bev特征圖作為鍵矩陣k3和值矩陣v3輸入解碼層；

31、解碼特征輸入檢測前饋神經(jīng)網(wǎng)絡ffn進行坐標邊界框回歸與目標類別預測，最終輸出目標在三維空間中的坐標、邊界框與類別信息。

32、其進一步的技術方案為，對多模態(tài)圖像和三維點云數(shù)據(jù)進行融合目標檢測，包括：

33、從對三維點云數(shù)據(jù)進行目標檢測過程中，提取二維bev特征圖；

34、同時從對多模態(tài)圖像進行目標檢測過程中，提取mff模塊輸出的融合特征圖并與像素位置信息進行編碼；

35、將輸出的特征編碼矩陣作為查詢矩陣q4，二維bev特征圖作為鍵矩陣k3和值矩陣v3輸入解碼層；

36、解碼特征輸入檢測前饋神經(jīng)網(wǎng)絡ffn進行坐標邊界框回歸與目標類別預測，最終輸出二維與三維融合后的目標坐標、邊界框與類別信息。

37、其進一步的技術方案為，解碼層的網(wǎng)絡操作包括：

38、

39、qout＝ln(mhsa(q,k,v)+q)；

40、qfinal＝ln(ffn(qout)+qout)；

41、ffn(qout)＝relu(qoutw1+b1)w2+b2；

42、式中，dk為k的維度，ln()表示歸一化操作，w1、w2為前饋神經(jīng)網(wǎng)絡中的線性變換矩陣，b1、b2為前饋神經(jīng)網(wǎng)絡中的偏置矩陣，qfinal為解碼層輸出的解碼特征。

43、其進一步的技術方案為，對三組目標檢測輸出的邊界框進行融合，包括：

44、將三組目標檢測輸出的邊界框投影到自定義的世界坐標系中，以交并比iou為閾值確定待融合的邊界框，并以邊界框的置信度作為權重對待融合的邊界框進行兩兩加權融合，直至得到最優(yōu)的檢測結果輸出。

45、第二方面，本技術提供了一種基于光電融合感知的智能化無人機侵入檢測與跟蹤系統(tǒng)，包括：

46、數(shù)據(jù)采集裝置，包括廣角可見光相機、變焦可見光相機、變焦紅外相機與激光雷達；變焦可見光相機、變焦紅外相機與激光雷達用于采集監(jiān)測區(qū)域內(nèi)待測目標的二維可見光圖像、二維紅外圖像及三維點云數(shù)據(jù)，廣角可見光相機用于在檢測跟蹤目標時提供全局視野；

47、計算模塊，用于實現(xiàn)如第一方面的基于光電融合感知的智能化無人機侵入檢測與跟蹤方法；

48、運動云臺，包括兩個由計算模塊控制的機械旋轉結構，根據(jù)計算模塊輸出的控制信號分別負責數(shù)據(jù)采集裝置的俯仰與偏航方向運動。

49、本發(fā)明的有益技術效果是：

50、本技術提出的一種基于光電融合感知的智能化無人機侵入檢測與跟蹤方法及系統(tǒng)，該系統(tǒng)在可見光和紅外融合視覺的基礎上引入體積小、功耗低的激光雷達探測，將利用激光回波探測的高精度三維點云數(shù)據(jù)與二維圖像聯(lián)系起來，建立光電融合感知數(shù)字化檢測空間，配合深度學習算法與運動云臺實現(xiàn)本地的高精度實時自動無人機探測跟蹤。相比于現(xiàn)有方案，本系統(tǒng)利用成熟的可見光與紅外相機、激光雷達，以較低的成本兼顧了可見光相機與紅外相機成像方案與電磁波雷達掃描方案的優(yōu)秀特性，克服復雜環(huán)境同時具有較高的檢測精度，對威脅性無人機目標的漏檢率低于1％、跟蹤準確率高達98％。此外，本系統(tǒng)集成了計算模塊，能夠實現(xiàn)現(xiàn)代神經(jīng)網(wǎng)絡的邊緣端部署，ai賦能反無人機檢測與跟蹤，避免大量數(shù)據(jù)傳輸與上位機算力依賴，能夠實現(xiàn)機動靈活的部署與實時自動化檢測，可遠程或無人值守，滿足實際智能化反無人機安防需求。