本發(fā)明涉及一種基于fpga和改進yolo的無人機智能監(jiān)測野生動物方法，屬于無人機監(jiān)測。

背景技術(shù)：

1、隨著生態(tài)環(huán)境保護意識的提高，對野生動物種群的監(jiān)測和管理變得越來越重要。傳統(tǒng)的人員深入環(huán)境進行監(jiān)測的方法耗時耗力，無人機的使用減少了人員深入險要環(huán)境進行實地踏查的安全風(fēng)險，同時降低了對野生動物的干擾。fpga可以實時處理圖像數(shù)據(jù)且具有并行數(shù)據(jù)處理能力，可以快速處理無人機上搭載的攝像頭收集的大量數(shù)據(jù)，在fpga中部署改進yolo?v9模型可以用于實現(xiàn)復(fù)雜的圖像識別算法，自動識別野生動物，提高監(jiān)測的準(zhǔn)確性。

2、野生動物監(jiān)測需要實時收集和分析大量數(shù)據(jù)。與通用處理器相比，fpga中部署改進yolo?v9模型在處理速度、能耗和定制化方面具有顯著優(yōu)勢，特別適合實時圖像處理和信號處理任務(wù)。

3、野生動物體型差距較大，為了提高了對小型野生動物或遠(yuǎn)距離動物的檢測能力，提出了在yolo?v9中加入特征金字塔結(jié)構(gòu)和多尺度注意力機制。

4、野生動物生活環(huán)境復(fù)雜，fpga允許用戶根據(jù)特定的監(jiān)測需求定制硬件邏輯，這使得無人機監(jiān)測系統(tǒng)可以針對不同的野生動物和環(huán)境進行優(yōu)化，同時fpga還具有并行數(shù)據(jù)處理能力，可以快速處理無人機上搭載的攝像頭收集的大量數(shù)據(jù)，實現(xiàn)實時監(jiān)測和跟蹤。

技術(shù)實現(xiàn)思路

1、本發(fā)明要解決的技術(shù)問題是提供一種基于fpga和改進yolo的無人機智能監(jiān)測野生動物方法，實現(xiàn)野生動物種群的監(jiān)測。

2、本發(fā)明的技術(shù)方案是：一種基于fpga和改進yolo的無人機智能監(jiān)測野生動物方法，包括：

3、step1：通過無人機采集野生動物的紅外圖像和可見光圖像，構(gòu)建野生動物圖像數(shù)據(jù)集，利用野生動物圖像數(shù)據(jù)集訓(xùn)練生成對抗網(wǎng)絡(luò)(gan)，進行可見光圖像和紅外光圖像融合，得到可見光紅外光融合圖像，將可見光紅外光融合圖像作為數(shù)據(jù)集并進行標(biāo)注，生成邊界框和類別信息；

4、用無人機采集大量數(shù)據(jù)集能夠提供更多的數(shù)據(jù)變化，從而減少過擬合，提高泛化能力，以保證改進yolov9模型的監(jiān)測精度。

5、step2：將標(biāo)注后的可見光紅外光融合圖像送入改進yolov9模型中進行訓(xùn)練，并在測試集上評估改進yolov9模型的性能，根據(jù)評估結(jié)果調(diào)整模型結(jié)構(gòu)或訓(xùn)練策略；

6、step3：將訓(xùn)練好的改進yolov9模型部署到fpga中；

7、step4：利用無人機上的紅外一體化攝像機開始對野生動物進行監(jiān)測，針對特定目標(biāo)進行跟蹤，最終將結(jié)果傳輸?shù)浇K端設(shè)備上。

8、所述紅外一體化攝像機用于獲取圖像，它能夠在白天和夜晚自動切換，白天使用可見光進行成像，夜晚或光線不好時則利用紅外燈進行照明，實現(xiàn)夜視監(jiān)控且具備良好的防水和防塵性能，適合戶外環(huán)境使用。

9、所述改進yolo?v9模型是指在yolo?v9模型中加入特征金字塔結(jié)構(gòu)和多尺度注意力機制。

10、金字塔結(jié)構(gòu)能夠有效地解決目標(biāo)在圖像中尺度不一致的問題，提高了目標(biāo)檢測的魯棒性和準(zhǔn)確性。其次，通過特征金字塔結(jié)構(gòu)，算法可以對不同尺度的特征進行融合，從而提高了對小型野生動物或遠(yuǎn)距離動物的檢測能力。

11、多尺度注意力機制可以增強小型野生動物的特征，提高模型對它們的識別能力，對于大型野生動物，則可以幫助模型在這些尺度上更準(zhǔn)確地定位物體。

12、所述野生動物圖像數(shù)據(jù)集覆蓋了白天和晚上的野生動物活動場景，包括環(huán)境、光照條件和角度。將數(shù)據(jù)集劃分為10份，其中9份作為訓(xùn)練集，1份作為測試集，循環(huán)10次，計算均值后得到模型評估結(jié)果。

13、所述生成對抗網(wǎng)絡(luò)選擇的損失函數(shù)用來評價融合圖像的性能，損失函數(shù)包括對抗損失和內(nèi)容損失。

14、所述生成對抗網(wǎng)絡(luò)中設(shè)置有兩個鑒別器，一個用于區(qū)分融合圖像和紅外圖像，另一個用于區(qū)分融合圖像和可見光圖像，這兩個鑒別器使融合圖像具有可見光圖像的高分辨率細(xì)節(jié)和紅外圖像的高亮顯著區(qū)域。由于可見光和紅外圖像是由不同的傳感器捕捉的，因此關(guān)注的重要特征也不同。紅外圖像能夠更加關(guān)注輸入圖像的強度分布，可見光圖像側(cè)重于輸入圖像的紋理信息。生成器通過不斷的對抗學(xué)習(xí)，同時使用可見光圖像的紋理信息和紅外圖像的像素強度分布來生成融合結(jié)果

15、所述改進yolov9模型的訓(xùn)練過程包括：首先從訓(xùn)練數(shù)據(jù)集中加載圖像和標(biāo)注信息，并通過yolov9模型進行前向傳播，獲取預(yù)測的邊界框和類別概率，然后根據(jù)預(yù)測結(jié)果和真實標(biāo)注計算損失，再根據(jù)損失對模型參數(shù)進行反向傳播，最后計算梯度，使用優(yōu)化器更新模型參數(shù)。

16、改進yolov9模型避免了使用耗時的滑動窗口或復(fù)雜的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，檢測速度非?？欤貏e適合實時目標(biāo)監(jiān)測任務(wù)。不僅可以通過特征金字塔結(jié)構(gòu)和多尺度注意力機制來提高對小目標(biāo)的檢測效果，有利于對小型野生動物的監(jiān)測，還可以通過在不同尺度上分析圖像，減少由于尺度差異導(dǎo)致的誤檢和漏檢問題。

17、所述生成對抗網(wǎng)絡(luò)包括：

18、圖像處理模塊，用于對采集到的圖像進行預(yù)處理；

19、clk時鐘模塊，用于為fpga產(chǎn)生時鐘信號；

20、電源模塊，用于為fpga提供電源；

21、sdram存儲模塊，用于存儲采集到的圖像。

22、所述預(yù)處理包括中值濾波、同態(tài)濾波和雙邊濾波，先使用中值濾波去除噪聲，然后使用雙邊濾波保留細(xì)節(jié)，最后使用同態(tài)濾波改善對比度。

23、中值濾波是一種圖像處理算法，用于去除圖像中的噪聲，它通過根據(jù)像素周圍的領(lǐng)域信息動態(tài)地調(diào)整濾波器的大小，從而適應(yīng)不同的圖像區(qū)域和噪聲強度。

24、雙邊濾波是一種非線性濾波技術(shù)，它能夠在去除噪聲的同時保留邊緣信息，它的優(yōu)勢在于它能夠區(qū)分高頻信號和噪聲，從而避免在去噪過程中模糊圖像的邊緣。

25、同態(tài)濾波采用了一種線性濾波在不同域中的非線性映射，用于改善圖像的對比度，減少光照不均的影響。

26、本發(fā)明的有益效果是：本發(fā)明不僅能夠提高野生動物監(jiān)測的效率和準(zhǔn)確性，還能夠促進對生態(tài)系統(tǒng)的理解和保護。無人機的使用減少了人員深入險要環(huán)境進行實地踏查的安全風(fēng)險，同時降低了對野生動物的干擾。此外無人機監(jiān)測有助于識別和保護瀕危物種，還可以對一些保護動物進行跟蹤，實時掌握它的動態(tài)。這不僅能維護生態(tài)系統(tǒng)的多樣性，還能提供有關(guān)動物行為、生態(tài)習(xí)性和物種間相互作用的重要數(shù)據(jù)，推動生物學(xué)和生態(tài)學(xué)的研究。

技術(shù)特征：

1.一種基于fpga和改進yolo的無人機智能監(jiān)測野生動物方法，其特征在于，所述方法包括：

2.根據(jù)權(quán)利要求1所述的基于fpga和改進yolo的無人機智能監(jiān)測野生動物方法，其特征在于：所述改進yolo?v9模型是指在yolo?v9模型中加入特征金字塔結(jié)構(gòu)和多尺度注意力機制。

3.根據(jù)權(quán)利要求1所述的基于fpga和改進yolo的無人機智能監(jiān)測野生動物方法，其特征在于：所述野生動物圖像數(shù)據(jù)集覆蓋了白天和晚上的野生動物活動場景，包括環(huán)境、光照條件和角度。

4.根據(jù)權(quán)利要求1所述的基于fpga和改進yolo的無人機智能監(jiān)測野生動物方法，其特征在于：所述生成對抗網(wǎng)絡(luò)選擇的損失函數(shù)用來評價融合圖像的性能，損失函數(shù)包括對抗損失和內(nèi)容損失。

5.根據(jù)權(quán)利要求1所述的基于fpga和改進yolo的無人機智能監(jiān)測野生動物方法，其特征在于：所述生成對抗網(wǎng)絡(luò)中設(shè)置有兩個鑒別器，一個用于區(qū)分融合圖像和紅外圖像，另一個用于區(qū)分融合圖像和可見光圖像，這兩個鑒別器使融合圖像具有可見光圖像的高分辨率細(xì)節(jié)和紅外圖像的高亮顯著區(qū)域。

6.根據(jù)權(quán)利要求1所述的基于fpga和改進yolo的無人機智能監(jiān)測野生動物方法，其特征在于，所述改進yolov9模型的訓(xùn)練過程包括：首先從訓(xùn)練數(shù)據(jù)集中加載圖像和標(biāo)注信息，并通過yolov9模型進行前向傳播，獲取預(yù)測的邊界框和類別概率，然后根據(jù)預(yù)測結(jié)果和真實標(biāo)注計算損失，再根據(jù)損失對模型參數(shù)進行反向傳播，最后計算梯度，使用優(yōu)化器更新模型參數(shù)。

7.根據(jù)權(quán)利要求1所述的基于fpga和改進yolo的無人機智能監(jiān)測野生動物方法，其特征在于，所述生成對抗網(wǎng)絡(luò)包括：

8.根據(jù)權(quán)利要求7所述的基于fpga和改進yolo的無人機智能監(jiān)測野生動物方法，其特征在于，所述預(yù)處理包括中值濾波、同態(tài)濾波和雙邊濾波，先使用中值濾波去除噪聲，然后使用雙邊濾波保留細(xì)節(jié)，最后使用同態(tài)濾波改善對比度。

技術(shù)總結(jié)
本發(fā)明涉及一種基于FPGA和改進YOLO的無人機智能監(jiān)測野生動物方法，屬于無人機監(jiān)測技術(shù)領(lǐng)域。首先用無人機采集野生動物的紅外和可見光圖像，構(gòu)建野生動物圖像數(shù)據(jù)集，利用野生動物圖像數(shù)據(jù)集訓(xùn)練生成對抗網(wǎng)絡(luò)(GAN)進行可見光和紅外光圖像融合，將生成對抗網(wǎng)絡(luò)生成的可見光紅外光融合圖像作為數(shù)據(jù)集并進行標(biāo)注，生成邊界框和類別信息；再將融合后的圖像送入改進YOLO?v9模型中進行訓(xùn)練，并在測試集上評估改進YOLO?v9模型的性能，根據(jù)評估結(jié)果調(diào)整模型結(jié)構(gòu)或訓(xùn)練策略；然后將訓(xùn)練好的改進YOLO?v9模型部署到FPGA中；最后利用無人機上的紅外一體化攝像機開始對野生動物進行監(jiān)測，還可以針對特定目標(biāo)進行跟蹤，最終將結(jié)果傳輸?shù)浇K端設(shè)備上。

技術(shù)研發(fā)人員：宋健,石紀(jì)輝,謝杰,顧業(yè)博,王青旺,沈韜
受保護的技術(shù)使用者：昆明理工大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/30