本發(fā)明涉及茶葉蟲害識別預(yù)測，特別指一種融合多模態(tài)信息的茶葉蟲害識別預(yù)測方法。

背景技術(shù)：

1、茶樹優(yōu)渥的生態(tài)環(huán)境，容易導(dǎo)致茶葉滋生出復(fù)雜多樣的害蟲，而害蟲直接關(guān)系到茶葉的產(chǎn)量和品質(zhì)，因此需要對害蟲進(jìn)行防治，為了對害蟲進(jìn)行有針對性的防治，需要對害蟲進(jìn)行識別。

2、隨著深度學(xué)習(xí)、物聯(lián)網(wǎng)、大數(shù)據(jù)等技術(shù)的發(fā)展，農(nóng)業(yè)害蟲智慧化防治領(lǐng)域發(fā)展迅速。目前，針對茶葉害蟲的識別，主要通過分析茶葉圖像中的害蟲特征(圖像特征)進(jìn)行識別，但現(xiàn)有的識別算法難以處理高分辨率圖像，提取害蟲特征方面存在局限性，且存在多尺度變化適應(yīng)性差、重要信息易丟失等問題，導(dǎo)致茶葉蟲害的識別準(zhǔn)確度欠佳；且傳統(tǒng)上無法對害蟲的生長情況進(jìn)行預(yù)測，即無法預(yù)測未來的害蟲數(shù)量，進(jìn)而無法有效的調(diào)整防治措施，例如若可以預(yù)測到害蟲要大肆生長，此時(shí)可以適當(dāng)增加滅蟲藥劑的藥劑濃度。

3、因此，如何提供一種融合多模態(tài)信息的茶葉蟲害識別預(yù)測方法，實(shí)現(xiàn)提升茶葉蟲害識別準(zhǔn)確度，并預(yù)測害蟲數(shù)量，成為一個(gè)亟待解決的技術(shù)問題。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明要解決的技術(shù)問題，在于提供一種融合多模態(tài)信息的茶葉蟲害識別預(yù)測方法，實(shí)現(xiàn)提升茶葉蟲害識別準(zhǔn)確度，并預(yù)測害蟲數(shù)量。

2、本發(fā)明是這樣實(shí)現(xiàn)的：一種融合多模態(tài)信息的茶葉蟲害識別預(yù)測方法，包括如下步驟：

3、步驟s1、采集大量包含不同類型和數(shù)量的害蟲的茶葉圖像、各所述茶葉圖像對應(yīng)的歷史環(huán)境數(shù)據(jù)，對各所述茶葉圖像進(jìn)行預(yù)處理后構(gòu)建圖像數(shù)據(jù)集，基于各所述歷史環(huán)境數(shù)據(jù)以及茶葉圖像構(gòu)建環(huán)境數(shù)據(jù)集；

4、步驟s2、將所述圖像數(shù)據(jù)集劃分為訓(xùn)練集、測試集以及驗(yàn)證集；

5、步驟s3、基于yolov8n網(wǎng)絡(luò)的輸入模塊、特征提取模塊、頸部模塊以及頭部模塊創(chuàng)建一茶葉蟲害識別模型，設(shè)定所述茶葉蟲害識別模型的損失函數(shù)為wiouv3函數(shù)；

6、所述特征提取模塊設(shè)有scconv單元構(gòu)成；所述頸部模塊設(shè)有ema單元；所述頭部模塊設(shè)有邊界框回歸層以及分類層；

7、步驟s4、通過所述訓(xùn)練集對茶葉蟲害識別模型進(jìn)行訓(xùn)練，通過所述測試集對訓(xùn)練后的茶葉蟲害識別模型進(jìn)行測試，通過所述驗(yàn)證集對測試后的茶葉蟲害識別模型進(jìn)行驗(yàn)證；通過所述環(huán)境數(shù)據(jù)集擬合得到蟲害數(shù)量預(yù)測函數(shù)；

8、步驟s5、通過驗(yàn)證后的所述茶葉蟲害識別模型進(jìn)行茶葉蟲害識別，通過擬合的所述蟲害數(shù)量預(yù)測函數(shù)進(jìn)行茶葉蟲害數(shù)量的預(yù)測。

9、進(jìn)一步的，所述步驟s1具體為：

10、采集大量包含不同類型和數(shù)量的害蟲的茶葉圖像、各所述茶葉圖像對應(yīng)的環(huán)境數(shù)據(jù)，通過labelimg對各所述茶葉圖像進(jìn)行害蟲邊界框、害蟲類型、害蟲數(shù)量的標(biāo)注，對標(biāo)注后的各所述茶葉圖像進(jìn)行亮度調(diào)整、對比度調(diào)整或者隨機(jī)旋轉(zhuǎn)的樣本擴(kuò)充操作，進(jìn)而完成各所述茶葉圖像的預(yù)處理，基于預(yù)處理后的各所述茶葉圖像構(gòu)建數(shù)據(jù)集；

11、基于各所述歷史環(huán)境數(shù)據(jù)以及對應(yīng)茶葉圖像的害蟲類型、害蟲數(shù)量構(gòu)建環(huán)境數(shù)據(jù)集；

12、所述歷史環(huán)境數(shù)據(jù)至少包括相對濕度、降雨概率、氣壓、降雪量、日降雨量、月降雨量、風(fēng)向、風(fēng)級、風(fēng)速、日出時(shí)間、日落時(shí)間、實(shí)時(shí)溫度、體感溫度、紫外線強(qiáng)度、能見度、光輻射量、日照時(shí)長、夜間時(shí)長、co2濃度、pm2.5值以及pm10值。

13、進(jìn)一步的，所述步驟s2具體為：

14、基于6：2：2的比例將所述圖像數(shù)據(jù)集劃分為訓(xùn)練集、測試集以及驗(yàn)證集。

15、進(jìn)一步的，所述步驟s3中，所述輸入模塊用于茶葉圖像的輸入；所述特征提取模塊用于從茶葉圖像中提取蟲害特征；所述頸部模塊用于融合提取的各蟲害特征；所述頭部模塊用于輸出蟲害識別結(jié)果。

16、進(jìn)一步的，所述步驟s3中，所述wiouv3函數(shù)的公式為：

17、lwiouv3＝rlwiouv1；

18、r＝β/δαβ-δ；

19、

20、lwiouv1＝rwiouliou；

21、

22、其中，lwiouv3表示wiouv3函數(shù)的損失值；r表示非單調(diào)聚焦系數(shù)；lwiouv1表示wiouv1函數(shù)的損失值；β表示離群系數(shù)；α和δ均表示控制模型特性的超參數(shù)；表示lwiouv1的單調(diào)聚焦系數(shù)；表示動量為m的滑動平均值；rwiou∈[1,e)，表示質(zhì)量被增強(qiáng)的普通錨框；liou表示質(zhì)量被降低的高質(zhì)量錨框；(x,y)表示普通錨框左上角的坐標(biāo)；(xgt,ygt)表示目標(biāo)框左上角的坐標(biāo)；wg表示害蟲邊界框的寬；hg表示害蟲邊界框的高；表示穩(wěn)定收斂因子。

23、進(jìn)一步的，所述步驟s3中，所述scconv單元由sru子單元以及cru子單元構(gòu)成；所述sru子單元與cru子單元連接；

24、所述sru子單元用于抑制茶葉圖像的空間冗余；所述cru子單元用于抑制茶葉圖像的通道冗余。

25、進(jìn)一步的，所述步驟s3中，所述ema單元由1×1卷積子單元、3×3卷積子單元以及跨空間學(xué)習(xí)子單元構(gòu)成。

26、進(jìn)一步的，所述步驟s3中，所述邊界框回歸層用于害蟲位置的預(yù)測，輸出預(yù)測的害蟲邊界框；

27、所述分類層用于害蟲類型的預(yù)測。

28、進(jìn)一步的，所述步驟s4具體為：

29、通過所述訓(xùn)練集對茶葉蟲害識別模型進(jìn)行訓(xùn)練，訓(xùn)練過程中不斷優(yōu)化所述茶葉蟲害識別模型至少包括隨機(jī)失活率、權(quán)值衰減率以及學(xué)習(xí)率的超參數(shù)，直至所述損失函數(shù)的損失值小于預(yù)設(shè)的損失閾值；

30、通過所述測試集對訓(xùn)練后的茶葉蟲害識別模型進(jìn)行測試，判斷識別準(zhǔn)確度是否大于預(yù)設(shè)的準(zhǔn)確度閾值，若否，則擴(kuò)充所述訓(xùn)練集繼續(xù)訓(xùn)練；若是，則：

31、通過所述驗(yàn)證集計(jì)算測試后的茶葉蟲害識別模型的精度、召回率、f1分值、平均精度以及平均精度均值，通過所述精度、召回率、f1分值、平均精度以及平均精度均值對茶葉蟲害識別模型的性能進(jìn)行驗(yàn)證；

32、將所述環(huán)境數(shù)據(jù)集中的害蟲數(shù)量作為因變量，將所述環(huán)境數(shù)據(jù)集中的害蟲類型以及歷史環(huán)境數(shù)據(jù)作為自變量，對各所述因變量以及自變量進(jìn)行擬合，得到各所述自變量對應(yīng)的權(quán)重系數(shù)，進(jìn)而得到蟲害數(shù)量預(yù)測函數(shù)。

33、進(jìn)一步的，所述步驟s5具體為：

34、獲取待識別茶葉圖像以及待識別茶葉圖像對應(yīng)的實(shí)時(shí)環(huán)境數(shù)據(jù)，對所述待識別茶葉圖像進(jìn)行圖像增強(qiáng)的預(yù)處理后，將所述待識別茶葉圖像輸入驗(yàn)證后的茶葉蟲害識別模型，輸出至少攜帶害蟲邊界框、害蟲類型、識別時(shí)間的茶葉蟲害識別結(jié)果；將所述實(shí)時(shí)環(huán)境數(shù)據(jù)輸入蟲害數(shù)量預(yù)測函數(shù)，輸出害蟲數(shù)量預(yù)測曲線。

35、本發(fā)明的優(yōu)點(diǎn)在于：

36、1、通過采集大量包含不同類型和數(shù)量的害蟲的茶葉圖像，對各茶葉圖像進(jìn)行預(yù)處理后構(gòu)建數(shù)據(jù)集，將數(shù)據(jù)集劃分為訓(xùn)練集、測試集以及驗(yàn)證集；接著基于yolov8n網(wǎng)絡(luò)的輸入模塊、特征提取模塊、頸部模塊以及頭部模塊創(chuàng)建茶葉蟲害識別模型，設(shè)定茶葉蟲害識別模型的損失函數(shù)為wiouv3函數(shù)；特征提取模塊設(shè)有scconv單元構(gòu)成；頸部模塊設(shè)有ema單元；頭部模塊設(shè)有邊界框回歸層以及分類層；接著通過訓(xùn)練集對茶葉蟲害識別模型進(jìn)行訓(xùn)練，通過測試集對訓(xùn)練后的茶葉蟲害識別模型進(jìn)行測試，通過驗(yàn)證集對測試后的茶葉蟲害識別模型進(jìn)行驗(yàn)證，最后通過驗(yàn)證后的茶葉蟲害識別模型進(jìn)行茶葉蟲害識別；即通過wiouv3函數(shù)代替?zhèn)鹘y(tǒng)的ciou函數(shù)，引入非單調(diào)聚焦系數(shù)來更精確的描述預(yù)測框(預(yù)測的害蟲邊界框)與真實(shí)框(真實(shí)的害蟲邊界框)之間的邊界差異，提高對小目標(biāo)的檢測效果，優(yōu)化訓(xùn)練過程并增強(qiáng)茶葉蟲害識別模型的泛化能力；通過scconv單元改進(jìn)傳統(tǒng)特征提取模塊的網(wǎng)絡(luò)結(jié)構(gòu)，豐富空間信息和通道信息、抑制冗余特征(空間冗余、通道冗余)，以保持較高的精準(zhǔn)度，并降低茶葉蟲害識別模型的參數(shù)量；通過在頸部模塊引入ema單元，有效學(xué)習(xí)不同特征語義，實(shí)現(xiàn)全局上下文的多尺度像素級注意，使得茶葉蟲害識別模型更加關(guān)注目標(biāo)區(qū)域(害蟲)，提升茶葉蟲害識別模型對小目標(biāo)、多目標(biāo)和干擾目標(biāo)的識別精準(zhǔn)度，即通過改進(jìn)的yolov8n網(wǎng)絡(luò)創(chuàng)建的茶葉蟲害識別模型進(jìn)行茶葉蟲害識別，最終極大的提升了茶葉蟲害識別準(zhǔn)確度。

37、2、通過采集大量的茶葉圖像、各茶葉圖像對應(yīng)的歷史環(huán)境數(shù)據(jù)，基于各歷史環(huán)境數(shù)據(jù)以及對應(yīng)茶葉圖像標(biāo)注的害蟲類型、害蟲數(shù)量構(gòu)建環(huán)境數(shù)據(jù)集；將環(huán)境數(shù)據(jù)集中的害蟲數(shù)量作為因變量，將環(huán)境數(shù)據(jù)集中的害蟲類型以及歷史環(huán)境數(shù)據(jù)作為自變量，對各因變量以及自變量進(jìn)行擬合，得到各自變量對應(yīng)的權(quán)重系數(shù)，進(jìn)而得到蟲害數(shù)量預(yù)測函數(shù)，后續(xù)通過蟲害數(shù)量預(yù)測函數(shù)即可進(jìn)行害蟲數(shù)量的預(yù)測，即實(shí)現(xiàn)依據(jù)環(huán)境數(shù)據(jù)預(yù)測害蟲數(shù)量。

38、3、通過茶葉蟲害識別模型對茶葉蟲害進(jìn)行識別，通過蟲害數(shù)量預(yù)測函數(shù)對茶葉蟲害的害蟲生長數(shù)量進(jìn)行預(yù)測，融合了茶葉圖像和環(huán)境數(shù)據(jù)的多模態(tài)信息，能針對不同環(huán)境下的不同害蟲進(jìn)行針對性的防治，有效提升蟲害防治效果。

39、4、通過對標(biāo)注后的各茶葉圖像進(jìn)行亮度調(diào)整、對比度調(diào)整或者隨機(jī)旋轉(zhuǎn)的樣本擴(kuò)充操作，充足的樣本量能有效防止茶葉蟲害識別模型訓(xùn)練過度擬合，進(jìn)而有效提升茶葉蟲害識別模型的泛化能力。

40、5、通過在茶葉蟲害識別模型訓(xùn)練過程中不斷優(yōu)化至少包括隨機(jī)失活率、權(quán)值衰減率以及學(xué)習(xí)率的超參數(shù)，通過測試集對訓(xùn)練后的茶葉蟲害識別模型的識別準(zhǔn)確度進(jìn)行測試，通過驗(yàn)證集計(jì)算測試后的茶葉蟲害識別模型的精度、召回率、f1分值、平均精度以及平均精度均值，以對茶葉蟲害識別模型的性能進(jìn)行驗(yàn)證，即在茶葉蟲害識別模型訓(xùn)練過程中進(jìn)行多維度的優(yōu)化和校驗(yàn)，進(jìn)而極大的提升了茶葉蟲害識別準(zhǔn)確度。

41、6、通過對待識別茶葉圖像進(jìn)行圖像增強(qiáng)的預(yù)處理后，再輸入茶葉蟲害識別模型進(jìn)行茶葉蟲害的識別，進(jìn)一步提升茶葉蟲害識別準(zhǔn)確度。