本發(fā)明涉及智能植保農(nóng)業(yè)裝備和農(nóng)業(yè)機(jī)器人領(lǐng)域，具體涉及一種基于卷積神經(jīng)網(wǎng)絡(luò)的雜草識別方法、系統(tǒng)與噴藥除草中的應(yīng)用(田間雜草精準(zhǔn)噴藥方法與系統(tǒng))。

背景技術(shù)：

1、雜草是農(nóng)業(yè)生產(chǎn)中一個主要的挑戰(zhàn)因素，具有適應(yīng)性強(qiáng)、繁殖性強(qiáng)、生長發(fā)育快等特點(diǎn),雜草在作物生長過程中與作物競爭有限的營養(yǎng)和陽光，嚴(yán)重制約著農(nóng)作物早期的生長和發(fā)育，并對農(nóng)業(yè)生產(chǎn)中有限的資源造成損失和浪費(fèi)。此外，雜草的存在也為病蟲害的生長提供了傳播的媒介，容易導(dǎo)致病蟲害爆發(fā)，降低作物產(chǎn)量和品質(zhì)。因此，雜草防治是田間作物早期管理的一項主要任務(wù)，在作物生長早期精準(zhǔn)去除雜草對農(nóng)作物的生長具有重要意義。

2、田間除草技術(shù)主要分為人工除草、機(jī)械除草和化學(xué)除草，人工除草是指通過人工勞動來清除雜草，而不是使用化學(xué)藥劑或機(jī)械設(shè)備，但人工除草勞動強(qiáng)度大、勞動效率低下，而且隨著人口老齡化加劇和勞動力短缺等問題，人工除草的成本也越來越高；機(jī)械除草是一種綠色可持續(xù)的除草方式，是田間除草最理想化方式。但機(jī)械除草時存在許多問題，例如除草刀作業(yè)時需深入土壤層中進(jìn)行除草，作業(yè)阻力較大，機(jī)械除草時擾動土壤層中的作物根系，影響作物早期的生長，對作物附近的雜草以及株間雜草難以清除，適宜大面積農(nóng)田除草作業(yè)；化學(xué)除草是利用化學(xué)藥劑來控制或清除雜草的方法，目前該方法廣泛使用，多采用噴霧機(jī)大面積無差別噴施除草劑來進(jìn)行田間除草，該方法成本低，效率高，但大面積噴灑農(nóng)藥不僅造成了大量的農(nóng)藥浪費(fèi)、污染環(huán)境，還造成農(nóng)田大面積農(nóng)藥殘留，不利于現(xiàn)代農(nóng)業(yè)的可持續(xù)化發(fā)展。因此，進(jìn)行精準(zhǔn)變量噴藥不僅有效實(shí)現(xiàn)雜草防治，還能減少除草劑的使用和對環(huán)境的污染。

3、針對目前大面積噴灑農(nóng)藥造成的農(nóng)藥浪費(fèi)、環(huán)境污染的問題和單一的精準(zhǔn)噴藥造成的無法高效殺死田間雜草的問題，本發(fā)明采用計算機(jī)視覺技術(shù)和直角坐標(biāo)機(jī)械臂共同實(shí)現(xiàn)精準(zhǔn)變量噴藥進(jìn)行雜草的分級噴藥處理，有效改善了農(nóng)藥浪費(fèi)和環(huán)境污染問題。

技術(shù)實(shí)現(xiàn)思路

1、為了克服上述不足，本發(fā)明提供一種基于卷積神經(jīng)網(wǎng)絡(luò)的雜草識別方法、系統(tǒng)與噴藥除草中的應(yīng)用。本發(fā)明所述雜草識別方法、系統(tǒng)采用基于yolov8-seg的雜草識別分割模型，對田間小目標(biāo)的檢測能力、識別準(zhǔn)確度、模型參數(shù)量等問題進(jìn)行了針對性優(yōu)化改進(jìn)，其在噴藥除草中的應(yīng)用涉及的精準(zhǔn)噴藥方法、系統(tǒng)，包括用于雜草定位、分級、規(guī)劃的雜草定位分級算法和用于實(shí)現(xiàn)精準(zhǔn)噴藥的精準(zhǔn)變量噴藥方法，旨在精準(zhǔn)高效除草的同時減少除草劑的使用及對環(huán)境的污染。

2、本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案為：

3、基于卷積神經(jīng)網(wǎng)絡(luò)的雜草識別方法，包括

4、s1創(chuàng)建數(shù)據(jù)集

5、利用相機(jī)采集田間圖像至少1000張，然后對采集圖像進(jìn)行數(shù)據(jù)增強(qiáng)；

6、所述數(shù)據(jù)增強(qiáng)方式包括旋轉(zhuǎn)、剪裁、鏡像、縮放、平移中的任一種或其組合，獲得數(shù)據(jù)增強(qiáng)后的圖像集；

7、對增強(qiáng)后的圖像集進(jìn)行作物與雜草的標(biāo)注，并保存相應(yīng)的標(biāo)簽文件；

8、按照7:2:1的比例隨機(jī)選取圖像以及對應(yīng)的標(biāo)簽文件將所述圖像集劃分為訓(xùn)練集、驗(yàn)證集、測試集；

9、s2建立雜草識別模型

10、建立基于卷積神經(jīng)網(wǎng)絡(luò)的雜草識別模型；

11、所述雜草識別模型為基于yolov8-seg的雜草識別模型；

12、所述雜草識別模型的主干網(wǎng)絡(luò)從輸入層開始，首先通過卷積和最大池化層(conv_maxpool|0)對輸入數(shù)據(jù)進(jìn)行初步處理，然后通過主干特征提取模塊(triple?shuffleblock|1、3、5、6)進(jìn)行主干特征提取，接著通過高級特征提取模塊(starblock|2、4)進(jìn)行進(jìn)一步前向傳播，然后經(jīng)過分支處理層將主干網(wǎng)絡(luò)輸出的特征與上采樣層的特征進(jìn)行拼接，通過特征融合模塊(sppf|7)進(jìn)行特征融合，得到多個不同尺寸的特征圖，再經(jīng)輸出層處理后最終輸出為識別后的雜草圖像；

13、所述雜草識別模型采用輕量級主干網(wǎng)絡(luò)shufflenetv2與starnet共同建立輕量級主干網(wǎng)絡(luò)：通過triple?shuffleblock和starblock模塊進(jìn)行特征提取和主干網(wǎng)絡(luò)簡化；

14、所述主干特征提取模塊(triple?shuffleblock)通過輕量級主干網(wǎng)絡(luò)shufflenetv2模塊中shuffleblock改進(jìn)而來，所述triple?shuffleblock模塊包括三個并行分支同時定義了劃分比，通過合理分配不同類型卷積操作的計算資源，使每個分支分別執(zhí)行不同的卷積操作，然后將各分支輸出進(jìn)行連接和通道融合；

15、所述高級特征提取模塊(starblock)采用深度可分離卷積、并行全連接層和元素級乘法的結(jié)構(gòu)，結(jié)合殘差連接設(shè)計，以實(shí)現(xiàn)更高效的特征提取和融合；所述starblock模塊通過starnet改進(jìn)而來；

16、所述基于yolov8-seg的雜草識別模型的分支處理過程包括：

17、第一個分支，特征圖首先經(jīng)過上采樣層(upsample|8)，然后與先前某層的輸出拼接(concat|9)，并通過eca層(eca|10)進(jìn)行特征增強(qiáng)，接著經(jīng)過c2f_star層(c2f_star|11)進(jìn)一步處理，再進(jìn)行一次上采樣(upsample|12)和拼接(concat|13)，通過eca層(eca|14)增強(qiáng)特征，最后經(jīng)過c2f_star層(c2f_star|15)和卷積層(conv|16)得到第一個分割結(jié)果(segment)；

18、第二個分支中，特征圖直接與先前某層的輸出拼接(concat|17)，通過eca層(eca|18)進(jìn)行特征增強(qiáng)，經(jīng)過c2f_star層(c2f_star|19)和卷積層(conv|20)處理后得到第二個分割結(jié)果(segment)；

19、第三個分支，特征圖同樣先與先前某層的輸出拼接(concat|21)，通過eca層(eca|22)進(jìn)行特征增強(qiáng)，再經(jīng)c2f_star層(c2f_star|23)處理，最終得到第三個分割結(jié)果(segment)；

20、整個處理過程充分利用多次特征提取、增強(qiáng)和聚合操作，實(shí)現(xiàn)對輸入圖像數(shù)據(jù)的精準(zhǔn)分割；

21、其中，所述c2f_star層是將模型網(wǎng)絡(luò)c2f模塊中bottleneck模塊替換為starblock模塊而來；

22、所述c2f_star模塊首先通過卷積層進(jìn)行調(diào)整通道數(shù)，然后將調(diào)整后的特征圖分成若干塊，并通過不同尺寸的卷積核進(jìn)行特征提取，并分別通過starblock模塊進(jìn)行進(jìn)一步的特征處理，然后將輸出特征圖進(jìn)行拼接(concat)，最后通過卷積層調(diào)整后輸出特征圖；

23、所述c2f_star模塊通過采用starblock模塊進(jìn)行逐元素乘法操作(staroperation)，以顯著提高模型的非線性表達(dá)能力和性能；

24、所述模型融合節(jié)點(diǎn)處設(shè)置有eca層，所述eca層為通道注意力模塊；

25、所述eca層首先對輸入特征圖進(jìn)行全局平均池化，然后通過一維卷積產(chǎn)生通道注意，將卷積后的特征通過sigmoid激活函數(shù)，生成通道注意力權(quán)重，將注意力權(quán)重與原始輸入特征圖進(jìn)行通道間逐元素相乘，得到輸出特征圖；

26、s3模型訓(xùn)練與驗(yàn)證

27、將s1制作生成的訓(xùn)練集輸入雜草識別模型中進(jìn)行訓(xùn)練，模型在訓(xùn)練結(jié)束后，選取最優(yōu)權(quán)重作為模型的權(quán)重，生成雜草識別模型；

28、通過驗(yàn)證集、測試集對雜草識別模型進(jìn)行驗(yàn)證與測試；

29、s4模型應(yīng)用與雜草識別

30、實(shí)時捕獲田間圖片并輸入雜草識別模型進(jìn)行雜草的識別和分割，獲得雜草目標(biāo)框和掩膜圖像。

31、本發(fā)明為解決其技術(shù)問題同時還采用以下技術(shù)方案：

32、基于卷積神經(jīng)網(wǎng)絡(luò)的雜草識別系統(tǒng)，包括

33、數(shù)據(jù)處理單元，用于獲取田間圖像，對其進(jìn)行數(shù)據(jù)處理與標(biāo)注后，將其劃分為訓(xùn)練集、驗(yàn)證集、測試集；

34、雜草識別模型構(gòu)建單元，用于建立基于卷積神經(jīng)網(wǎng)絡(luò)的雜草識別模型；所述雜草識別模型包括輸入層、主干網(wǎng)絡(luò)、分支處理層、上采樣層和輸出層；所述雜草識別模型為基于yolov8-seg的雜草識別模型；

35、模型訓(xùn)練與驗(yàn)證單元，用于雜草識別模型的訓(xùn)練、驗(yàn)證與測試；

36、雜草識別單元，用于實(shí)時捕獲田間圖片并輸入雜草識別模型進(jìn)行雜草的識別和分割，獲得雜草目標(biāo)框與掩膜圖像。

37、本發(fā)明為解決其技術(shù)問題同時還采用以下技術(shù)方案：

38、田間雜草精準(zhǔn)噴藥方法，包括

39、s1雜草圖像采集

40、對作物區(qū)域進(jìn)行實(shí)時圖像采集；

41、s2雜草識別分割

42、將圖像輸入至雜草識別模型獲得雜草目標(biāo)框與掩膜圖像；

43、s3雜草定位、分級

44、基于s2獲取圖像進(jìn)行雜草定位、分級；

45、s31雜草定位

46、對模型輸出目標(biāo)框進(jìn)行幾何中心定位和掩膜面積計算，其中將目標(biāo)框中心定為目標(biāo)中心點(diǎn)，并將目標(biāo)坐標(biāo)輸出，將圖中單個物體的掩膜面積利用求和函數(shù)進(jìn)行計算；

47、獲取雜草中心點(diǎn)坐標(biāo)和面積，并將坐標(biāo)和面積對應(yīng)放在一個列表中輸出；

48、其中，定位算法采用目標(biāo)邊界框利用進(jìn)行計算，掩膜面積計算采用cv2.contourarea函數(shù)進(jìn)行計算；

49、

50、已知相機(jī)采集圖像為1280*960，對應(yīng)真實(shí)地面256*192mm，即5個像素點(diǎn)對應(yīng)真實(shí)距離1mm，將圖片坐標(biāo)與真實(shí)坐標(biāo)進(jìn)行轉(zhuǎn)換，假設(shè)圖像坐標(biāo)為(ximg,yimg)，真實(shí)坐標(biāo)為(xreal,yreal)，目標(biāo)像素點(diǎn)面積為areaimg，目標(biāo)真實(shí)面積為areareal；

51、

52、s32雜草分級

53、當(dāng)雜草目標(biāo)框掩膜面積占圖像總面積的40％及以上時定義為全噴灑區(qū)，將對該區(qū)域進(jìn)行連續(xù)噴灑作業(yè)；

54、當(dāng)雜草目標(biāo)框掩膜面積占圖像總面積的40％以下時定義為定點(diǎn)精準(zhǔn)噴施區(qū)，對該區(qū)域內(nèi)雜草根據(jù)掩膜面積進(jìn)行雜草等級劃分：

55、若雜草目標(biāo)框掩膜面積小于225mm2時，則跳出判斷將雜草等級賦值為等級“1”；

56、若雜草面積大于225mm2時，則繼續(xù)執(zhí)行判斷，若雜草面積小于900mm2，則跳出判斷將雜草等級賦值為等級“2”，若雜草面積大于900mm2，則將雜草等級賦值為等級“3”；

57、將圖像內(nèi)所有雜草坐標(biāo)和等級值一一對應(yīng)返回列表中并輸出；

58、s4路徑規(guī)劃

59、基于輸出坐標(biāo)列表進(jìn)行雜草精準(zhǔn)噴藥執(zhí)行路徑規(guī)劃；

60、若為全噴灑區(qū)，則不再經(jīng)過規(guī)劃算法進(jìn)行規(guī)劃，直接執(zhí)行噴藥命令；

61、若為定點(diǎn)精準(zhǔn)噴施區(qū)，則經(jīng)過規(guī)劃算法進(jìn)行規(guī)劃：

62、采用蟻群算法進(jìn)行路徑規(guī)劃，首先接收s32雜草分級輸出的數(shù)據(jù)信息，并對每個目標(biāo)坐標(biāo)點(diǎn)放置若干螞蟻，接著對每個螞蟻尋找下一個目標(biāo)坐標(biāo)點(diǎn)，直至遍歷全部坐標(biāo)點(diǎn)，并更新各坐標(biāo)點(diǎn)間信息素，重復(fù)上述過程，直至迭代次數(shù)為零，然后輸出規(guī)劃后的坐標(biāo)列表；

63、s5精準(zhǔn)變量噴藥

64、根據(jù)規(guī)劃后的坐標(biāo)列表和各坐標(biāo)點(diǎn)對應(yīng)雜草等級值，執(zhí)行相應(yīng)動作實(shí)現(xiàn)精準(zhǔn)變量噴藥；

65、s51雙步進(jìn)電機(jī)移動控制

66、當(dāng)y軸減速步進(jìn)電機(jī)工作時，可實(shí)現(xiàn)步進(jìn)電機(jī)轉(zhuǎn)軸的轉(zhuǎn)動，轉(zhuǎn)軸的轉(zhuǎn)動帶動導(dǎo)軌同步帶的轉(zhuǎn)動，同步帶的轉(zhuǎn)動帶動滑塊的移動，繼而帶動連接在滑塊上的第三導(dǎo)軌；當(dāng)x軸減速步進(jìn)電機(jī)工作時，帶動第三導(dǎo)軌上的同步帶轉(zhuǎn)動，繼而帶動連接在滑塊上的噴頭實(shí)現(xiàn)坐標(biāo)點(diǎn)間精準(zhǔn)移動；

67、雙步進(jìn)電機(jī)控制算法包括：

68、首先在接收到第一個位置坐標(biāo)(x1,y1)、第二個位置坐標(biāo)(x2,y2)后，進(jìn)行直線長度l計算、定義單位步長n、計算總步數(shù)n；

69、

70、

71、之后計算x和y方向每次循環(huán)的移動增量δx、δy，即在n次循環(huán)中，每當(dāng)x方向移動δx時，y方向移動δy；

72、

73、由于浮點(diǎn)運(yùn)算可能引入誤差，最后一步直接移動到終點(diǎn)，即循環(huán)n-1次δx、δy驅(qū)動脈沖后，在第n次循環(huán)時進(jìn)行位置糾正運(yùn)動，以補(bǔ)償計算誤差，即第n次循環(huán)移動xerror、yerror；

74、xerror＝(x2-x1)-δx*(n-1)；

75、yerror＝(y2-y1)-δy*(n-1)；

76、s52噴藥量控制

77、變量噴藥控制算法：

78、通過對不同等級值的雜草進(jìn)行占空比賦值；

79、

80、設(shè)定pwm信號的頻率為100hz，通過調(diào)節(jié)pwm信號的占空比控制噴頭電磁閥的開關(guān)狀態(tài)(即噴藥量)，以此生成并輸出pwm控制信號，控制噴頭電磁閥的開關(guān)，確保精確實(shí)現(xiàn)目標(biāo)噴藥量，以響應(yīng)不同雜草的噴藥量需求。

81、本發(fā)明為解決其技術(shù)問題同時還采用以下技術(shù)方案：

82、田間雜草精準(zhǔn)噴藥系統(tǒng)，包括

83、雜草定位分級系統(tǒng)，包括圖像采集相機(jī)、微型計算機(jī)；所述圖像采集相機(jī)對作物區(qū)域進(jìn)行圖像采集，將圖像傳遞至微型計算機(jī)經(jīng)過所述雜草識別模型處理后，將識別結(jié)果通過定位、分級和路徑規(guī)劃算法輸出雜草坐標(biāo)列表及對應(yīng)雜草等級信息，并將數(shù)據(jù)發(fā)送至變量噴藥系統(tǒng)；

84、變量噴藥系統(tǒng)，包括直角坐標(biāo)機(jī)械臂組件、噴藥組件；其中

85、所述直角坐標(biāo)機(jī)械臂組件包括x軸減速步進(jìn)電機(jī)、y軸減速步進(jìn)電機(jī)、若干導(dǎo)軌、若干滑塊、同步帶、滑塊基座、噴頭模塊；

86、所述導(dǎo)軌通過導(dǎo)軌基座固定在機(jī)械臂組件框架上，其中兩個導(dǎo)軌平行布置并平行于系統(tǒng)行進(jìn)方向，所述y軸減速步進(jìn)電機(jī)固定在兩根導(dǎo)軌的一端，并通過聯(lián)軸器連接兩個導(dǎo)軌上的同步帶，使兩個導(dǎo)軌運(yùn)行時保持一致，兩個滑塊分別與兩個導(dǎo)軌配合在一起，并固定在同步帶的同一位置，使滑塊可以沿導(dǎo)軌方向自由移動；

87、所述導(dǎo)軌中的第三導(dǎo)軌通過滑塊基座固定在兩個滑塊上，使其垂直于行進(jìn)方向并與兩個滑塊同步運(yùn)動，第三滑塊配合在第三導(dǎo)軌上并連接于導(dǎo)軌上的同步帶，使其可以沿導(dǎo)軌方向自由移動，x軸減速步進(jìn)電機(jī)通過減速器安裝在第三導(dǎo)軌的末端用來驅(qū)動導(dǎo)軌上的同步帶，用于精確確定滑塊的位置來實(shí)現(xiàn)精準(zhǔn)定位；

88、所述直角坐標(biāo)機(jī)械臂組件通過雙電機(jī)控制算法控制兩個步進(jìn)電機(jī)協(xié)調(diào)運(yùn)動實(shí)現(xiàn)噴頭模塊在一定區(qū)域的快速精準(zhǔn)移動；

89、所述噴藥組件包括隔膜泵、藥箱、溢流閥、高壓藥箱、排藥管和電磁閥；

90、所述隔膜泵用于在接收到控制指令時從藥箱中抽取藥劑，通過進(jìn)藥管輸送至高壓藥箱中，所述高壓藥箱內(nèi)安裝有壓力傳感器，用以識別高壓藥箱中藥液的壓力情況，當(dāng)其內(nèi)壓力達(dá)到一定值時，高壓藥劑通過溢流閥流回藥箱，并停止隔膜泵的工作；所述電磁閥設(shè)置于排藥管上，并連接在高壓藥箱和噴頭模塊之間，即排藥管一端與高壓藥箱相連，一端與噴頭模塊相連，當(dāng)通過控制直角坐標(biāo)機(jī)械臂組件到達(dá)雜草位置上方，且接收到噴藥指令后，控制電磁閥對雜草進(jìn)行變量精準(zhǔn)噴藥；

91、行走導(dǎo)航系統(tǒng)，包括車架平臺、驅(qū)動輪組件和導(dǎo)航組件；其中

92、所述車架平臺用于放置各種硬件設(shè)施；所述驅(qū)動輪組件包括車輪、車輪連接架、轉(zhuǎn)向步進(jìn)電機(jī)，所述車架平臺與驅(qū)動輪組件固接，四車輪均具有轉(zhuǎn)向和驅(qū)動的能力，所述車架平臺上放置有藥箱、硬件箱、控制柜、蓄電池、前天線、后天線，所述控制柜內(nèi)設(shè)有微型計算機(jī)、單片機(jī)、電機(jī)驅(qū)動器等，并于車架平臺側(cè)面設(shè)置有柜門；所述硬件箱內(nèi)設(shè)有隔膜泵、溢流閥、高壓藥箱、電磁閥等，并于車架平臺側(cè)面設(shè)置有柜門；所述車架平臺上方通過機(jī)箱將各種硬件分隔開來，并減少在自然環(huán)境的暴露；所述車架平臺的行走方向后端下方設(shè)置所述直角坐標(biāo)機(jī)械臂組件、前端底部設(shè)置所述圖像采集相機(jī)；所述導(dǎo)航組件包括衛(wèi)星導(dǎo)航裝置、激光雷達(dá)模塊，通過激光雷達(dá)與衛(wèi)星導(dǎo)航系統(tǒng)結(jié)合進(jìn)行全局定位，所述前天線、后天線設(shè)置于車架平臺頂端，用于提供位置信息，所述激光雷達(dá)模塊設(shè)置于車架平臺前端并通過激光雷達(dá)支架固定，用于為變量施藥機(jī)器人的田間自主行走提供實(shí)時路況信息；

93、供電系統(tǒng)，包括蓄電池、電壓轉(zhuǎn)換器，通過蓄電池輸出電源后經(jīng)過電壓轉(zhuǎn)換器分別為各系統(tǒng)、組件提供不同的電源需求，所述蓄電池還提供一充電接口。

94、本發(fā)明帶來的有益效果：

95、1、本發(fā)明提出了基于yolov8-seg的雜草識別模型，所述雜草識別模型對模型c2f模塊進(jìn)行改進(jìn)并添加注意力機(jī)制模塊eca，顯著提高模型檢測準(zhǔn)確度；對模型主干網(wǎng)絡(luò)進(jìn)行輕量化改進(jìn)，提高了模型的檢測速度和參數(shù)量。

96、2、本發(fā)明提出了用于雜草定位、分級和規(guī)劃的算法，并將其與所述雜草識別模型相結(jié)合，形成完整的田間雜草精準(zhǔn)噴藥系統(tǒng)和方法應(yīng)用，當(dāng)實(shí)時采集圖像經(jīng)過模型識別、與定位、分級、規(guī)劃算法處理后，可直接將除草施藥控制信號輸出至單片機(jī)進(jìn)行精準(zhǔn)噴藥操作。

97、3、本發(fā)明提出了變量噴藥控制方法，采用雙步進(jìn)電機(jī)控制算法通過合理、精確的脈沖生成和實(shí)時的反饋監(jiān)控，可以實(shí)現(xiàn)高效且精確的雙步進(jìn)電機(jī)控制，使其能夠協(xié)調(diào)一致地完成運(yùn)動；變量噴藥控制算法用于控制噴藥系統(tǒng)中恒壓脈沖變量噴頭的噴藥量，根據(jù)雜草的等級信息調(diào)整pwm信號的占空比，可以精確控制噴頭的開關(guān)狀態(tài)，從而調(diào)節(jié)噴藥量。