本發(fā)明涉及圖像識別，尤其涉及一種基于圖像與光譜融合的農(nóng)產(chǎn)品品種鑒別方法、系統(tǒng)及應用。

背景技術(shù)：

1、在現(xiàn)代農(nóng)業(yè)中，在不同區(qū)域種植適合相應環(huán)境的糧食品種是確保高產(chǎn)的關(guān)鍵。因此，開發(fā)一種高效的糧食品種檢測方法具有重要意義。

2、高光譜成像技術(shù)能夠捕捉豐富的光譜和圖像信息，隨著深度學習技術(shù)的快速發(fā)展，近年來在農(nóng)業(yè)生產(chǎn)中得到了廣泛應用。但許多農(nóng)產(chǎn)品的種子顆粒小、不同品種的種子的外形和顏色差異不大，單一的光譜或圖像特征往往難以進行區(qū)分，或極易造成品種誤判，給農(nóng)業(yè)種植帶來不利影響。

技術(shù)實現(xiàn)思路

1、針對現(xiàn)有技術(shù)的不足，本發(fā)明的目的在于提供一種基于圖像與光譜融合的農(nóng)產(chǎn)品品種鑒別方法、系統(tǒng)及應用，目的是基于改進的yolov5網(wǎng)絡結(jié)構(gòu)實現(xiàn)對農(nóng)產(chǎn)品品種準確且高效的鑒別。

2、為實現(xiàn)前述發(fā)明目的，本發(fā)明采用的技術(shù)方案包括：

3、第一方面，本發(fā)明提供一種基于圖像與光譜融合的農(nóng)產(chǎn)品品種鑒別模型的訓練方法，其包括：

4、獲取農(nóng)產(chǎn)品種子的rgb圖像和高光譜數(shù)據(jù)；

5、利用線性插值對所述rgb圖像和高光譜數(shù)據(jù)進行特征融合，獲得融合圖像；

6、至少利用所述融合圖像對深度學習模型進行訓練，獲得農(nóng)產(chǎn)品品種鑒別模型；

7、其中，所述深度學習模型由基礎(chǔ)yolov5模型調(diào)整獲得；

8、所述基礎(chǔ)yolov5模型包括骨干網(wǎng)絡、頸部網(wǎng)絡和頭部網(wǎng)絡；所述骨干網(wǎng)絡包括依次串接的初始卷積模塊、第一卷積模塊、第一c3模塊、第二卷積模塊、第二c3模塊、第三卷積模塊、第三c3模塊、第四卷積模塊、第四c3模塊、空間金字塔池化模塊；所述空間金字塔池化模塊基于第四c3模塊的輸出的第四c3特征生成池化特征；在所述頸部網(wǎng)絡，所述池化特征輸入第五卷積模塊生成第五卷積特征，所述第五卷積特征輸入第一上采樣模塊生成第一上采樣特征，所述第一上采樣特征輸入第一融合模塊與所述第三c3模塊輸出的第三c3特征融合后形成第一融合特征，所述第一融合特征輸入第五c3模塊生成第五c3特征，所述第五c3特征輸入第六卷積模塊生成第六卷積特征，所述第六卷積特征輸入第二上采樣模塊生成第二上采樣特征，所述第二上采樣特征輸入第二融合模塊，與所述第二c3模塊輸出的第二c3特征融合后形成第二融合特征，所述第二融合特征輸入第六c3模塊生成第六c3特征，所述第六c3特征輸入所述頭部網(wǎng)絡的第一檢測頭模塊進行特征檢測以及輸入第七卷積模塊生成第七卷積特征，所述第七卷積特征輸入第三融合模塊與所述第六卷積特征融合后生成第三融合特征，所述第三融合特征輸入第七c3模塊生成第七c3特征，所述第七c3特征輸入所述頭部網(wǎng)絡的第二檢測頭模塊進行特征檢測以及輸入第八卷積模塊生成第八卷積特征，所述第八卷積特征輸入第四融合模塊，與所述第五卷積特征融合后生成第四融合特征，所述第四融合特征輸入第八c3模塊生成第八c3特征，所述第八c3特征經(jīng)過第九卷積模塊后輸入所述頭部網(wǎng)絡的第三檢測頭進行特征檢測；

9、所述深度學習模型與所述基礎(chǔ)yolov5模型相比，省略所述第二上采樣模塊、第二融合模塊、第六c3模塊、第一檢測頭模塊、第七卷積模塊、第三融合模塊、第七c3模塊及對應的傳遞連接，所述第二檢測頭模塊的輸入變更為所述第六卷積特征，所述第八卷積模塊的輸入變更為所述第五c3特征；且所述骨干網(wǎng)絡中的第一c3模塊替換為卷積塊注意力模塊，所述卷積塊注意力模塊包括通道注意力子模塊和空間注意力子模塊。

10、第二方面，本發(fā)明還提供一種基于圖像與光譜融合的農(nóng)產(chǎn)品品種鑒別方法，其包括：

11、提供上述訓練方法得到的農(nóng)產(chǎn)品品種鑒別模型；

12、獲取目標農(nóng)產(chǎn)品種子對應的目標rgb圖像和目標高光譜數(shù)據(jù)；

13、利用線性插值對所述目標rgb圖像和目標高光譜數(shù)據(jù)進行特征融合，獲得目標融合圖像；

14、將所述目標融合圖像輸入所述農(nóng)產(chǎn)品品種鑒別模型，獲得分類結(jié)果。

15、第三方面，本發(fā)明還提供一種基于圖像與光譜融合的農(nóng)產(chǎn)品品種鑒別系統(tǒng)，其包括：

16、圖像獲取模塊，用于獲取目標農(nóng)產(chǎn)品種子對應的目標rgb圖像和目標高光譜數(shù)據(jù)；

17、特征融合模塊，用于利用線性插值對所述目標rgb圖像和目標高光譜數(shù)據(jù)進行特征融合，獲得目標融合圖像；

18、品種鑒別模塊，用于將所述目標融合圖像輸入農(nóng)產(chǎn)品品種鑒別模型，獲得分類結(jié)果；

19、其中，所述農(nóng)產(chǎn)品品種鑒別模型由上述訓練方法訓練得到。

20、基于上述技術(shù)方案，與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果至少包括：

21、本發(fā)明所提供的技術(shù)方案通過高光譜設(shè)備和高分辨率相機獲取不同農(nóng)產(chǎn)品品種的高光譜數(shù)據(jù)和rgb圖片，并采用數(shù)據(jù)融合策略將高光譜信息與rgb圖片信息進行了特征融合，并基于改進后的yolov5深度學習方法，建立基于特征融合數(shù)據(jù)的大豆品種的鑒別模型，采用融合的分類模型對目標農(nóng)產(chǎn)品種子進行類別預測，解決了單一特征的不穩(wěn)定性問題，實現(xiàn)了農(nóng)產(chǎn)品品種準確且高效的鑒別。

22、上述說明僅是本發(fā)明技術(shù)方案的概述，為了能夠使本領(lǐng)域技術(shù)人員能夠更清楚地了解本申請的技術(shù)手段，并可依照說明書的內(nèi)容予以實施，以下以本發(fā)明的較佳實施例并配合詳細附圖說明如后。

技術(shù)特征：

1.一種基于圖像與光譜融合的農(nóng)產(chǎn)品品種鑒別模型的訓練方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的訓練方法，其特征在于，所述通道注意力子模塊中的全連接層的縮放比例范圍設(shè)為1/64-1/24，所述空間注意力子模塊中的卷積層的卷積核尺寸范圍設(shè)為8-10。

3.根據(jù)權(quán)利要求1所述的訓練方法，其特征在于，對所述高光譜數(shù)據(jù)進行預處理后再與所述rgb圖像進行線性插值；

4.根據(jù)權(quán)利要求3所述的訓練方法，其特征在于，所述預處理選自多重散射校正和標準正態(tài)變量的組合。

5.根據(jù)權(quán)利要求1所述的訓練方法，其特征在于，所述線性插值的過程具體包括：

6.根據(jù)權(quán)利要求5所述的訓練方法，其特征在于，所述插值數(shù)據(jù)的生成過程表示為：

7.根據(jù)權(quán)利要求5所述的訓練方法，其特征在于，所述融合圖像的生成過程表示為：

8.根據(jù)權(quán)利要求1所述的訓練方法，其特征在于，所述rgb圖像由原始圖像經(jīng)過圖像處理獲得，所述圖像處理至少包括圖像分割以使所述rgb圖像僅顯示單個所述農(nóng)產(chǎn)品種子。

9.一種基于圖像與光譜融合的農(nóng)產(chǎn)品品種鑒別方法，其特征在于，包括：

10.一種基于圖像與光譜融合的農(nóng)產(chǎn)品品種鑒別系統(tǒng)，其特征在于，包括：

技術(shù)總結(jié)
本發(fā)明公開了一種基于圖像與光譜融合的農(nóng)產(chǎn)品品種鑒別方法、系統(tǒng)及應用。所述訓練方法包括：獲取RGB圖像和高光譜數(shù)據(jù)；獲得融合圖像；對深度學習模型進行訓練；深度學習模型由基礎(chǔ)YOLOv5模型調(diào)整獲得，省略第二上采樣模塊及對應的傳遞連接，頭部網(wǎng)絡中省略對應的檢測頭模塊，骨干網(wǎng)絡中的首級C3模塊替換為卷積塊注意力模塊。本發(fā)明采用數(shù)據(jù)融合策略將高光譜信息與RGB圖片信息進行了特征融合，并基于改進后的YOLOv5深度學習方法，建立基于特征融合數(shù)據(jù)的大豆品種的鑒別模型，采用融合的分類模型對目標農(nóng)產(chǎn)品種子進行類別預測，解決了單一特征的不穩(wěn)定性問題，實現(xiàn)了農(nóng)產(chǎn)品品種準確且高效的鑒別。

技術(shù)研發(fā)人員：劉偉,江權(quán),鄭磊,劉長虹
受保護的技術(shù)使用者：合肥大學
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/28