本發(fā)明涉及一種基于具身智能的機(jī)械臂果蔬采摘方法，屬于果蔬采摘。

背景技術(shù)：

1、隨著機(jī)器人技術(shù)的發(fā)展，機(jī)械臂在果蔬采摘領(lǐng)域中變得越來越重要。在執(zhí)行采摘任務(wù)前，需要先生成采摘任務(wù)指令并發(fā)送至機(jī)械臂。

2、現(xiàn)有的果蔬采摘技術(shù)依賴于手動編寫任務(wù)指令，并且在復(fù)雜環(huán)境中面臨采摘精度不足、操作僵化及易損壞果蔬等問題。機(jī)械臂通常使用單一傳感器，難以動態(tài)調(diào)整路徑和避障，操作靈活性有限。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的在于克服現(xiàn)有技術(shù)中的不足，提供一種基于具身智能的機(jī)械臂果蔬采摘方法，使機(jī)械臂能夠在復(fù)雜、多變的環(huán)境中自適應(yīng)調(diào)整采摘?jiǎng)幼?，從而解決現(xiàn)有技術(shù)中采摘精度不足、操作難度大的問題。

2、為達(dá)到上述目的，本發(fā)明是采用下述技術(shù)方案實(shí)現(xiàn)的：

3、第一方面，本發(fā)明提供了一種基于具身智能的機(jī)械臂果蔬采摘方法，包括：

4、獲取果蔬采摘描述信息，所述果蔬采摘描述信息包括待采摘果蔬的特征描述和采摘需求；

5、根據(jù)所述果蔬采摘描述信息，采用基于大語言模型的任務(wù)指令理解模型進(jìn)行分析，生成控制機(jī)械臂的控制信號；

6、根據(jù)所述控制信號，利用具身智能的果蔬智能感知模型，通過深度相機(jī)采集的圖像確定果蔬類別和抓取位姿，并結(jié)合實(shí)時(shí)反饋調(diào)整采摘?jiǎng)幼鳎?/p>

7、根據(jù)所述控制信號，在機(jī)械臂執(zhí)行采摘任務(wù)的過程中，通過具身智能技術(shù)進(jìn)行實(shí)時(shí)的環(huán)境感知，并通過智能避障神經(jīng)網(wǎng)絡(luò)模型動態(tài)調(diào)整運(yùn)動軌跡以避開障礙物。

8、進(jìn)一步的，所述根據(jù)所述果蔬采摘描述信息，采用基于大語言模型的任務(wù)指令理解模型進(jìn)行分析，生成控制機(jī)械臂的控制信號，包括：

9、接收用戶輸入的自然語言描述的果蔬采摘描述信息；

10、將所述自然語言描述轉(zhuǎn)化為多個(gè)詞向量，并保持上下文關(guān)系；

11、利用自注意力機(jī)制識別所述描述中的重要信息；

12、基于預(yù)訓(xùn)練的大語言模型，結(jié)合微調(diào)過程，生成用于控制機(jī)械臂執(zhí)行采摘任務(wù)的控制信號。

13、進(jìn)一步的，所述果蔬智能感知模型包括transformer層，卷積神經(jīng)網(wǎng)絡(luò)層以及全連接層。

14、進(jìn)一步的，所述利用具身智能的果蔬智能感知模型，通過深度相機(jī)采集的圖像確定果蔬類別和抓取位姿，包括：

15、通過所述果蔬智能感知模型的transformer層對所述rgb圖像和所述深度圖像進(jìn)行特征提取，獲取所述待采摘果蔬的全局視覺特征；

16、通過所述果蔬智能感知模型的卷積神經(jīng)網(wǎng)絡(luò)層對所述rgb圖像和所述深度圖像進(jìn)行特征提取，獲取所述待采摘果蔬的局部視覺特征；

17、根據(jù)所述全局視覺特征和所述局部視覺特征，通過所述果蔬智能感知模型的全連接層確定所述采摘果蔬的類別和所述抓取位姿。

18、進(jìn)一步的，所述通過具身智能技術(shù)進(jìn)行實(shí)時(shí)的環(huán)境感知，并通過智能避障神經(jīng)網(wǎng)絡(luò)模型動態(tài)調(diào)整運(yùn)動軌跡以避開障礙物，包括：

19、控制預(yù)先設(shè)置在機(jī)械臂周圍的多個(gè)深度相機(jī)，對所述機(jī)械臂的活動空間進(jìn)行不同角度的掃描，獲取所述機(jī)械臂周圍的不通角度物理環(huán)境的體素?cái)?shù)據(jù)；

20、通過多模態(tài)傳感器數(shù)據(jù)融合，將視覺傳感器、深度傳感器、力覺傳感器從不同緯度采集到的信息協(xié)同處理，與所述機(jī)械臂周圍的不同角度物理環(huán)境的體素?cái)?shù)據(jù)進(jìn)行融合處理，輸入到具身智能感知模型中進(jìn)行三維空間的特征提取，將這些多模態(tài)特征通過加權(quán)機(jī)制進(jìn)行融合，最終得到綜合感知結(jié)果以及三維空間結(jié)構(gòu)；

21、基于得到的綜合感知結(jié)果以及三維空間結(jié)構(gòu)，通過智能避障神經(jīng)網(wǎng)絡(luò)模型動態(tài)調(diào)整運(yùn)動軌跡以避開障礙物。

22、進(jìn)一步的，所述智能避障神經(jīng)網(wǎng)絡(luò)模型的架構(gòu)包括三維卷積層、transformer層、力覺傳感器信息處理層、多模態(tài)特征融合層以及全連接層，用于動態(tài)感知和重建機(jī)械臂周圍的三維物理環(huán)境，并結(jié)合力覺傳感器反饋，實(shí)時(shí)調(diào)整機(jī)械臂的運(yùn)動路徑和抓取力度。

23、第二方面，本發(fā)明提供一種基于具身智能的機(jī)械臂果蔬采摘裝置，包括：

24、接收模塊，用于獲取果蔬采摘描述信息，所述果蔬采摘描述信息包括待采摘果蔬的特征描述和采摘需求；

25、處理模塊，用于根據(jù)所述果蔬采摘描述信息，采用基于大語言模型的任務(wù)指令理解模型進(jìn)行分析，生成控制機(jī)械臂的控制信號；

26、感知模塊，用于根據(jù)所述控制信號，利用具身智能的果蔬智能感知模型，通過深度相機(jī)采集的圖像確定果蔬類別和抓取位姿，并結(jié)合實(shí)時(shí)反饋調(diào)整采摘?jiǎng)幼鳎?/p>

27、執(zhí)行模塊，用于根據(jù)所述控制信號，在機(jī)械臂執(zhí)行采摘任務(wù)的過程中，通過具身智能技術(shù)進(jìn)行實(shí)時(shí)的環(huán)境感知，并通過智能避障神經(jīng)網(wǎng)絡(luò)模型動態(tài)調(diào)整運(yùn)動軌跡以避開障礙物。

28、第三方面，本發(fā)明提供一種計(jì)算機(jī)可讀存儲介質(zhì)，其上存儲有計(jì)算機(jī)程序，該程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)前述中任一項(xiàng)所述方法的步驟。

29、第四方面，本發(fā)明提供一種計(jì)算機(jī)設(shè)備，包括：

30、存儲器，用于存儲計(jì)算機(jī)程序/指令；

31、處理器，用于執(zhí)行所述計(jì)算機(jī)程序/指令以實(shí)現(xiàn)前述中任一項(xiàng)所述方法的步驟。

32、第五方面，本發(fā)明提供一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序/指令，該計(jì)算機(jī)程序/指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)前述中任一項(xiàng)所述方法的步驟。

33、與現(xiàn)有技術(shù)相比，本發(fā)明所達(dá)到的有益效果：

34、本發(fā)明提供一種基于具身智能的機(jī)械臂果蔬采摘方法，通過具身智能技術(shù)通為機(jī)械臂提供實(shí)時(shí)環(huán)境感知，確保在復(fù)雜環(huán)境中動態(tài)調(diào)整采摘?jiǎng)幼?。同時(shí)，它允許基于力反饋靈活調(diào)整抓取力，避免損壞果蔬。具身智能還結(jié)合強(qiáng)化學(xué)習(xí)，使機(jī)械臂能夠持續(xù)優(yōu)化采摘策略，提高采摘效率與精度，降低操作難度；具身智能的優(yōu)勢大大提升了機(jī)械臂的環(huán)境適應(yīng)性、操作靈活性和采摘效率，解決了傳統(tǒng)采摘技術(shù)中的局限性。

技術(shù)特征：

1.一種基于具身智能的機(jī)械臂果蔬采摘方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的基于具身智能的機(jī)械臂果蔬采摘方法，其特征在于，所述根據(jù)所述果蔬采摘描述信息，采用基于大語言模型的任務(wù)指令理解模型進(jìn)行分析，生成控制機(jī)械臂的控制信號，包括：

3.根據(jù)權(quán)利要求1所述的基于具身智能的機(jī)械臂果蔬采摘方法，其特征在于，所述果蔬智能感知模型包括transformer層，卷積神經(jīng)網(wǎng)絡(luò)層以及全連接層。

4.根據(jù)權(quán)利要求3所述的基于具身智能的機(jī)械臂果蔬采摘方法，其特征在于，所述利用具身智能的果蔬智能感知模型，通過深度相機(jī)采集的圖像確定果蔬類別和抓取位姿，包括：

5.根據(jù)權(quán)利要求1所述的基于具身智能的機(jī)械臂果蔬采摘方法，其特征在于，所述通過具身智能技術(shù)進(jìn)行實(shí)時(shí)的環(huán)境感知，并通過智能避障神經(jīng)網(wǎng)絡(luò)模型動態(tài)調(diào)整運(yùn)動軌跡以避開障礙物，包括：

6.根據(jù)權(quán)利要求5所述的基于具身智能的機(jī)械臂果蔬采摘方法，其特征在于，所述智能避障神經(jīng)網(wǎng)絡(luò)模型的架構(gòu)包括三維卷積層、transformer層、力覺傳感器信息處理層、多模態(tài)特征融合層以及全連接層，用于動態(tài)感知和重建機(jī)械臂周圍的三維物理環(huán)境，并結(jié)合力覺傳感器反饋，實(shí)時(shí)調(diào)整機(jī)械臂的運(yùn)動路徑和抓取力度。

7.一種基于具身智能的機(jī)械臂果蔬采摘裝置，其特征在于，包括：

8.一種計(jì)算機(jī)可讀存儲介質(zhì)，其上存儲有計(jì)算機(jī)程序，其特征在于：該程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求1-6中任一項(xiàng)所述方法的步驟。

9.一種計(jì)算機(jī)設(shè)備，其特征在于，包括：

10.一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序/指令，其特征在于，該計(jì)算機(jī)程序/指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求1-6中任一項(xiàng)所述方法的步驟。

技術(shù)總結(jié)
本發(fā)明公開了一種基于具身智能的機(jī)械臂果蔬采摘方法，屬于果蔬采摘技術(shù)領(lǐng)域，所述方法包括獲取果蔬采摘描述信息；根據(jù)所述果蔬采摘描述信息，采用基于大語言模型的任務(wù)指令理解模型進(jìn)行分析，生成控制機(jī)械臂的控制信號；根據(jù)所述控制信號，利用具身智能的果蔬智能感知模型，通過深度相機(jī)采集的圖像確定果蔬類別和抓取位姿，并結(jié)合實(shí)時(shí)反饋調(diào)整采摘?jiǎng)幼鳎桓鶕?jù)所述控制信號，在機(jī)械臂執(zhí)行采摘任務(wù)的過程中，通過具身智能技術(shù)進(jìn)行實(shí)時(shí)的環(huán)境感知，并通過智能避障神經(jīng)網(wǎng)絡(luò)模型動態(tài)調(diào)整運(yùn)動軌跡以避開障礙物，本發(fā)明提供的果蔬采摘方法無需用戶手動編寫采摘指令代碼，顯著降低了機(jī)械臂的操作復(fù)雜度，并提升了采摘任務(wù)的準(zhǔn)確性和效率。

技術(shù)研發(fā)人員：劉坤,黃程菲,吉宏亞,耿亮
受保護(hù)的技術(shù)使用者：南京工程學(xué)院
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/6