本發(fā)明屬于機械臂自動抓取，尤其涉及一種面向非規(guī)則物體的3d視覺引導機械臂抓取方法。

背景技術：

1、隨著勞動力成本的增加和產品需求的多樣化，機器人在各個領域的廣泛應用愈加顯著。特別是以工業(yè)機器人為核心的多機器人生產線，已成為當前制造業(yè)轉型升級的必經之路。在此過程中，3d視覺技術的研究和應用成為國內外研究的重點之一。在機器人自動化裝配中，準確的物體識別和精確的三維空間定位是機械臂執(zhí)行抓取等操作的關鍵先決條件。由于物體位置和姿態(tài)的不確定性，以及可能存在的遮擋和重疊，導致機械臂的抓取操作變得愈加復雜。因此，對抓取系統(tǒng)進行深入研究和改進勢在必行，以確保機械臂能夠精準、有效地執(zhí)行各項操作。

2、目前，傳統(tǒng)的機械臂自動抓取系統(tǒng)主要依賴于二維圖像訓練和位置坐標點匹配，導致物體位姿精度及自動化、智能化水平較低。相比于僅獲取物體二維信息的圖像，三維點云能夠直接獲取物體表面的立體幾何形狀。同時，點云獲取是從三維空間到三維空間的映射過程，主要涉及旋轉和平移變換，避免了二維圖像中投影變換的影響，因而極大地降低了成像視點變化對成像結果的干擾，能為模型重建與目標識別任務提供更加豐富的信息。鑒于此，出現(xiàn)了基于機械臂和物體位置坐標的抓取位置矢量圖。當機械臂接收到該矢量圖后，可以分析出機械臂與物體之間的一組抓取路徑數據，并引導機械臂到達物體目標位置。然而，由于缺乏物體的三維信息(如深度信息和幾何形狀)，抓取時可能出現(xiàn)誤抓和精度低的現(xiàn)象。傳統(tǒng)分揀方式缺乏外界感知能力，而3d視覺能夠全面獲取環(huán)境信息，結合機器人形成基于3d視覺的機械臂抓取成為面向非規(guī)則物體的主流解決方案。

3、專利號為cn202410599863.9的專利公開了一種柔性件的多目標智能分揀方法，包括：對拾取料框進行分區(qū)，將整個料框通過一次x射線掃描模塊進行掃描，并對掃描產生的圖像進行分析處理；提取每個區(qū)域內被檢物體的邊緣、紋理以及密度信息，對被檢物體進行識別和定位；對標定的識別出的柔性件位置鎖定，確定分區(qū)內每個柔性件的拾取點，驅動機械臂依次分區(qū)進行拾??；分區(qū)拾取完畢后將拾取料框內的部件攪亂，通過二次x射線掃描模塊重新進行掃描，直至物品識別模塊識別不出柔性件，更換拾取料框進行后續(xù)分揀。該發(fā)明的優(yōu)點在于機械臂抓取速度快，能夠有效防止柔性件的遺漏，從而提高分揀的準確率。然而，系統(tǒng)仍采用傳統(tǒng)的二維拍攝方法進行物體坐標定位，這使得無法獲取物體的三維信息，因此不適用于機械臂對結構復雜非規(guī)則物體的抓取。

4、專利號為cn202410789869.2的專利公開了一種多機械臂協(xié)同的多目標分揀方法，該方法包括如下步驟：搭建流水線多機械臂分揀系統(tǒng)，通過yolov8算法對視覺機械臂所拍攝的rgb圖像分別進行目標檢測，得到y(tǒng)olov8檢測出的物體邊界框后，結合其對應的深度圖像，對該分揀場景進行仿真，構建lightgbm回歸模型，訓練并驗證模型性能后，基于機械臂的預期分揀時間，對各機械臂進行任務分配和調度順序優(yōu)化，并最小化總分揀時間；使用粒子群算法優(yōu)化機械臂調度過程；各機械臂獲取抓取任務序列后，基于apf-rrt算法進行多臂路徑規(guī)劃與避障。該發(fā)明的優(yōu)點在于有效減少了機械臂在協(xié)同任務中因相互等待而導致的時間浪費，輸出最優(yōu)抓取序列，從而提升分揀效率，并選擇最佳路徑以避開障礙物。然而，算法主要依賴于二維圖像的訓練處理，需要收集大量場景和物體目標的二維圖片，這一過程相對復雜且耗時，同時未涉及3d成像部分。

5、專利號cn201810942396.x公開了一種機械臂抓取點獲取的方法和設備。該專利通過機械臂自身運動對物體進行掃描，獲取物體的立體圖像并構建其三維模型，展現(xiàn)出高效且優(yōu)質的數據采集能力。此外，利用物體三維模型生成實際場景下的仿真圖像，并基于這些仿真圖像訓練深度神經網絡，以預測物體的位姿信息。該方法對掃描得到的立體圖像進行基于深度圖的前后景分割，獲得去背景后的物體立體圖像。通過渲染仿真圖像生成預設數量的訓練樣本，利用這些樣本訓練深度神經網絡，將當前立體圖像輸入網絡，從而計算該圖像中物體的位姿信息。盡管該方法充分利用了三維點云數據并取得了良好效果，但訓練三維點云樣本所需的時間較長，且生成訓練集的過程相對復雜。

技術實現(xiàn)思路

1、本發(fā)明的目的在于提供一種面向非規(guī)則物體的3d視覺引導機械臂抓取方法，以解決現(xiàn)有技術中存在的問題。

2、本發(fā)明解決其技術問題所采用的技術方案是：

3、一種面向非規(guī)則物體的3d視覺引導機械臂抓取方法，包括以下步驟：

4、(1)搭建3d視覺引導機械臂抓取系統(tǒng)：采用基于線結構光的3d相機對機械臂引導，機械臂為視覺柔性六軸機械臂，當機械臂完成所有物體的準確抓取并按照要求進行擺放后，視為成功完成本次抓取任務；對3d相機中的相機進行標定，相機標定調用opencv庫中的calibratecamera函數來實現(xiàn)，并預先通過3d相機采集目標物體的點云，用三維制圖軟件創(chuàng)建匹配模板；

5、(2)線結構光三維重建：3d相機中的激光器將線激光投射在目標物體堆上，對物體堆進行線結構光三維重建，最終通過編解碼圖像完成物體堆點云的獲??；

6、(3)手眼標定：對相機和機械臂進行手眼標定以獲取相機坐標系與機械臂基坐標系之間的姿態(tài)變換，該變換通過一個旋轉平移矩陣[rc_r,tc_r]表示，通過該矩陣將視覺信息轉換到機械臂基坐標系下；

7、(4)點云預處理：將獲得的三維場景物體堆點云進行濾波降噪，以達到平滑效果，通過歐式聚類點云分割算法對物體堆點云進行分割，并通過篩選選出多個候選目標點云集；

8、(5)物體位姿估計：通過基于曲率點對特征的位姿估計算法對篩選出的候選目標點云集進行位姿估計，得到各場景中物體的位置姿態(tài)；

9、(6)路徑規(guī)劃及抓取操作：機械臂獲取到抓取位姿序列后，基于rrt算法進行機械臂路徑規(guī)劃與避障，將路徑信息發(fā)送給機械臂完成目標物體的抓取和擺放。

10、進一步的，步驟(2)中線結構光三維重建的方法為：

11、2.1、系統(tǒng)標定：根據3d相機中激光器的波長，選擇合適的窄帶濾光片，并將3d相機的相機和激光器之間的位置保持固定，將激光線打到不同位姿的標定板上，形成兩條相交的直線，將激光線提取的點擬合兩條直線可以求解出激光平面方程；

12、2.2、圖像處理：激光線能量分布為正態(tài)分布，雙邊濾波去除高斯噪聲，并進行畸變矯正；

13、2.3、提取激光條紋中心線：將一階導數為0、二階方向導數取最小值的點提取為線中心點；

14、2.4、點云拼接：將相機坐標系轉換為以物體運動方向為x軸的坐標系中，拼接完成后再轉換回相機坐標系中，兩條激光線拼接位移為物體運動速度乘以相機拍照間隔時間，拍攝速度根據所需的掃描精度決定。

15、進一步的，步驟(3)中手眼標定的方法為：

16、在機械臂輸出端固定尖端探針，并在工作區(qū)域內放置標定板，當線結構光條紋圖案投射在標定板上時，標定板的3d模型可通過結構光算法來恢復，此時可獲取角點在相機坐標系下的坐標點pi(xci,yci,zci)，通過控制機械臂移動將尖端探針對準標定板角點，獲取機械臂坐標系下對應的三維坐標點qi(xri,yri,zri)，使用最小二乘法計算手眼標定矩陣[rc_r,tc_r]，數學模型為：

17、

18、其中為手眼標定矩陣的數學模型，rc_r為手眼標定矩陣中的旋轉分量，tc_r為手眼標定矩陣中的平移分類，n為角點總個數。

19、進一步的，步驟(4)中點云分割的方法為：

20、點云分割方法采用的歐式聚類進行處理，對于歐式聚類來說，其判斷準則為歐式距離。對于空間某點p，通過kd-tree近鄰搜索算法找到k個離p點最近的點，這些點中距離小于設定閾值的便聚類到集合q中，如果q中元素的數目不再增加，整個聚類過程則結束，否則還要在集合q中選取p點以外的點，重復該過程，直到q中元素的數目不再增加為止。

21、進一步的，步驟(5)中基于曲率特征的位姿估計算法是在原始點對特征ppf的四個特征向量f1、f2、f3、f4的基礎上，引入點云的曲率信息f5和f6，是由兩點的距離信息及法向量和平均曲率所構成的六維特征向量，從而增強點云的特征描述，定義曲率點對特征為fcur-ppf(m1,m2)，其計算公式為：

22、fcur-ppf(m1,m2)＝(f1,f2,f3,f4,f5,f6)＝(||d||2,∠(n1,d),∠(n2,d),∠(n1,n2),q1,q2)；

23、其中，m1和m2為物體點云中的任意兩點；n1和n2分別為m1和m2的法向量，q1和q2分別為m1和m2的平均曲率，d＝m2-m1，||d||2為m1和m2的歐氏距離，∠(n1,d)為n1和d間的夾角，∠(n2,d)為n2和d間的夾角，∠(n1,n2)為n1和n2間的夾角。

24、進一步的，步驟(5)中物體位姿估計的方法為：

25、把基于曲率特征的位姿估計算法得到的六維點對特征映射到具有相似特征的模板點云中，模型到場景的矩陣變換[r,t]可由模型點云中的某個參考點mi和一個旋轉角α進行表示，即(mi,α)為模型相對于場景參考點si的局部坐標，公式表示為：

26、其中，si是場景中任意點，mi是模型中任意點，tm→g是點mi到原點的轉換矩陣，ts→g是點si到原點的轉換矩陣，rx(α)是模型到場景繞x軸旋轉α角度的旋轉矩陣。

27、進一步的，曲率點對特征的投票環(huán)節(jié)依據曲率差值的大小賦予投票不同的權重，兩點曲率差值越大，其所在的曲面彎曲程度相差越大，則認為fcur-ppf(m1,m2)特征越明顯，更能代表模型的形狀特點，曲率差較大的點對包含的信息更加顯著，而且分布較遠，計算的位姿也更為可靠，權重計算公式為：

28、

29、其中v是超過1的票數值。

30、進一步的，步驟(6)中rrt路徑規(guī)劃的方法為：

31、6.1、確定機械臂的起始位置、焊縫位置和障礙物位置，其中障礙物分為環(huán)境障礙和其余機械臂已規(guī)劃的期望軌跡，將起始位置作為rrt隨機樹的根節(jié)點；

32、6.2、在工作空間中隨機采樣一個點作為探索目標點，在隨機數中找到距離采樣點最近的節(jié)點，從最近點節(jié)點向采樣點方向延伸一段距離，創(chuàng)建一個新節(jié)點；

33、6.3、檢查新節(jié)點是否于障礙物碰撞，如果沒有碰撞，將其加入隨機樹中，并與最近節(jié)點相連；

34、6.4、在新產生的節(jié)點附近以定義的半徑范圍內尋找近鄰，作為替換父節(jié)點的備選。計算近鄰節(jié)點到起點的路徑代價加上到每個近鄰點的路徑代價，選擇代價最小的節(jié)點作為新父節(jié)點；

35、6.5、在重新選擇父節(jié)點后，進一步優(yōu)化隨機樹節(jié)點間連接的代價；

36、6.6、對于機械臂而言，如果其能夠成功連接到目標位置，則認為找到了一條有效路徑；如果在有限迭代次數或者時間內未能找到有效路徑，則重新進行采樣和路徑擴展；

37、6.7、重復步驟6.1-6.6即可生成最終機械臂抓取擺放過程的路徑。

38、進一步的，3d視覺引導機械臂抓取系統(tǒng)設有3d相機、支架、機械臂，3d相機設有相機、激光器，相機、激光器均安裝在支架上，機械臂設置在支架一側。

39、進一步的，支架上安裝有直線滑動模組，相機、激光器安裝在直線滑動模組的滑動端，相機、激光器通過滑動模組安裝在支架上，直線滑動模組位于平臺上方，直線滑動模組兩端分別安裝有起始位置傳感器、終止位置傳感器。

40、本發(fā)明具有以下有益效果：通過3d相機與機械臂的相互配合，實現(xiàn)對工業(yè)零件等非規(guī)則物體的智能抓取，并根據實際應用情況進行更為精確的抓取操作，且不依賴于三維點云樣本的訓練。3d相機能夠精確獲取外界信息，滿足機械臂的抓取需求。機械臂可以依次抓取料箱中堆疊擺放的零件，提高抓取效率，從而進一步提升工業(yè)自動化水平。