本發(fā)明屬于u筋生產(chǎn)，特別涉及一種u筋擺料方法及裝置。

背景技術(shù)：

1、u筋生產(chǎn)是公路預(yù)制小箱梁生產(chǎn)中的重要一環(huán)。u筋在經(jīng)過調(diào)直機、折彎機、定位網(wǎng)焊接后，會放置于傳送帶上，通過機械臂末端的夾具，對傳送帶上水平放置的u筋進行抓取，再將u筋豎直擺放到底板工裝上，進行下一道工序。

2、傳統(tǒng)方案采用人工進行擺料，人工操作工作強度大、危險性高、擺料工整化程度低。

3、近年來，工業(yè)機器人發(fā)展迅速，工廠固定場景下多使用機器人進行作業(yè)?，F(xiàn)有擺料方案是通過示教器設(shè)置機械臂上兩個固定點位的坐標(biāo)，結(jié)合傳送帶的運動控制，實現(xiàn)u筋的抓取擺放。然而，從拼焊臺到傳送帶的u筋雖然會有輔助定位裝置，但是定位精度不夠，導(dǎo)致傳送帶上的u筋位置出現(xiàn)偏差，機械臂經(jīng)常抓取不到，需要人工干預(yù)。擺放時，底板工裝搭載在agv小車上，每次運料時，相對機械臂位置不固定，u筋擺放時同樣需要人工干預(yù)。

4、隨著計算機視覺及人工智能的發(fā)展，工業(yè)機器人在工件抓取方面發(fā)展迅速。工件抓取流程為：使用相機對工件進行拍照，識別抓取點位，計算抓取位姿，再通過六軸機械臂進行抓取動作。其中識別工件的位姿極其重要，識別精度影響著機械臂能否進行準(zhǔn)確抓取。

5、然而，由于u筋產(chǎn)線現(xiàn)場條件復(fù)雜，存在焊接、切割等場景，會產(chǎn)生強光干擾，并且傳送帶表面光滑，對u筋拍照時存在嚴(yán)重反光現(xiàn)象，這會導(dǎo)致部分?jǐn)?shù)據(jù)缺失，會影響后續(xù)對u筋的抓取和擺放。

技術(shù)實現(xiàn)思路

1、針對背景技術(shù)中的問題，本發(fā)明提出u筋擺料方法。

2、為了實現(xiàn)上述目的，本發(fā)明采用以下技術(shù)方案：

3、第一方面，本發(fā)明公開一種u筋擺料方法，包括：

4、獲取u筋rgb-d數(shù)據(jù)，計算u筋點云數(shù)據(jù)；

5、根據(jù)所述u筋點云數(shù)據(jù)，生成u筋掩碼數(shù)據(jù)，計算u筋位姿；

6、根據(jù)所述u筋位姿進行u筋抓取；

7、獲取夾具側(cè)面rgb-d圖像，識別未擺放u筋夾具，確定夾具初始位置，并計算夾具位姿；

8、根據(jù)所述u筋位姿和所述夾具位姿進行u筋擺放。

9、進一步的，所述獲取u筋rgb-d數(shù)據(jù)，計算u筋點云數(shù)據(jù)，包括：

10、通過3d相機獲取u筋rgb-d數(shù)據(jù)；

11、根據(jù)相機內(nèi)參，將所述u筋rgb-d數(shù)據(jù)轉(zhuǎn)化為u筋點云數(shù)據(jù)。

12、進一步的，所述根據(jù)所述u筋點云數(shù)據(jù)，生成u筋掩碼數(shù)據(jù)，計算u筋位姿，包括：

13、采用ransac平面檢測算法，對所述u筋點云數(shù)據(jù)進行平面回歸，得到傳送帶平面點云；

14、基于所述傳送帶平面點云，提取u筋點云數(shù)據(jù)，生成u筋掩碼數(shù)據(jù)；

15、根據(jù)所述u筋rgb-d數(shù)據(jù)和u筋掩碼數(shù)據(jù)，生成u筋rgb-d圖和u筋掩碼圖；

16、預(yù)處理所述u筋rgb-d圖和u筋掩碼圖；

17、采用特征提取網(wǎng)絡(luò)提取所述u筋rgb-d圖和u筋掩碼圖中的特征，得到特征圖；

18、采用第一檢測網(wǎng)絡(luò)檢測所述特征圖，獲得u筋在像素坐標(biāo)系下的中心點坐標(biāo)和角度；其中，所述角度包括俯仰角、偏航角和滾轉(zhuǎn)角，所述俯仰角和偏航角均為0；

19、根據(jù)所述u筋在像素坐標(biāo)系下的中心點坐標(biāo)和角度，計算u筋位姿。

20、進一步的，所述特征提取網(wǎng)絡(luò)為resnet-18或hourglass網(wǎng)絡(luò)。

21、進一步的，所述第一檢測網(wǎng)絡(luò)包括第一檢測頭和第二檢測頭，所述第一檢測頭用于對u筋中心點坐標(biāo)的檢測，所述第二檢測頭用于對u筋滾轉(zhuǎn)角的檢測；

22、所述第一檢測頭檢測所述u筋中心點坐標(biāo)，包括：

23、標(biāo)注u筋邊界框，并根據(jù)所述u筋邊界框，計算所述u筋邊界框關(guān)鍵點坐標(biāo)；

24、對所述u筋邊界框關(guān)鍵點坐標(biāo)進行下采樣處理；

25、將所述經(jīng)過下采樣處理后的u筋邊界框關(guān)鍵點坐標(biāo)通過高斯核分散到熱力圖上，獲得u筋中心點坐標(biāo)；

26、根據(jù)所述u筋邊界框，計算u筋邊界框的寬度和高度。

27、進一步的，所述第二檢測頭檢測u筋滾轉(zhuǎn)角，包括：

28、獲取所述特征圖上u筋中心點坐標(biāo)附近roi區(qū)域特征；

29、采用預(yù)設(shè)的步長將u筋滾轉(zhuǎn)角范圍劃分為多個類別，以確定u筋滾轉(zhuǎn)角所屬的類別；

30、采用回歸網(wǎng)絡(luò)調(diào)整每個類別的u筋滾轉(zhuǎn)角，以得到u筋滾轉(zhuǎn)角。

31、進一步的，所述根據(jù)所述u筋在像素坐標(biāo)系下的中心點坐標(biāo)和角度，計算u筋位姿，包括：

32、采用相機內(nèi)參矩陣，將所述u筋在像素坐標(biāo)系下的中心點坐標(biāo)轉(zhuǎn)換為相機坐標(biāo)系下的三維坐標(biāo)；

33、根據(jù)所述u筋在相機坐標(biāo)系下的三維坐標(biāo)，構(gòu)建平移矩陣t；

34、根據(jù)所述u筋在像素坐標(biāo)系下的角度計算旋轉(zhuǎn)矩陣r；

35、根據(jù)所述平移矩陣t和旋轉(zhuǎn)矩陣r，計算u筋位姿。

36、進一步的，所述獲取未擺放u筋的夾具側(cè)面rgb-d圖像，確定夾具初始位置，并計算夾具位姿，包括：

37、通過機械臂對夾具側(cè)面拍照，獲取夾具側(cè)面rgb-d圖像；

38、采用第二檢測網(wǎng)絡(luò)處理所述夾具側(cè)面rgb-d圖像，獲得夾具目標(biāo)中心點以及尺寸，確定初始夾具位置。

39、進一步的，所述計算夾具位姿，包括：

40、通過機械臂對夾具正面拍照，獲得夾具若干特征點；

41、采用識別算法網(wǎng)絡(luò)識別所述夾具特征點，獲得所述夾具特征點在像素坐標(biāo)系下的坐標(biāo)；

42、采用相機內(nèi)參矩陣，將所述夾具特征點在像素坐標(biāo)系下的坐標(biāo)轉(zhuǎn)換為相機坐標(biāo)系下的三維坐標(biāo)；

43、平面擬合所述相機坐標(biāo)系下的三維坐標(biāo)，得到平面法向量n，并通過所述平面法向量n計算偏航角得到夾具位姿。

44、第二方面，本發(fā)明公開一種u筋擺料裝置，包括：

45、獲取模塊，用于獲取u筋rgb-d數(shù)據(jù)，計算u筋點云數(shù)據(jù)；

46、第一計算模塊，用于根據(jù)所述u筋點云數(shù)據(jù)，生成u筋掩碼數(shù)據(jù)，計算u筋位姿；

47、抓取模塊，用于根據(jù)所述u筋位姿進行u筋抓??；

48、第二計算模塊，用于獲取未擺放u筋的夾具側(cè)面rgb-d圖像，確定夾具初始位置，并計算夾具位姿；

49、擺料模塊，用于根據(jù)所述u筋位姿和所述夾具位姿進行u筋擺放。

50、本發(fā)明的有益效果：

51、1、針對實際擺料環(huán)境中存在強烈反光問題，本發(fā)明通過獲取u筋的rgb-d數(shù)據(jù)，增加深度特征，使得數(shù)據(jù)信息更加豐富，解決了對u筋拍照時存在的反光現(xiàn)象導(dǎo)致的部分?jǐn)?shù)據(jù)缺失，并設(shè)計檢測網(wǎng)絡(luò)進行u筋關(guān)鍵點識別，得到u筋精確位姿，實現(xiàn)自動準(zhǔn)確抓取。

52、2、本發(fā)明的方法通過第一檢測網(wǎng)絡(luò)實現(xiàn)u筋中心點坐標(biāo)和角度的檢測，能夠得到u筋精確位姿，實現(xiàn)自動準(zhǔn)確抓取，解決了實際擺料環(huán)境中存在強烈的反光問題。

53、3、使用第二檢測網(wǎng)絡(luò)識別初始夾具位置，再識別該夾具特征點，計算夾具位姿，實現(xiàn)了u筋自動準(zhǔn)確擺放，解決了擺放時夾具位置不固定以及弱紋理的問題使得，擺料位置精度達到0.5厘米，角度達到1度。

54、本發(fā)明的其它特征和優(yōu)點將在隨后的說明書中闡述，并且，部分地從說明書中變得顯而易見，或者通過實施本發(fā)明而了解。本發(fā)明的目的和其他優(yōu)點可通過在說明書以及附圖中所指出的結(jié)構(gòu)來實現(xiàn)和獲得。