的保護(hù)范圍。
【主權(quán)項(xiàng)】
1. 一種用于焊接機(jī)器人的路徑點(diǎn)自動(dòng)生成系統(tǒng)，用于焊接工作臺(tái)上焊件的焊接，所述 系統(tǒng)至少包括： 機(jī)器人本體，包括焊炬； 控制器，用于控制所述機(jī)器人本體的運(yùn)動(dòng)； 其特征在于，所述系統(tǒng)還包括： RGB-D傳感器，固定在所述機(jī)器人本體的末端，用于采集所述焊件的RGB圖像和深度圖 像，并將所述焊件的所述RGB圖像和所述深度圖像傳送至上位機(jī)； 所述上位機(jī)，用于對(duì)所述焊件的所述RGB圖像和所述深度圖像進(jìn)行處理，提取出所述焊 件的焊縫邊緣，并根據(jù)所述焊縫邊緣計(jì)算路徑點(diǎn)信息，再將所述路徑點(diǎn)信息發(fā)送至所述控 制器，以控制所述焊炬末端沿著所述路徑點(diǎn)移動(dòng)。2. 根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于， 所述控制器，還用于將所述當(dāng)前時(shí)刻的所述機(jī)器人本體的位姿數(shù)據(jù)發(fā)送至上位機(jī)，以 及從所述上位機(jī)接收所述機(jī)器人基座標(biāo)下的路徑點(diǎn)上焊炬末端應(yīng)到達(dá)的位姿數(shù)據(jù)； 所述上位機(jī)具體包括： 圖像預(yù)處理模塊，用于在所述焊件的RGB圖像上選取僅有所述焊縫且沒(méi)有所述焊炬末 端的第一區(qū)域，將所述第一區(qū)域轉(zhuǎn)換為灰度圖像，并將所述灰度圖像發(fā)送至焊縫邊緣提取 豐旲塊； 所述焊縫邊緣提取模塊，用于根據(jù)所述灰度圖像，提取出所述焊縫邊緣圖像； 路徑點(diǎn)生成模塊，用于根據(jù)所述焊縫邊緣圖像計(jì)算相機(jī)坐標(biāo)系下的路徑點(diǎn)坐標(biāo)； 坐標(biāo)變換模塊，用于將所述相機(jī)坐標(biāo)系下的路徑點(diǎn)坐標(biāo)轉(zhuǎn)換成機(jī)器人基坐標(biāo)系下的位 姿數(shù)據(jù)，并判斷機(jī)器人是否已經(jīng)經(jīng)過(guò)該位姿，若是，則丟棄所述位姿，否則將所述位姿數(shù)據(jù) 發(fā)送至數(shù)據(jù)通信模塊； 所述數(shù)據(jù)通信模塊，用于將當(dāng)前時(shí)刻機(jī)器人本體的位姿數(shù)據(jù)發(fā)送至所述坐標(biāo)變換模 塊，以及將所述坐標(biāo)變換模塊確定的所述位姿數(shù)據(jù)發(fā)送至所述控制器。3. 根據(jù)權(quán)利要求2所述的系統(tǒng)，其特征在于，所述上位機(jī)還包括碰撞檢測(cè)模塊;其中： 所述圖像預(yù)處理模塊，還用于在所述RGB圖像上選取具有所述焊炬末端的第二區(qū)域，對(duì) 所述第二區(qū)域進(jìn)行濾波，并將所述濾波后的第二區(qū)域發(fā)送至碰撞檢測(cè)模塊； 所述碰撞檢測(cè)模塊，用于根據(jù)所述濾波后的第二區(qū)域和所述深度圖像，通過(guò)測(cè)定所述 焊炬末端與所述焊縫邊緣的距離來(lái)確定所述焊炬末端的運(yùn)動(dòng)狀態(tài)。4. 根據(jù)權(quán)利要求3所述的系統(tǒng)，其特征在于，所述碰撞檢測(cè)模塊還包括： 識(shí)別模塊，用于識(shí)別所述第二區(qū)域中所述焊炬末端； 處理模塊，用于在所述第二區(qū)域中以所述焊炬末端為圓心做兩個(gè)半徑分別為Μ個(gè)像素 點(diǎn)和Ν個(gè)像素點(diǎn)的第一和第二同心圓，其中，所述Μ大于所述Ν; 計(jì)算模塊，用于結(jié)合所述深度圖像，計(jì)算出所述第一和第二同心圓內(nèi)所有像素點(diǎn)到所 述焊炬末端的距離； 運(yùn)動(dòng)改變模塊，用于在所述第一同心圓內(nèi)的像素點(diǎn)到所述焊炬末端的距離小于第一閾 值的情況下，發(fā)出預(yù)警并改變所述焊炬末端的運(yùn)動(dòng)方向； 運(yùn)動(dòng)停止模塊，用于在所述第二同心圓內(nèi)的像素點(diǎn)到所述焊炬末端的距離小于第二閾 值的情況下，發(fā)出碰撞警報(bào)并停止所述焊炬末端的運(yùn)動(dòng)。5. 根據(jù)權(quán)利要求2所述的系統(tǒng)，其特征在于，所述焊縫邊緣提取模塊具體用于執(zhí)行以下 步驟： 對(duì)所述灰度圖像進(jìn)行頂帽變換，獲取所述焊件焊縫邊緣的亮部分細(xì)節(jié)圖像； 對(duì)所述灰度圖像進(jìn)行黑帽變換，獲取所述焊件焊縫底部及側(cè)面的暗部分細(xì)節(jié)圖像； 將所述亮部分細(xì)節(jié)圖像與所述暗部分細(xì)節(jié)圖像相加，獲取所述焊縫的明暗細(xì)節(jié)圖像； 將所述焊縫的明暗細(xì)節(jié)圖像通過(guò)邊緣檢測(cè)算子提取出焊縫邊緣二值圖像； 對(duì)所述焊縫邊緣二值圖像進(jìn)行形態(tài)學(xué)的膨脹和腐蝕處理，得到僅焊縫區(qū)域?yàn)榱恋亩?圖像； 將所述二值圖像按亮區(qū)域分割并連接距離小于預(yù)定閾值的亮區(qū)域，得到完整的焊縫區(qū) 域圖像； 通過(guò)邊緣檢測(cè)算子對(duì)所述完整的焊縫區(qū)域圖像進(jìn)行邊緣提取，得到所述焊縫邊緣圖 像。6. 根據(jù)權(quán)利要求2所述的系統(tǒng)，其特征在于，所述路徑點(diǎn)生成模塊具體被配置為執(zhí)行以 下步驟： 選取開(kāi)始點(diǎn):將所述焊縫邊緣圖像最下方的兩條邊緣的中點(diǎn)選取為開(kāi)始路徑點(diǎn)； 計(jì)算下一路徑點(diǎn)：將當(dāng)前路徑點(diǎn)平移一個(gè)單位矢量得到下一路徑點(diǎn)，其中，所述單位矢 量的矢量方向?yàn)樗龊缚p邊緣的切線方向； 路徑點(diǎn)判斷:判斷所述下一路徑點(diǎn)是否在所述焊縫內(nèi)部； 調(diào)整下一路徑點(diǎn)：在所述下一路徑點(diǎn)不在所述焊縫內(nèi)的情況下，將所述下一路徑點(diǎn)調(diào) 整至所述焊縫內(nèi)； 計(jì)算路徑點(diǎn)三維坐標(biāo):根據(jù)所述深度圖像，計(jì)算所述下一路徑點(diǎn)在所述相機(jī)坐標(biāo)系中 的三維坐標(biāo)； 記錄當(dāng)前路徑點(diǎn)：將所述下一路徑點(diǎn)記錄為所述當(dāng)前路徑點(diǎn)，以生成路徑點(diǎn)數(shù)加一，如 果已生成路徑點(diǎn)數(shù)小于設(shè)定值，并從所述計(jì)算下一路徑點(diǎn)步驟開(kāi)始執(zhí)行，否則從所述圖像 預(yù)處理模塊開(kāi)始執(zhí)行。7. 根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于，所述系統(tǒng)還包括： 示教器，其與所述上位機(jī)和所述控制器相連，并包括： 示教再現(xiàn)模塊，用于通過(guò)所述控制器向所述機(jī)器人示教目標(biāo)位置； 輸入輸出模塊，用于接收所述上位機(jī)發(fā)送來(lái)的所述路徑點(diǎn)信息以及所述控制器發(fā)送來(lái) 的當(dāng)前時(shí)刻的機(jī)器人本體的位姿數(shù)據(jù)，并向所述控制器設(shè)置輸入輸出信息和所述路徑點(diǎn)的 位姿數(shù)據(jù)； 數(shù)據(jù)通訊模塊，用于實(shí)現(xiàn)所述上位機(jī)和所述示教器之間的通信，以及所述示教器與所 述控制器之間的通信； 圖像顯示模塊，用于顯示所述RGB-D傳感器采集到的RGB圖像和深度圖像以及所述路徑 點(diǎn)信息。8. -種用于焊接機(jī)器人的路徑點(diǎn)自動(dòng)生成方法，其特征在于，所述方法至少包括： 所述RGB-D傳感器采集所述焊件的RGB圖像和深度圖像，并將所述焊件的所述RGB圖像 和所述深度圖像傳送至所述上位機(jī)； 所述控制器將所述當(dāng)前時(shí)刻的所述機(jī)器人本體的位姿數(shù)據(jù)發(fā)送至所述上位機(jī)，并從所 述上位機(jī)接收所述機(jī)器人基座標(biāo)系下的路徑點(diǎn)上焊炬末端應(yīng)到達(dá)的位姿數(shù)據(jù)，以及控制所 述焊炬末端沿著所述路徑點(diǎn)移動(dòng)； 所述上位機(jī)被配置為執(zhí)行以下步驟： 圖像預(yù)處理:在所述焊件的RGB圖像上選取僅有所述焊縫且沒(méi)有所述焊炬末端的第一 區(qū)域，將所述第一區(qū)域轉(zhuǎn)換為灰度圖像； 焊縫邊緣提取:根據(jù)所述灰度圖像，提取出所述焊縫邊緣圖像； 路徑點(diǎn)坐標(biāo)計(jì)算:根據(jù)所述焊縫邊緣圖像計(jì)算相機(jī)坐標(biāo)系下的路徑點(diǎn)坐標(biāo)； 路徑點(diǎn)檢查：將所述相機(jī)坐標(biāo)系下的路徑點(diǎn)坐標(biāo)轉(zhuǎn)換成機(jī)器人基坐標(biāo)系下的位姿數(shù) 據(jù)，并判斷機(jī)器人是否已經(jīng)經(jīng)過(guò)該位姿，若是，則丟棄所述位姿，否則將所述位姿數(shù)據(jù)發(fā)送 至所述控制器。9. 根據(jù)權(quán)利要求8所述的方法，其特征在于，所述焊縫邊緣提取步驟具體包括： 對(duì)所述灰度圖像進(jìn)行頂帽變換，獲取所述焊件焊縫邊緣的亮部分細(xì)節(jié)圖像； 對(duì)所述灰度圖像進(jìn)行黑帽變換，獲取所述焊件焊縫底部及側(cè)面的暗部分細(xì)節(jié)圖像； 將所述亮部分細(xì)節(jié)圖像與所述暗部分細(xì)節(jié)圖像相加，獲取所述焊縫的明暗細(xì)節(jié)圖像； 將所述焊縫的明暗細(xì)節(jié)圖像通過(guò)邊緣檢測(cè)算子提取出焊縫邊緣二值圖像； 對(duì)所述焊縫邊緣二值圖像進(jìn)行形態(tài)學(xué)的膨脹和腐蝕處理，得到僅焊縫區(qū)域?yàn)榱恋亩?圖像； 將所述二值圖像按亮區(qū)域分割并連接距離小于預(yù)定閾值的亮區(qū)域，得到完整的焊縫區(qū) 域圖像； 通過(guò)邊緣檢測(cè)算子對(duì)所述完整的焊縫區(qū)域圖像進(jìn)行邊緣提取，得到所述焊縫邊緣圖 像。10. 根據(jù)權(quán)利要求8所述的方法，其特征在于，所述路徑點(diǎn)坐標(biāo)計(jì)算步驟具體包括： 步驟1:將所述焊縫邊緣圖像最下方的兩條邊緣的中點(diǎn)選取為開(kāi)始路徑點(diǎn)； 步驟2:將當(dāng)前路徑點(diǎn)平移一個(gè)單位矢量得到下一路徑點(diǎn)，其中，所述單位矢量的矢量 方向?yàn)樗龊缚p邊緣的切線方向； 步驟3:判斷所述下一路徑點(diǎn)是否在所述焊縫內(nèi)部，如果所述下一路徑點(diǎn)不在所述焊縫 內(nèi)，將所述下一路徑點(diǎn)調(diào)整至所述焊縫內(nèi)； 步驟4:根據(jù)所述深度圖像，計(jì)算所述下一路徑點(diǎn)在所述相機(jī)坐標(biāo)系中的三維坐標(biāo)； 步驟5:將所述下一路徑點(diǎn)記錄為所述當(dāng)前路徑點(diǎn)，并調(diào)用所述步驟2,以生成路徑點(diǎn)數(shù) 加一，如果已生成路徑點(diǎn)數(shù)小于設(shè)定值，重復(fù)執(zhí)行步驟2;否則執(zhí)行所述圖像預(yù)處理步驟。
【專利摘要】本發(fā)明公開(kāi)了一種用于焊接機(jī)器人的路徑點(diǎn)自動(dòng)生成系統(tǒng)和方法。其中，該系統(tǒng)包括機(jī)器人本體、控制器、RGB-D傳感器和上位機(jī)。其中，機(jī)器人本體為六自由度焊接機(jī)器人，其包括焊炬；控制器用于控制機(jī)器人本體的運(yùn)動(dòng)；RGB-D傳感器固定在機(jī)器人的機(jī)械臂上，用于采集焊件的RGB圖像和深度圖像，并將所述RGB圖像和深度圖像傳送至上位機(jī)；上位機(jī)用于對(duì)焊件的RGB圖像和深度圖像進(jìn)行處理，提取出焊件的焊縫邊緣，并根據(jù)焊縫邊緣計(jì)算路徑點(diǎn)信息，再將路徑點(diǎn)信息發(fā)送至控制器，以控制焊炬末端沿著所述路徑點(diǎn)移動(dòng)。通過(guò)本發(fā)明實(shí)施例實(shí)現(xiàn)了自動(dòng)生成空間曲線焊縫的路徑點(diǎn)，減輕了工人的工作量，提高了機(jī)器人的工作效率。
【IPC分類】B23K37/00
【公開(kāi)號(hào)】CN105665970
【申請(qǐng)?zhí)枴緾N201610116110
【發(fā)明人】景奉水, 李婧, 李恩
【申請(qǐng)人】中國(guó)科學(xué)院自動(dòng)化研究所
【公開(kāi)日】2016年6月15日
【申請(qǐng)日】2016年3月1日