器內(nèi)的 程序文件。
[0061]數(shù)據(jù)結(jié)構(gòu)模塊負(fù)責(zé)以XML文檔的格式存儲(chǔ)界面模塊中所有的設(shè)置項(xiàng)，在發(fā)送數(shù)據(jù) 或者運(yùn)行命令時(shí)再提取并隨之發(fā)送。所有與控制器交互命令均以一種固定格式組織，其由 a)優(yōu)先級(jí);b)任務(wù)號(hào);c)其他8個(gè)參數(shù)組成，八個(gè)參數(shù)的具體含義和任務(wù)號(hào)有關(guān)。文本和命令 點(diǎn)坐標(biāo)值分成兩部分儲(chǔ)存，文本以純文本形式儲(chǔ)存，命令點(diǎn)以鏈表形式組織，并以XML格式 保存。
[0062]數(shù)據(jù)通信模塊以TCP協(xié)議與控制器間傳輸命令，并以FTP協(xié)議與控制器間批量傳輸 文件。示教器與上位機(jī)之間的命令交互也以TCP協(xié)議進(jìn)行傳輸。
[0063] 下面以一優(yōu)選實(shí)施例來說明用于焊接機(jī)器人的路徑點(diǎn)自動(dòng)生成系統(tǒng)。如圖6所示。 該系統(tǒng)由RGB-D傳感器1、上位計(jì)算機(jī)系統(tǒng)2、示教器3、控制器4、弧焊機(jī)器人5組成。其中， RGB-D傳感器1獲取到彩色和深度圖像信息后，發(fā)布三維點(diǎn)云。示教器3接收程序，將程序記 錄發(fā)送至上位計(jì)算機(jī)系統(tǒng)2,并運(yùn)行已經(jīng)編輯好的程序。上位計(jì)算機(jī)系統(tǒng)2將生成的路徑點(diǎn) 位姿發(fā)送至控制器4。示教器3向控制器4發(fā)布指令。控制器4控制弧焊機(jī)器人5執(zhí)行焊接工件 的工作。
[0064] 基于與上述系統(tǒng)實(shí)施例相同的技術(shù)構(gòu)思，還提供一種用于焊接機(jī)器人的路徑點(diǎn)自 動(dòng)生成方法。該方法可由上述用于焊接機(jī)器人的路徑點(diǎn)自動(dòng)生成系統(tǒng)執(zhí)行。該方法用于焊 接工作臺(tái)上焊件的焊接，焊接機(jī)器人包括機(jī)器人本體和焊炬，機(jī)器人本體上設(shè)置有RGB-D傳 感器，機(jī)器人本體與控制器相連，控制器還與上位機(jī)相連。如圖7所示，該方法至少可以包 括：
[0065] S700:RGB-D傳感器采集焊件的RGB圖像和深度圖像，并將焊件的RGB圖像和深度圖 像傳送至上位機(jī)。
[0066] S710:上位機(jī)被配置為執(zhí)行以下步驟：
[0067]圖像預(yù)處理步驟S711:在焊件的RGB圖像上選取僅有焊縫且沒有焊炬末端的第一 區(qū)域，將第一區(qū)域轉(zhuǎn)換為灰度圖像；
[0068] 焊縫邊緣提取步驟S712:根據(jù)灰度圖像，提取出焊縫邊緣圖像；
[0069] 路徑點(diǎn)坐標(biāo)計(jì)算步驟S713:根據(jù)焊縫邊緣圖像計(jì)算相機(jī)坐標(biāo)系下的路徑點(diǎn)坐標(biāo)；
[0070] 路徑點(diǎn)檢查步驟S714:將相機(jī)坐標(biāo)系下的路徑點(diǎn)坐標(biāo)轉(zhuǎn)換成機(jī)器人基坐標(biāo)系下的 位姿數(shù)據(jù)，并判斷機(jī)器人是否已經(jīng)經(jīng)過該位姿，若是，則丟棄位姿，否則將位姿數(shù)據(jù)發(fā)送至 控制器；
[0071] S720:控制器將當(dāng)前時(shí)刻的機(jī)器人本體的位姿數(shù)據(jù)發(fā)送至上位機(jī)，并從上位機(jī)接 收機(jī)器人基座標(biāo)系下的路徑點(diǎn)上焊炬末端應(yīng)到達(dá)的位姿數(shù)據(jù)，以及控制焊炬末端沿著路徑 點(diǎn)移動(dòng)。
[0072] 在一個(gè)可選的實(shí)施例中，如圖8所示，上述方法還可以包括:控制器將當(dāng)前時(shí)刻的 機(jī)器人本體的位姿數(shù)據(jù)發(fā)送至上位機(jī)，以及從上位機(jī)接收機(jī)器人基座標(biāo)下的(也即所規(guī)劃 的路徑點(diǎn)）路徑點(diǎn)上焊炬末端應(yīng)到達(dá)的位姿數(shù)據(jù)。上位機(jī)執(zhí)行以下步驟:在焊件的RGB圖像 上選取僅有焊縫且沒有焊炬末端的第一區(qū)域，將第一區(qū)域轉(zhuǎn)換為灰度圖像;根據(jù)灰度圖像， 提取出焊縫邊緣圖像;根據(jù)焊縫邊緣圖像計(jì)算相機(jī)坐標(biāo)系下的路徑點(diǎn)坐標(biāo);將相機(jī)坐標(biāo)系 下的路徑點(diǎn)坐標(biāo)轉(zhuǎn)換成機(jī)器人基坐標(biāo)系下的路徑點(diǎn)位姿數(shù)據(jù)，并將路徑點(diǎn)與當(dāng)前時(shí)刻的機(jī) 器人本體位姿數(shù)據(jù)進(jìn)行對(duì)比，如果路徑點(diǎn)有效，則將路徑點(diǎn)的焊炬的位姿發(fā)送至控制器。
[0073] 在上述實(shí)施例的基礎(chǔ)上，焊縫邊緣提取步驟具體可以包括:對(duì)灰度圖像進(jìn)行頂帽 變換，獲取焊件焊縫邊緣的亮部分細(xì)節(jié)圖像。對(duì)灰度圖像進(jìn)行黑帽變換，獲取焊件焊縫底部 及側(cè)面的暗部分細(xì)節(jié)圖像。將亮部分細(xì)節(jié)圖像與暗部分細(xì)節(jié)圖像相加，獲取焊縫的明暗細(xì) 節(jié)圖像。通過邊緣檢測(cè)算子提取焊縫的明暗細(xì)節(jié)圖像的邊緣圖像。對(duì)邊緣圖像進(jìn)行形態(tài)學(xué) 的膨脹和腐蝕處理，得到僅焊縫區(qū)域?yàn)榱恋亩祱D像。將二值圖像按亮區(qū)域分割并連接距 離小于預(yù)定閾值的亮區(qū)域，得到完整的焊縫區(qū)域圖像。通過邊緣檢測(cè)算子對(duì)完整的焊縫區(qū) 域圖像進(jìn)行邊緣提取，得到焊縫邊緣圖像。
[0074] 在上述實(shí)施例的基礎(chǔ)上，路徑點(diǎn)坐標(biāo)計(jì)算步驟S713具體可以包括：
[0075] S7131:將焊縫邊緣圖像最下方的兩條邊緣的中點(diǎn)選取為開始路徑點(diǎn)。
[0076] S7132:通過從當(dāng)前路徑點(diǎn)平移單位矢量得到下一路徑點(diǎn)，其中，單位矢量的矢量 方向?yàn)楹缚p邊緣的切線方向。
[0077] S7133:判斷下一路徑點(diǎn)是否在焊縫內(nèi)部。若否，將下一路徑點(diǎn)調(diào)整至焊縫內(nèi)。
[0078] S7134:根據(jù)深度圖像，計(jì)算下一路徑點(diǎn)在相機(jī)坐標(biāo)系中的三維坐標(biāo)。
[0079] S7135:將下一路徑點(diǎn)記錄為當(dāng)前路徑點(diǎn)，并調(diào)用步驟S7132,以生成路徑點(diǎn)數(shù)加 一，如果已生成路徑點(diǎn)數(shù)小于設(shè)定值，重復(fù)執(zhí)行S7132;否則執(zhí)行圖像預(yù)處理步驟。
[0080] 下面以更加優(yōu)選的實(shí)施例詳細(xì)說明路徑點(diǎn)自動(dòng)生成系統(tǒng)的工作流程，如圖8所示。
[0081] 將上述實(shí)施例中的每個(gè)模塊作為一個(gè)節(jié)點(diǎn)運(yùn)行，節(jié)點(diǎn)間通過自定義消息通信。 [0082] Sl:驅(qū)動(dòng)節(jié)點(diǎn)（即節(jié)點(diǎn)1)發(fā)布RGB-D傳感器獲取的點(diǎn)云消息。
[0083]其中，點(diǎn)云消息可以為傳感器獲取的三維場(chǎng)景圖像。發(fā)布的幀率為30幀/秒。
[0084] S2:校正節(jié)點(diǎn)（即節(jié)點(diǎn)2)獲取到點(diǎn)云消息并將其轉(zhuǎn)換為RGB圖像消息和深度圖像消 息，然后進(jìn)行發(fā)布。
[0085] S3:圖像預(yù)處理節(jié)點(diǎn)（即節(jié)點(diǎn)3)獲取RGB圖像消息。進(jìn)行如下處理：1)選取僅有焊縫 且沒有焊炬末端的ROI(Region of Interest)并進(jìn)行濾波處理，發(fā)布到灰度圖像消息；2)選 取具有焊炬末端的ROI并進(jìn)行濾波處理，發(fā)布到碰撞圖像消息。
[0086] S4:焊縫提取節(jié)點(diǎn)（即節(jié)點(diǎn)4)以每3秒一幀的速率獲取圖像預(yù)處理節(jié)點(diǎn)發(fā)布的灰 度圖像消息，完成焊縫提取后發(fā)布焊縫的二值圖像消息。
[0087] 其中，在低速運(yùn)動(dòng)的情況下RGB-D傳感器獲得的每幀圖像差別不大，而走完一幀圖 像規(guī)劃的路徑點(diǎn)約為3秒。
[0088] S5:碰撞檢測(cè)節(jié)點(diǎn)（即節(jié)點(diǎn)5)獲取圖像預(yù)處理節(jié)點(diǎn)發(fā)布的碰撞圖像消息，對(duì)每一幀 圖像進(jìn)行碰撞檢測(cè)。如沒有警報(bào)，則不進(jìn)行處理;如有碰撞預(yù)警，則發(fā)布消息，通知取消還未 完成的運(yùn)動(dòng)，并發(fā)布新的路徑點(diǎn)至數(shù)據(jù)通信節(jié)點(diǎn)，并通知焊縫提取節(jié)點(diǎn)重新開始工作;如果 已經(jīng)碰撞，則停止運(yùn)動(dòng)，等待人工處理。
[0089] S6:路徑點(diǎn)生成節(jié)點(diǎn)（即節(jié)點(diǎn)6)先獲取焊縫的二值圖像消息，再生成計(jì)算路徑點(diǎn)并 發(fā)布相機(jī)坐標(biāo)系下路徑點(diǎn)消息。
[0090] S7:坐標(biāo)變換節(jié)點(diǎn)（即節(jié)點(diǎn)7)獲取路徑點(diǎn)消息，以及當(dāng)前時(shí)刻的機(jī)器人位姿消息； 使用手眼標(biāo)定矩陣計(jì)算焊炬位姿;如果當(dāng)前時(shí)刻的機(jī)器人位姿領(lǐng)先于所計(jì)算的焊炬位姿， 即機(jī)器人已經(jīng)經(jīng)過該路徑點(diǎn)，則丟棄該路徑點(diǎn)位姿，否則發(fā)布目標(biāo)路徑點(diǎn)位姿。
[0091] 在本步驟中，坐標(biāo)變換節(jié)點(diǎn)獲取的是路徑點(diǎn)生成節(jié)點(diǎn)發(fā)布的消息，是相機(jī)坐標(biāo)系 下的三維坐標(biāo)值。坐標(biāo)變換節(jié)點(diǎn)要將相機(jī)坐標(biāo)系下的路徑點(diǎn)轉(zhuǎn)換成機(jī)器人基座標(biāo)系下的位 姿A，并與當(dāng)前時(shí)刻的機(jī)器人焊炬末端所在位置B進(jìn)行對(duì)比，如果判斷將要發(fā)布的路徑點(diǎn)已 經(jīng)落后于機(jī)器人已經(jīng)達(dá)到的位置，則放棄該點(diǎn)的發(fā)布。其中，對(duì)比是通過B與位姿A坐標(biāo)的矢 量差M與A點(diǎn)位姿的X軸方向向量點(diǎn)乘，如果這個(gè)結(jié)果大于零，則認(rèn)為該即將發(fā)布的目標(biāo)路 徑點(diǎn)尚未經(jīng)過，是有效的，否則認(rèn)為該目標(biāo)路徑點(diǎn)無效，放棄之。
[0092] S8:數(shù)據(jù)通信節(jié)點(diǎn)（即節(jié)點(diǎn)8)將計(jì)算的位置點(diǎn)發(fā)送給示教器、控制器，并進(jìn)行本地 存儲(chǔ)。同時(shí)，數(shù)據(jù)通信節(jié)點(diǎn)也接受控制器發(fā)回的當(dāng)前位姿。
[0093] 其中，數(shù)據(jù)通信節(jié)點(diǎn)從RGB-D傳感器獲取的當(dāng)前時(shí)刻的機(jī)器人位姿消息，是機(jī)器人 基座標(biāo)系下的位姿。
[0094] 綜上所述，本發(fā)明實(shí)施例可以具有以下優(yōu)點(diǎn)：安裝方便，可擴(kuò)展性好，性能穩(wěn)定，用 戶不需培訓(xùn)即可使用。
[0095]本實(shí)施例中雖然將各個(gè)步驟按照上述先后次序的方式進(jìn)行了描述，但是本領(lǐng)域技 術(shù)人員可以理解，為了實(shí)現(xiàn)本實(shí)施例的效果，不同的步驟之間不必按照這樣的次序執(zhí)行，其 可以同時(shí)(并行)執(zhí)行或以顛倒的次序執(zhí)行，這些簡單的變化都在本發(fā)明的保護(hù)范圍之內(nèi)。 [0096]上述系統(tǒng)實(shí)施例和方法實(shí)施例的具體細(xì)節(jié)部分可以互相借鑒，在此不再贅述。 [0097]如本文中所使用的，術(shù)語"模塊"可以指代在計(jì)算系統(tǒng)上執(zhí)行的軟件對(duì)象或例程。 可以將本文中所描述的不同模塊實(shí)現(xiàn)為在計(jì)算系統(tǒng)上執(zhí)行的對(duì)象或過程(例如，作為獨(dú)立 的線程）。
[0098]本發(fā)明并不限于上述實(shí)施方式，在不背離本發(fā)明實(shí)質(zhì)內(nèi)容的情況下，本領(lǐng)域普通 技術(shù)人員可以想到的任何變形、改進(jìn)或替換均落入本發(fā)明