用于控制視覺引導(dǎo)機器人組件的系統(tǒng)和方法
【專利摘要】一種方法包括下列步驟：致動機器人臂以在起始位置執(zhí)行動作；將機器人臂從起始位置朝向第一位置移動；根據(jù)視覺處理方法，確定在機器人臂到達第一位置時來自于第一位置的第一部件是否將準(zhǔn)備好經(jīng)受由機器人臂執(zhí)行的第一動作；開始用于確定第二部件從第二位置的位置偏離和在機器人臂到達第二位置時第二部件經(jīng)受由機器人臂執(zhí)行的第二動作的準(zhǔn)備度的視覺處理方法的執(zhí)行；以及根據(jù)由視覺處理方法預(yù)確定的第一部件從第一位置的位置偏離而使用機器人臂在第一部件上執(zhí)行第一動作。
【專利說明】用于控制視覺引導(dǎo)機器人組件的系統(tǒng)和方法
[0001]相關(guān)申請的交叉引用
[0002]本申請要求保護申請于2013年10月4日的美國臨時申請N0.61/886764的利益，所述臨時申請全部結(jié)合于此作為參考。
[0003]政府許可權(quán)利
[0004]本發(fā)明是在由能源部頒發(fā)的合同號為DE-EE-0002217的政府支持下做出的。政府在本發(fā)明中具有一定的權(quán)利。

【技術(shù)領(lǐng)域】
[0005]本公開涉及一種用于控制機器人組件的方法和系統(tǒng)。

【背景技術(shù)】
[0006]至少一些制造過程使用機器人組件以組裝某些設(shè)備。例如，可使用機器人組件組裝電池。機器人組件包括至少一個能夠在部件上執(zhí)行動作(諸如鉆孔或焊接)的可動機器人臂。常規(guī)的機器人組件使用允許機器人在預(yù)編程的位置以預(yù)編程的定向操作部件的精密的工具、夾具或托盤。剛性的、昂貴的部件定位還將機器人組件的靈活性限制到特定的或單個的設(shè)備。
[0007]具有用于部件定位的相機視覺的機器人組件是一種用于無需精確、昂貴部件定位硬件以組裝部件，并且從而使得生產(chǎn)更加靈活且成本高效的新的方法。然而，捕捉和處理視覺圖像耗費時間和適當(dāng)?shù)慕Y(jié)構(gòu)以獲得機器人引導(dǎo)所需的精度和可靠性。因此，對于優(yōu)化制造過程，并且從而最小化使用機器人系統(tǒng)完全組裝設(shè)備所需要的時間來說，結(jié)合地控制機器人臂操作和視覺處理是有效的。


【發(fā)明內(nèi)容】

[0008]本公開涉及一種使用相機控制機器人組件的方法。在當(dāng)前公開的方法中，相機可被用于導(dǎo)引機器人組件的機器人臂的運動。通過使用當(dāng)前公開的方法，在機器人臂在運動中時相機捕捉部件的圖像，而不是等待機器人臂到達其目標(biāo)位置，從而最小化制造過程的循環(huán)時間。
[0009]在實施例中，該方法包括主要過程，該過程包括以下步驟:致動機器人臂以在起始位置執(zhí)行動作；將機器人臂從起始位置朝向第一位置移動；根據(jù)視覺處理方法確定在機器人臂到達第一位置時來自于第一位置的第一部件是否將準(zhǔn)備好經(jīng)受由機器人臂執(zhí)行的第一動作；開始用于確定第二部件從第二位置的位置偏離和在機器人臂到達第二位置時第二部件經(jīng)受由機器人臂執(zhí)行的第二動作的準(zhǔn)備度的視覺處理方法的執(zhí)行；以及根據(jù)由視覺處理方法預(yù)確定的第一部件從第一位置的位置偏離而使用機器人臂在第一部件上執(zhí)行第一動作。該步驟在下一個機器人組裝循環(huán)中重復(fù)，其中第一位置和動作分別重新被指定為新的起始位置和動作，而第二部件、位置和動作分別作為新的第一部件、位置和動作，并且第二部件的位置偏離作為新的第一部件的位置偏離。
[0010]該方法還包括視覺處理方法，即在后臺中持續(xù)工作的嵌入式處理過程，具有以下的步驟:從指定位置識別將要經(jīng)歷動作的下一個部件；檢查相機是否準(zhǔn)備好捕捉來自于指定位置的識別的部件的圖像；檢查是否識別的部件處于圖像捕捉的位置處；當(dāng)機器人臂朝向指定位置移動時使用相機從指定位置捕捉所識別的部件的圖像；當(dāng)機器人臂朝向指定位置移動時，至少部分地基于所識別部件的位置而確定所識別的部件從指定位置的位置偏離；設(shè)置所識別的部件從指定位置的狀態(tài)，以準(zhǔn)備好經(jīng)受動作。
[0011]本公開還涉及一種用于控制機器人組件的系統(tǒng)。在實施例中，本系統(tǒng)包括機器人組件，該機器人組件包括機器人臂和可操作地聯(lián)接到機器人臂的臂致動器。臂致動器構(gòu)造為將機器人臂從第一位置移動到第二位置。該系統(tǒng)進一步包括傳送組件，該傳送組件包括多個傳送帶。每個傳送帶被構(gòu)造為移動多個部件，包括第一部件和第二部件。該系統(tǒng)還包括視覺組件，該視覺組件包括多個相機。每個相機與至少一個傳送帶對齊。這樣，每個相機構(gòu)造為捕捉部件中的至少一個的圖像。系統(tǒng)還額外地包括系統(tǒng)控制器，該系統(tǒng)控制器與臂致動器以及多個相機和傳送帶電通訊地連接。系統(tǒng)控制器被編程為執(zhí)行以下指令:致動機器人臂以在起始位置執(zhí)行動作；將機器人臂從起始位置朝向第一位置移動；根據(jù)視覺處理方法，確定在機器人臂到達第一位置時來自于第一位置的第一部件是否將準(zhǔn)備好經(jīng)受由機器人臂執(zhí)行的第一動作；開始用于確定第二部件從第二位置的位置偏離和在機器人臂到達第二位置時的第二部件經(jīng)受由機器人臂執(zhí)行的第二動作的準(zhǔn)備度的視覺處理方法的執(zhí)行；以及根據(jù)由視覺處理方法預(yù)確定的第一部件從第一位置的位置偏離而使用機器人臂在第一部件上執(zhí)行第一動作。該步驟在下一個機器人組裝循環(huán)中重復(fù)，其中第一位置和動作分別重新被指定為新的起始位置和動作，而第二部件、位置和動作分別作為新的第一部件、位置和動作，并且第二部件的位置偏離作為新的第一部件的位置偏離。
[0012]系統(tǒng)控制器還編程為執(zhí)行視覺處理方法，即在后臺中持續(xù)工作的嵌入式處理。視覺處理方法包括下列步驟:從指定位置識別將要經(jīng)歷動作的下一個部件；檢查相機是否準(zhǔn)備好捕捉來自于指定位置的識別的部件的圖像；檢查是否識別的部件處于圖像捕捉的位置處；當(dāng)機器人臂朝向指定位置移動時使用相機從指定位置捕捉所識別的部件的圖像；當(dāng)機器人臂朝向指定位置移動時，至少部分地基于所識別部件的位置而確定所識別的部件從指定位置的位置偏離；設(shè)置所識別的部件從指定位置的狀態(tài)，以準(zhǔn)備好經(jīng)受動作。
[0013]當(dāng)考慮結(jié)合附圖時，本發(fā)明的上述的特征和優(yōu)勢以及其他的特征和優(yōu)勢可從以下用于實施本發(fā)明的最優(yōu)模式的詳細描述顯而易見。

【專利附圖】

【附圖說明】
[0014]圖1是用于組裝設(shè)備的系統(tǒng)的示意性框圖，其中該系統(tǒng)可控制機器人組件；
[0015]圖2是示出了控制機器人組件的方法的流程圖；
[0016]圖3是示出了視覺處理方法的流程圖，該視覺處理方法可為示于圖2的方法的一部分；以及
[0017]圖4是示出了觀測優(yōu)化方法的流程圖，該優(yōu)化方法可為示于圖2的方法的一部分。

【具體實施方式】
[0018]參考附圖，在所有這些視圖中，同樣的附圖標(biāo)記對應(yīng)于同樣的或類似的部件，圖1示意性地圖示了用于組裝由多個部件X組成的設(shè)備(例如，電池)的系統(tǒng)100。系統(tǒng)100包括系統(tǒng)控制器102，該系統(tǒng)控制器具有至少一個處理器104和至少一個存儲器106 (或者任意合適的非瞬時性計算機可讀存儲介質(zhì))。處理器104可為(一個或多個)專用集成電路(ASIC)、(一個或多個)電路以及(一個或多個)中央處理單元(即微處理器)的組合。存儲器106可為只讀存儲器、只讀可編程存儲器、隨機存取存儲器、硬盤驅(qū)動器或其他合適的非瞬時性計算機可讀存儲介質(zhì)的一個或多個的組合。處理器104可執(zhí)行存儲在存儲器106中的控制器可執(zhí)行指令?？刂破骺蓤?zhí)行指令可為軟件或固件程序或路徑、(一個或多個)組合邏輯電路、(一個或多個)串聯(lián)邏輯電路、(一個或多個)輸入/輸出電路和設(shè)備、合適的信號調(diào)節(jié)和緩存電路以及提供下面詳細描述的功能的其他部件?？梢韵胂笙到y(tǒng)控制器102可不包括存儲器106，因為存儲器106可以是系統(tǒng)控制器102的外部設(shè)備。
[0019]系統(tǒng)100進一步包括機器人組件101，其包括至少一個機器人臂108和用于驅(qū)動機器人臂108的至少一個臂致動器110，諸如電機。機器人臂108可包括可操作地聯(lián)接到機器人致動器110的至少一個細長的支撐件112。例如，細長的支撐件112可被機械地連接到臂致動器110。這樣，臂致動器110可致動機器人臂108，以將細長的支撐件112在三個自由度上移動(例如，旋轉(zhuǎn)或平移)。除了細長的支撐件112外，機器人臂108包括至少一個端部效應(yīng)器114和互連細長的支撐件112和端部效應(yīng)器114的連結(jié)點116。如這里使用的，術(shù)語“端部效應(yīng)器”是指能夠在部件X上執(zhí)行工作的工具。作為非限制性的示例，端部效應(yīng)器114可為夾鉗、鉆孔機或焊接工具。因此，端部效應(yīng)器114可例如抓取、鉆孔或焊接部件X。連結(jié)部116可具有另外3個自由度，并且從而允許端部效應(yīng)器114相對于細長的支撐件112移動。雖然圖中示出了一個臂致動器110，機器人組件101可包括兩個或更多的致動器110。例如，一個臂致動器110可移動細長的支撐件112，而另一個臂致動器110可將端部效應(yīng)器114相對于細長的支撐件112移動。
[0020]機器人臂108可操作地聯(lián)接到臂致動器110，并且從而臂致動器110可致動機器人臂108。基于機器人臂108的致動，細長的支撐件112可移動或端部效應(yīng)器114可在部件X上執(zhí)行動作。例如，臂致動器110可致動機器人臂108以使用端部效應(yīng)器114抓取或釋放部件X。替代地或額外地，臂致動器110可致動機器人臂108，從而將端部效應(yīng)器114相對于細長的支撐件112旋轉(zhuǎn)。臂致動器110可響應(yīng)于來自于系統(tǒng)控制器102的命令或輸入而致動機器人臂108。相應(yīng)地，系統(tǒng)控制器102與臂致動器110通訊連接，例如電通訊連接。
[0021]系統(tǒng)控制器102也與傳送組件118通訊連接(例如，電通訊連接)。傳送組件118可為系統(tǒng)100的一部分，并且包括多個傳送帶120，每個傳送帶120構(gòu)造為傳輸和移動部件X。進一步地，傳送組件118包括可操作地聯(lián)接到傳送帶120的傳送致動器122，諸如電機。傳送致動器122可被打開以移動傳送帶120。除了傳送致動器122，傳送致動器122包括可操作地關(guān)聯(lián)于每個傳送帶120的部件傳感器124。每個部件傳感器124可檢測部件X在沿傳送帶120的特定位置L處的存在或不存在。在圖示的實施例中，每個部件傳感器124可為能夠檢測部件X在沿傳送帶120的特定位置L處的存在或不存在的光電傳感器，諸如發(fā)光二極管(LED)傳感器。每個部件傳感器124與系統(tǒng)控制器102通訊連接(例如，電通訊連接)。因此，系統(tǒng)控制器102可基于部件傳感器124的輸入而確定部件X在沿傳送帶120的特定位置L處的存在或不存在。
[0022]系統(tǒng)100進一步包括與系統(tǒng)控制器102通訊連接(例如，電通訊連接)的視覺或光學(xué)系統(tǒng)126。系統(tǒng)組件126可檢測每個部件X在傳送帶120中的位置和定向。在圖示的實施例中，視覺組件126包括能夠捕捉部件X的圖像的多個相機128。每個相機128可操作地關(guān)聯(lián)于一個傳送帶120，并且從而可捕捉部件X在相應(yīng)的傳送帶120上的圖像。具體來說，每個相機128與至少一個傳送帶120對齊，使得每個相機128構(gòu)造為捕捉在相應(yīng)的傳送帶120中的部件X的至少一個的圖像。相機128與系統(tǒng)控制器102通訊連接(例如，電通訊連接)。從而，系統(tǒng)控制器102可協(xié)調(diào)所有相機128的操作，并且可至少部分地基于由相機128捕捉的圖像而確定部件X在傳送帶120上的位置和定向。系統(tǒng)控制器102可繼而至少部分地基于部件X在傳送帶120上的位置和定向而向機器人組件101發(fā)送命令。視覺組件126可包括用于照明傳送組件118的光源130，并且從而最小化當(dāng)相機128捕捉部件X的圖像時環(huán)境光的影響或環(huán)境光的缺少。
[0023]為了提高由相機128捕捉的圖像的質(zhì)量，視覺組件126的某些特征需要被微調(diào)，以檢測錯誤(諸如當(dāng)部件X沒有按計劃移動時)并且響應(yīng)于所檢測的錯誤而控制系統(tǒng)100。例如，光源130的光通量可被調(diào)整以最小化如上所述的環(huán)境光源對相機128的影響。系統(tǒng)控制器102可被編程為使得其可識別部件X的某些物理特征。識別部件X的物理特征是有用的，可幫助系統(tǒng)控制器102確定X的位置和定向。此外，相機128的曝光時間也可被調(diào)整為提高由相機128捕捉的圖像的質(zhì)量。如這里所使用的，術(shù)語“曝光時間”是指相機的快門打開以允許光線到達相機128的感光傳感器的時間量。視覺組件126對比度閾值可為被調(diào)整為提高由相機128拍攝的圖像的質(zhì)量。在本公開中，術(shù)語“對比度”是指在圖像的亮和暗的區(qū)域之間的亮度的差別的度量，而術(shù)語“對比度閾值”是指相機的最小的可感知的對比度。
[0024]參考圖2，本公開還涉及一種用于控制機器人組件101的方法200。在方法200中，當(dāng)機器人臂108移動時，相機129可捕捉部件X的圖像，以最小化用于完全組裝設(shè)備(諸如電池)的組裝部件X所需的時間。方法200起始于步驟202。在步驟202中，系統(tǒng)控制器102經(jīng)由臂致動器110而命令機器人臂在起始部件上執(zhí)行起始動作。例如，系統(tǒng)控制器102可命令機器人臂108拾取或放下起始部件X。替代地，在步驟202中，系統(tǒng)控制器102可命令機器人臂108鉆孔或焊接起始部件X。特別地，系統(tǒng)控制器102可命令端部效應(yīng)器114在起始部件X上執(zhí)行工作。當(dāng)端部效應(yīng)器114在起始部件X上執(zhí)行工作時，機器人臂108處于起始位置。步驟202進行致動機器人臂108，以響應(yīng)于來自于系統(tǒng)控制器102的命令而在起始部件X上執(zhí)彳了起始動作。在起始部件X上執(zhí)彳了起始動作之后，在步驟202中，系統(tǒng)控制器102將起始位置的動作標(biāo)記F設(shè)為0FF，以指示不能立即執(zhí)行在起始位置的下一個動作，且同時，如果機器人臂108將同樣的位置作為第二位置再次訪問，起始位置可用于通過視覺處理方法300而捕捉新圖像(圖3)。接著，方法200前進到步驟204。
[0025]在步驟204中，系統(tǒng)控制器102命令機器人臂108從起始位置朝向第一位置移動。為了這個目的，系統(tǒng)控制器102可向臂致動器110發(fā)送命令信號(或移動命令)。響應(yīng)于該命令信號，臂致動器110致動機器人臂108，將機器人臂108從起始位置移動到第一位置。步驟204從而將機器人臂108從起始位置朝向第一位置移動。接著，方法200前進到步驟206。
[0026]在步驟206中，系統(tǒng)控制器102確定在機器人臂108到達第一位置時第一部件Xl是否將準(zhǔn)備好經(jīng)受由機器人臂108執(zhí)行的第一動作。第一動作和此前的動作相同或者不同。例如，第一動作可為拾取第一部件X1、釋放第一部件X1、鉆孔第一部件X1、焊接第一部件、或能夠由端部效應(yīng)器114在第一部件Xl上執(zhí)行的任意其他動作。
[0027]為了確定在機器人臂108到達第一位置時第一部件Xl是否將準(zhǔn)備好經(jīng)受由機器人臂108執(zhí)行的第一動作，系統(tǒng)控制器102依賴于下面具體描述的視覺或光學(xué)處理方法或子程序300(圖3)。視覺處理方法300(圖3)可當(dāng)系統(tǒng)102執(zhí)行方法200時在后臺中連續(xù)運行。通過使用可視處理方法300 (圖3)，系統(tǒng)控制器102可經(jīng)由第一位置的動作標(biāo)記F至少部分基于動作位置偏移而確定當(dāng)機器人臂108到達第一位置時第一部件Xl是否將準(zhǔn)備好經(jīng)受由機器人臂108執(zhí)行的第一動作。在本公開中，術(shù)語“動作位置偏移”是指部件Xl從機器人臂108的指定的第一位置的位置偏離，其中該指定的第一位置是存儲在存儲器106中并且是可被處理器104以及控制器102所訪問的。因此“部件從指定位置的位置偏離”是指部件的位置距離存儲在存儲器106中的指定的位置的距離。該動作位置偏移可通過執(zhí)行視覺處理方法300而確定(圖3)，并且當(dāng)機器人臂108移動至動作位置時視覺處理方法300將部件X (例如第一部件Xl或第二部件X2)的位置和定向考慮在內(nèi)。在步驟206中，系統(tǒng)控制器102基于第一部件Xl的動作位置偏移確定一旦機器人臂108到達第一位置時第一部件Xl是否將準(zhǔn)備好經(jīng)受由機器人臂108執(zhí)行的第一動作。換句話說，系統(tǒng)控制器102基于第一部件Xl的相對于機器人臂108的指定的第一位置的位置偏離而確定在機器人臂108到達第一位置時第一部件Xl是否將準(zhǔn)備好經(jīng)受由機器人臂108執(zhí)行的第一動作。第一部件Xl相對于機器人臂108的指定的第一位置的位置偏離至少部分地基于當(dāng)相機128捕捉第一部件Xl的圖像時的第一部件Xl的位置和定向。如上所討論的，當(dāng)機器人臂108朝向第一位置移動時，相機128捕捉并且處理第一部件Xl的圖像。
[0028]如果系統(tǒng)控制器102確定當(dāng)機器人臂108到達第一位置時，第一部件Xl沒有準(zhǔn)備好經(jīng)受由機器人臂108執(zhí)行的第一動作，該系統(tǒng)控制器102將再次執(zhí)行步驟206 (包括視覺處理方法300)直到系統(tǒng)控制器102確定當(dāng)機器人臂108到達第一位置時，第一部件Xl將準(zhǔn)備好經(jīng)受由機器人臂108執(zhí)行的第一動作。特別地，如果第一部件Xl不在使用視覺處理方法300所確定的位置偏離(即，動作位置偏移)中，那么方法200將再次執(zhí)行步驟206。在再次執(zhí)行步驟206之前，系統(tǒng)控制器102可命令視覺處理方法300和機器人臂108停止預(yù)定的時間量。另一方面，如果在機器人臂108到達第一位置時第一部件Xl將準(zhǔn)備好經(jīng)受由機器人臂108執(zhí)行的第一動作，那么方法200前進到步驟208。
[0029]在步驟208中，系統(tǒng)控制器102開始視覺處理方法300 (圖3)連同將機器人臂108從第一位置朝向第二位置移動的過程的執(zhí)行。在執(zhí)行步驟208后，方法200前進到步驟210。
[0030]在步驟210中，臂致動器110致動機器人臂108，以當(dāng)機器人臂108到達第一位置時在第一部件Xl上執(zhí)行第一動作。從而步驟210使得僅當(dāng)?shù)谝徊考l在從第一位置的位置偏離中才使用機器人臂108在第一部件上執(zhí)行第一動作。如上所討論的，機器人臂108響應(yīng)于來自于系統(tǒng)控制器102的早先的命令而在第一部件X上執(zhí)行第一動作。第一動作可包括拾取第一部件Xl、釋放第一部件Xl、鉆孔第一部件Xl、焊接第一部件、或能夠由端部效應(yīng)器114執(zhí)行的任意其他動作。在機器人臂108在第一部件X上執(zhí)行第一動作之后，系統(tǒng)控制器102將第一位置的動作標(biāo)記F設(shè)為0FF，指示下一動作不能立即在第一位置執(zhí)行，并且同時，如果機器人臂108再次訪問同樣的位置，第一位置可用于通過視覺處理方法300而捕捉新圖像(圖3)。在執(zhí)行步驟210后，方法200將在步驟212中將部件計數(shù)增加1，并且立即返回步驟204。然而，這次，在步驟204中，系統(tǒng)控制器102命令機器人臂108從第一位置(或?qū)⑵渲匦轮付樾碌钠鹗嘉恢?朝向變?yōu)樾碌牡谝晃恢玫牡诙恢靡苿??？紤]到機器人臂108移動向新的第一位置，并且當(dāng)機器人臂108到達第二或新的第一位置時，機器人臂108可能需要在第二部件或新的第一部件上執(zhí)行動作，剩余的步驟被重復(fù)。
[0031]通過使用方法200，當(dāng)機器人臂108朝向第一位置移動時而不是等待機器人臂108到達第二位置時系統(tǒng)100捕捉部件X (例如，第一部件Xl或第二部件X2)的圖像，從而最小化制造過程的循環(huán)時間。使用捕捉的部件X的圖像，系統(tǒng)控制器102可以確定在機器人臂108到達第二位置時第二部件X2是否將準(zhǔn)備好經(jīng)受由機器人臂108執(zhí)行的第二動作。然而，這個確認可在機器人臂108到達第二位置之前發(fā)生，因此，方法200還可被稱為觀測方法。在方法200和300過程中，傳送帶120持續(xù)地將部件X(例如，第一和第二部件X1、X2)相對于機器人臂108移動。從而可以預(yù)期方法200還可包括使用一個或多個傳送帶120將部件X相對于機器人臂108移動。
[0032]參考圖3，如上所討論的，系統(tǒng)控制器102可執(zhí)行視覺處理方法300，以確定在機器人臂108到達指定位置時部件X是否將準(zhǔn)備好經(jīng)受由機器人臂108執(zhí)行的動作。當(dāng)方法200執(zhí)行時，視覺處理方法300持續(xù)地在后臺執(zhí)行。
[0033]視覺處理方法300起始于步驟302。在步驟302中，系統(tǒng)控制器102經(jīng)由在步驟212中的部件計數(shù)而確定哪個部件X (例如，第一部件Xl或第二部件X2)需要經(jīng)受由機器人臂108所執(zhí)行的動作。作為非限制性的示例，在步驟302中，系統(tǒng)控制器102確定哪個部件X需要被機器人臂108所抓持、釋放、鉆孔或焊接。將經(jīng)受機器人臂108所執(zhí)行的動作的部件X可被稱為所識別的部件。接著，系統(tǒng)控制器102轉(zhuǎn)到步驟304。
[0034]在步驟304中，系統(tǒng)控制器102確定可在步驟302中捕捉所識別的部件X(例如，所識別的部件)的圖像的相機128是否可用于捕捉所識別的部件的圖片(或視頻)。例如，如果由于相機當(dāng)前正在拍攝另一部件的圖片或在相機位置有動作執(zhí)行而導(dǎo)致相機128不能拍攝所識別的部件的照片，那么動作標(biāo)記F處于ON狀態(tài)，接著系統(tǒng)控制器102確定相機128不可用，并且步驟304重復(fù)直到相機128可用。如果相機128可用，動作標(biāo)記F處于OFF狀態(tài)，那么步驟300轉(zhuǎn)到步驟306。
[0035]在步驟306中，系統(tǒng)控制器102確定所識別的部件是否處于該部件可被拍照的位置(即，指定的部件位置)。該確認可至少部分地基于來自于部件傳感器124的至少一個的輸入。如果所識別的部件不處于指定位置，并且從而相機128不能拍攝所識別的部件的圖片，則方法300重復(fù)步驟306。這時，傳送帶120持續(xù)地將所識別的部件相對于機器人臂108移動。如果所識別的部件處于指定位置，并且從而相機128能夠拍攝所識別部件的圖片，則方法300前進到步驟308。
[0036]在步驟308中，系統(tǒng)控制器102接收之前由相機128所捕捉的所識別的部件的圖像。如以上關(guān)于步驟206所討論的，當(dāng)機器人臂108相對于傳送帶20移動時，相機128可捕捉所識別的部件X(例如，第一部件Xl或第二部件X2)的圖像。在接收到所識別的部件X的圖像后，方法300前進到步驟310。
[0037]在步驟310中，系統(tǒng)控制器102確定動作位置偏移。如這里所使用的，術(shù)語“動作位置偏移”是指所識別的部件(例如，第一部件Xl或第二部件X2)距離機器人臂108的指定位置(例如，第二位置)的位置偏離。具體地，系統(tǒng)控制器102可至少部分地基于來自于從所識別的部件X(例如，第一部件Xl或第二部件X2)的捕捉到的圖像中收集的信息的輸入而確定動作位置偏移(即距離機器人臂108的指定位置的位置偏離)。接著，方法300轉(zhuǎn)到步驟312。
[0038]在步驟312中，系統(tǒng)控制器102將動作標(biāo)記F設(shè)為0N，指示當(dāng)機器人臂108到達指定位置時部件X將準(zhǔn)備好經(jīng)受由機器人臂108執(zhí)行的第一動作。動作標(biāo)記F和確定的動作位置偏移兩個通訊至其他路徑(即方法200)使得系統(tǒng)控制器102可在步驟208中確定在機器人臂108到達指定位置時，所識別的部件X是否將準(zhǔn)備好經(jīng)受由機器人臂108執(zhí)行的動作。
[0039]參考圖4，本公開還涉及一種用于確定當(dāng)機器人臂108從第一位置朝向第二位置移動時可執(zhí)行的觀測動作(look-ahead act1n)的數(shù)量的方法400。如這里使用的，術(shù)語“觀測動作”是指當(dāng)機器人臂108移動時并且在機器人臂108到達其目標(biāo)位置之前捕捉部件X(例如，第一部件Xl或第二部件X2)的圖像。換句話說，方法400可用于確定當(dāng)機器人臂108從第一位置向第二位置移動時一個或多個部件可被相機128捕捉的圖像的數(shù)量。方法400從而可被稱為觀測優(yōu)化方法，并且可例如用作堆疊處理的一部分。如這里使用的，“堆疊處理”是指多個部件在彼此頂部堆疊的過程。方法400起始于步驟402。
[0040]在步驟402中，系統(tǒng)控制器102確定機器人臂108在第一部件Xl上執(zhí)行第一動作(例如，拾取、釋放、鉆孔、焊接)所消耗的時間量(即第一動作時間)。相應(yīng)地，術(shù)語“第一動作時間”是指機器人臂108在第一部件Xl上執(zhí)行第一動作所消耗的時間量。第一動作時間可被存儲在系統(tǒng)控制器102的存儲器106中。步驟402確定機器人臂108在第一部件Xl上完成第一動作所需要的時間量。然后，方法400前進到步驟404。
[0041]在步驟404中，系統(tǒng)控制器102確定機器人臂108從第一位置沿編程的路徑以恒定的或可變的速度移動而行進到第二位置所消耗的時間量(即行進路徑時間)。術(shù)語“行進路徑時間”是指機器人臂108從第一位置沿編程的路徑以恒定的或可變的速度移動而行進到第二位置所消耗的時間量。步驟404確定機器人臂108從第一位置行進到第二位置所需要的時間量。行進路徑時間可被存儲在系統(tǒng)控制器102的存儲器106中。一旦系統(tǒng)控制器102確定了行進路徑時間，則方法400前進到步驟406。
[0042]在步驟406中，系統(tǒng)控制器102確定機器人臂108在第二部件X2上執(zhí)行第二動作(例如，拾取、釋放、鉆孔、焊接)所消耗的時間量(即第二動作時間)。相應(yīng)地，術(shù)語“第二動作時間”是指機器人臂108在第二部件X2上執(zhí)行第二動作所消耗的時間量。步驟406確定機器人臂108在第二部件X2上完成第二動作所需要的時間量。第二動作時間可被存儲在系統(tǒng)控制器102的存儲器106中。然后，方法400前進到步驟408。
[0043]在步驟408中，系統(tǒng)控制器102確定機器人臂108需要執(zhí)行以根據(jù)存儲在存儲器106中的指令完成一個循環(huán)所需的重復(fù)運動序列的總數(shù)量(即“重復(fù)運動序列的總數(shù)量”)。在本公開中，術(shù)語“重復(fù)運動序列的總數(shù)量”是指機器人臂108需要執(zhí)行以完成一個循環(huán)的重復(fù)運動序列的總數(shù)。重復(fù)運動序列的總數(shù)量可被存儲在存儲器106中。接著，方法400轉(zhuǎn)到步驟410。
[0044]在步驟410中，系統(tǒng)控制器102確定根據(jù)存儲在存儲器106中的指令完成一個循環(huán)所需的觀測動作的總數(shù)量(即觀測動作的總數(shù)量)。如這里討論的，術(shù)語“觀測動作”是指當(dāng)機器人臂108移動時捕捉部件X(例如，第一部件Xl或第二部件X2)的圖像。因此，步驟410確定完成該循環(huán)所需的圖像的總數(shù)量。具體地，系統(tǒng)控制器102可通過將觀測動作的總數(shù)量等同于在步驟408中確定的重復(fù)運動的總數(shù)量而確定觀測動作的總數(shù)量。例如，如果一個循環(huán)需要機器人臂108的5個重復(fù)性的運動序列，則系統(tǒng)控制器102將觀測動作的總數(shù)量確定為也是5。接著，方法400前進到步驟412。
[0045]在步驟412中，系統(tǒng)控制器102確定當(dāng)機器人臂108從第一位置行進到第二位置時的可行的觀測動作的數(shù)量(即沿臂行進路徑的可行的觀測動作的數(shù)量)。如這里使用的，術(shù)語“臂行進路徑”是指當(dāng)機器人臂108從第一位置移動到第二位置時所行進的路徑。為了確定沿臂行進路徑的可行的觀測動作的數(shù)量，系統(tǒng)控制器102從在步驟410中確定的觀測動作的總數(shù)量的值減去I。例如，如果觀測動作(如在步驟410中確定的)的總數(shù)量為5，那么系統(tǒng)控制器102從5減1，并且確定當(dāng)機器人臂108從第一位置向第二位置行進時可行的觀測動作的數(shù)量為4。在確定可行的觀測動作的數(shù)量后，方法400轉(zhuǎn)到步驟414。
[0046]在步驟414中，系統(tǒng)控制器102確定沿臂行進路徑的可行的觀測動作的數(shù)量是否為O。如果沿臂行進路徑的可行的觀測動作的數(shù)量為零，方法400轉(zhuǎn)到步驟416，其中系統(tǒng)控制器102將可行的觀測動作的數(shù)量調(diào)整為I。在將可行的觀測動作的數(shù)量調(diào)整為I后，方法400持續(xù)到步驟418。另一方面，如果可行的觀測動作的數(shù)量不是0，則方法400直接前進到步驟418。
[0047]在步驟418中，系統(tǒng)控制器102至少部分地基于在步驟412或416中確定的可行的觀測動作的數(shù)量而確定相機128執(zhí)行所有可行的觀測動作所消耗的時間量(即所有可行的觀測動作的時間)?！八锌尚械挠^測動作的時間”是指在步驟412或416中確定的相機128執(zhí)行所有可行的觀測動作(即捕捉部件圖像)所消耗的時間。接著，系統(tǒng)控制器102轉(zhuǎn)到步驟420。
[0048]在步驟420中，系統(tǒng)控制器120確定當(dāng)機器人臂108從第一位置行進到第二位置時，先前在步驟412或416中確定的所有可行的觀測動作是否可被實際地執(zhí)行。為了完成這個目的，系統(tǒng)控制器102將所有可行的觀測動作的時間與下列項的和比較:(a)在步驟402中確定的第一動作時間；(b)在步驟404中確定的行進路徑時間；以及(c)在步驟406中確定的第二動作時間。例如，為了執(zhí)行步驟420，系統(tǒng)控制器102可計算下列方程:
[0049]Σ nT Qmagei) >T (A — B) +P ⑷ +P (B)
[0050]其中:
[0051]Σ J(Imagei)是至少部分地基于在步驟412或416中確定的可行的觀測動作的數(shù)量而確定的相機128執(zhí)行所有可行的觀測動作所消耗的時間量；
[0052]T(A-B)是機器人臂108從第一位置沿編程的路徑以恒定的或可變的速度移動而行進到第二位置所消耗的時間量(即行進路徑時間)，如在步驟404中確定的；
[0053]P(A)是機器人臂108在第一部件Xl上執(zhí)行第一動作(例如，拾取、釋放、鉆孔、焊接)所消耗的時間量(即第一動作時間)，如在步驟402中所確定的；以及
[0054]P⑶是機器人臂108在第二部件X2上執(zhí)行第二動作(例如，拾取、釋放、鉆孔、焊接)所消耗的時間量(即第二動作時間)，如在步驟406中所確定的。確定所有可行的觀測動作的過程不需要實時執(zhí)行。標(biāo)稱值可離線估計。進一步地，單個步驟的動作時間和行進時間并不需要相同。
[0055]如果所有可行觀測動作時間不大于(a)在步驟402中確定的第一動作時間；(b)在步驟404中確定的行進路徑時間；以及(c)在步驟406中確定的第二動作時間的總和，則方法400轉(zhuǎn)到步驟422。在步驟422中，當(dāng)機器人臂108從第一位置行進到第二位置時，系統(tǒng)控制器102命令相機128執(zhí)行如在步驟412或416中確定的可行的觀測動作(即，捕捉部件X的圖像)次數(shù)。步驟422使用相機128執(zhí)行在步驟412或416中確定的可行觀測動作。
[0056]并且在步驟420中，如果所有可行觀測動作時間大于(a)在步驟402中確定的第一動作時間；(b)在步驟404中確定的行進路徑時間；以及(c)在步驟406中確定的第二動作時間的總和，則方法400返回到步驟412，其中系統(tǒng)控制器102如上所討論地重新調(diào)整可行的觀測動作的數(shù)量。當(dāng)確定當(dāng)機器人臂108從第一位置向第二位移移動時可捕捉的圖像的數(shù)量時，方法400考慮圖像處理時間；機器人臂108的特定動作；機器人臂108的加速、減速和速度；以及傳送帶120的操作。
[0057]由于實施本發(fā)明的最優(yōu)模式已經(jīng)被詳細地描述，所以那些本公開涉及的技術(shù)類似的將認可用于在附加的權(quán)利要求的范圍內(nèi)的實踐本發(fā)明的多種替代的設(shè)計和實施例。
【權(quán)利要求】
1.一種用于控制機器人組件的方法，包括 致動機器人臂，以在起始位置進行起始動作； 將機器人臂從起始位置朝向第一位置移動； 經(jīng)由控制器執(zhí)行視覺處理子程序，其中視覺處理子程序包括: 確定在機器人臂到達第一位置時，第一部件是否將準(zhǔn)備好經(jīng)受由機器人臂進行的第一動作； 確定第二部件從第二位置的位置偏離； 確定在機器人臂到達第二位置時，第二部件是否將準(zhǔn)備好經(jīng)受由機器人臂進行的第二動作；以及 如果機器人臂位于由視覺處理子程序預(yù)確定的第一部件從第一位置的位置偏離內(nèi)，則使用機器人臂在第一部件上進行第一動作。
2.如權(quán)利要求1所述的方法，進一步包括重復(fù)致動、移動、執(zhí)行和進行步驟，其中第一位置重新指定為第一位置，第一動作重新指定為起始動作，第二部件重新指定為第一部件，第二位置重新指定為第一位置，第二動作重新指定為第一動作，并且第二部件從第二位置的位置偏離重新指定為第一部件從第一位置的位置偏離。
3.如權(quán)利要求2所述的方法，其中視覺處理子程序是在后臺持續(xù)工作的嵌入式過程。
4.如權(quán)利要求3所述的方法，其中視覺處理子程序包括從指定的位置識別經(jīng)受下一個動作的下一個部件。
5.如權(quán)利要求4所述的方法，其中視覺處理子程序進一步包括相機是否準(zhǔn)備好從指定的位置捕捉所識別的部件的圖像。
6.如權(quán)利要求5所述的方法，其中視覺處理子程序進一步包括確定所識別的部件是否處于相機能夠捕捉所識別的部件的圖像的位置處。
7.如權(quán)利要求6所述的方法，其中所述視覺處理子程序進一步包括，當(dāng)機器人臂朝向指定位置移動時，使用相機從指定位置捕捉所識別的部件的圖像。
8.如權(quán)利要求7所述的方法，當(dāng)機器人臂朝向指定位置移動時，至少部分地基于所識別的部件的位置而確定所識別的部件從指定位置的位置偏離。
9.如權(quán)利要求8所述的方法，將所識別的部件從指定位置的狀態(tài)設(shè)置為準(zhǔn)備好經(jīng)受下一個動作。
10.如權(quán)利要求1所述的方法，進一步包括確定當(dāng)機器人臂從起始位置向第一位置移動時，一個或多個部件可被相機捕捉的圖像的數(shù)量。
【文檔編號】G05D3/12GK104516362SQ201410520270
【公開日】2015年4月15日 申請日期:2014年9月30日 優(yōu)先權(quán)日:2013年10月4日
【發(fā)明者】Y-T.林, T.達羅, J.A.埃布爾, R.D.特納三世, D.J.卡索利 申請人:通用汽車環(huán)球科技運作有限責(zé)任公司