在機(jī)器人系統(tǒng)中拾取動(dòng)作之后使傳感器測(cè)量值無(wú)效的方法
【專利摘要】本發(fā)明涉及在機(jī)器人分揀系統(tǒng)的目標(biāo)區(qū)域上分揀動(dòng)作之后使傳感器測(cè)量值無(wú)效的方法及系統(tǒng)。在該方法中，使用傳感器從目標(biāo)區(qū)域中獲得傳感器測(cè)量值。使用目標(biāo)區(qū)域上方的傳感器來(lái)形成目標(biāo)區(qū)域的第一圖像?；趥鞲衅鳒y(cè)量值以及所述第一圖像，使用機(jī)械臂在目標(biāo)區(qū)域中執(zhí)行第一分揀動(dòng)作。隨即，使用目標(biāo)區(qū)域上方的傳感器來(lái)形成目標(biāo)區(qū)域的第二圖像。比較第一圖像與第二圖像以判定目標(biāo)區(qū)域中無(wú)效區(qū)域?；趥鞲衅鳒y(cè)量值，在未來(lái)分揀動(dòng)作中避開無(wú)效區(qū)域。
【專利說(shuō)明】在機(jī)器人系統(tǒng)中拾取動(dòng)作之后使傳感器測(cè)量值無(wú)效的方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及用于利用機(jī)械臂和手爪操縱物理對(duì)象的系統(tǒng)及方法。特別是，本發(fā)明涉及在機(jī)器人系統(tǒng)中拾取動(dòng)作之后使傳感器測(cè)量值無(wú)效的方法。
【背景技術(shù)】
[0002]機(jī)器人系統(tǒng)可用于各種物理對(duì)象(諸如制造組件、機(jī)械零件和可再生材料)的分揀和分類。分揀和分類要求物理對(duì)象以足夠概率識(shí)別。在諸如回收和廢物管理的應(yīng)用中，重要的是，所分揀對(duì)象組的純度高，即，在最終所分揀對(duì)象組中錯(cuò)誤類型的對(duì)象盡可能少。所分揀組通常包括玻璃、塑料、金屬、紙張和生物廢物。待分揀對(duì)象通常在傳送帶上提供給機(jī)器人系統(tǒng)，該機(jī)器人系統(tǒng)包括至少一個(gè)機(jī)械臂，用于將對(duì)象分揀到許多目標(biāo)垃圾桶。
[0003]在機(jī)器人系統(tǒng)中，待移動(dòng)或者操縱的物理對(duì)象的識(shí)別可采用不同類型傳感器。第一類型傳感器可包括用于形成整個(gè)目標(biāo)區(qū)域的圖像的傳感器。例如，可使用可見光或者紅外電磁輻射，產(chǎn)生目標(biāo)區(qū)域的圖像。第二類型傳感器包括需要跨傳感器視場(chǎng)移動(dòng)成像對(duì)象的傳感器。這種傳感器的典型實(shí)例為配置于傳送帶上的行掃描儀傳感器。行掃描儀傳感器可配置為一行多個(gè)等距傳感器。每個(gè)行掃描儀傳感器負(fù)責(zé)獲得傳送帶的縱向條帶上的讀數(shù)陣列。來(lái)自每個(gè)行掃描儀傳感器的陣列可組合以形成傳感器讀數(shù)矩陣。這種傳感器的例子可為紅外掃描儀、金屬探測(cè)器和激光掃描儀。第二類型傳感器的區(qū)別特征在于在未移動(dòng)成像對(duì)象的情況下(在以上例子中，是在未移動(dòng)傳送帶的情況下)它們可能不形成傳感器讀數(shù)矩陣。第二類型傳感器的問題在于需要相對(duì)于彼此移動(dòng)成像對(duì)象或者傳感器。
[0004]常常當(dāng)機(jī)械臂從已經(jīng)用于形成傳感器讀數(shù)矩陣的區(qū)域拾取或者試圖拾取對(duì)象時(shí)，該矩陣至少部分地變?yōu)闊o(wú)效。在一些情況下，由拾取動(dòng)作引起的變化并不限于拾取或者試圖拾取的對(duì)象。在含有以無(wú)組織方式布置的目標(biāo)對(duì)象(例如，待分揀廢物)的傳送帶上，該對(duì)象可彼此連接并且至少部分在彼此頂部。因此，在拾取動(dòng)作之后，對(duì)象中至少一些可能不再處于當(dāng)矩陣形成時(shí)它們?cè)幱诘奈恢?。將傳送帶再次移?dòng)至同一行傳感器陣列下方以形成相似矩陣是必要的。這樣一來(lái)，在機(jī)械臂的每個(gè)拾取動(dòng)作之后，必須前后移動(dòng)傳送帶。對(duì)于用于移動(dòng)對(duì)象的其它設(shè)置(諸如旋轉(zhuǎn)盤片)，問題相同。利用這種傳感器獲取第二讀數(shù)耗能且耗時(shí)。因此，至少部分地使用相同行傳感器讀數(shù)矩陣來(lái)重復(fù)拾取動(dòng)作將是有益的。

【發(fā)明內(nèi)容】

[0005]根據(jù)本發(fā)明第一方面，本發(fā)明為方法，該方法包括以下步驟:使用目標(biāo)區(qū)域中至少一個(gè)傳感器來(lái)獲得至少兩個(gè)傳感器測(cè)量值；形成所述目標(biāo)區(qū)域的第一圖像；基于在所述至少兩個(gè)傳感器測(cè)量值中至少第一傳感器測(cè)量值，在所述目標(biāo)區(qū)域中執(zhí)行第一分揀動(dòng)作；形成所述目標(biāo)區(qū)域的第二圖像；比較所述第一圖像與所述第二圖像以判定所述目標(biāo)區(qū)域中至少一個(gè)無(wú)效區(qū)域；以及在所述目標(biāo)區(qū)域中至少一個(gè)第二分揀動(dòng)作中避開所述無(wú)效區(qū)域，所述第二分揀動(dòng)作是基于在所述至少兩個(gè)傳感器測(cè)量值中至少第二傳感器測(cè)量值。
[0006]根據(jù)本發(fā)明又一個(gè)方面，本發(fā)明為設(shè)備，所述設(shè)備包括:用于使用至少一個(gè)傳感器從目標(biāo)區(qū)域中來(lái)獲得至少兩個(gè)傳感器測(cè)量值的裝置；用于形成所述目標(biāo)區(qū)域的第一圖像的裝置；用于基于在所述至少兩個(gè)傳感器測(cè)量值中第一傳感器測(cè)量值在所述目標(biāo)區(qū)域中執(zhí)行第一分揀動(dòng)作的裝置；用于形成所述目標(biāo)區(qū)域的第二圖像的裝置；用于比較所述第一圖像與所述第二圖像以判定所述目標(biāo)區(qū)域中至少一個(gè)無(wú)效區(qū)域的裝置；以及用于在至少一個(gè)第二分揀動(dòng)作中避開所述目標(biāo)區(qū)域中所述無(wú)效區(qū)域的裝置，所述第二分揀動(dòng)作是基于在所述至少兩個(gè)傳感器測(cè)量值中至少第二傳感器測(cè)量值。
[0007]根據(jù)本發(fā)明又一個(gè)方面，本發(fā)明為計(jì)算機(jī)程序，所述計(jì)算機(jī)程序包括代碼，當(dāng)在數(shù)據(jù)處理系統(tǒng)上執(zhí)行時(shí)，所述代碼適于引起處理器執(zhí)行以下步驟:使用至少一個(gè)傳感器從目標(biāo)區(qū)域中來(lái)獲得至少兩個(gè)傳感器測(cè)量值；形成所述目標(biāo)區(qū)域的第一圖像；基于在所述至少兩個(gè)傳感器測(cè)量值中至少第一傳感器測(cè)量值，在所述目標(biāo)區(qū)域內(nèi)執(zhí)行第一分揀動(dòng)作；形成所述目標(biāo)區(qū)域的第二圖像；比較所述第一圖像與所述第二圖像以判定所述目標(biāo)區(qū)域中至少一個(gè)無(wú)效區(qū)域；以及在至少一個(gè)第二分揀動(dòng)作中避開所述目標(biāo)區(qū)域中所述無(wú)效區(qū)域，所述第二分揀動(dòng)作是基于在所述至少兩個(gè)傳感器測(cè)量值中至少第二傳感器測(cè)量值。
[0008]根據(jù)本發(fā)明又一個(gè)方面，本發(fā)明為設(shè)備，所述設(shè)備包括至少一個(gè)處理器，所述至少一個(gè)處理器被構(gòu)造為:使用至少一個(gè)傳感器從目標(biāo)區(qū)域中獲得至少兩個(gè)傳感器測(cè)量值；形成所述目標(biāo)區(qū)域的第一圖像；基于在所述至少兩個(gè)傳感器測(cè)量值中至少第一傳感器測(cè)量值，在所述目標(biāo)區(qū)域中執(zhí)行第一分揀動(dòng)作；形成所述目標(biāo)區(qū)域的第二圖像；比較所述第一圖像與所述第二圖像以判定所述目標(biāo)區(qū)域中至少一個(gè)無(wú)效區(qū)域；以及在至少一個(gè)第二分揀動(dòng)作中避開所述目標(biāo)區(qū)域中所述無(wú)效區(qū)域，所述第二分揀動(dòng)作是基于在所述至少兩個(gè)傳感器測(cè)量值中至少第二傳感器測(cè)量值。
[0009]在本發(fā)明一個(gè)實(shí)施方式中，使用機(jī)械臂來(lái)執(zhí)行所述分揀動(dòng)作。
[0010]在本發(fā)明一個(gè)實(shí)施方式中，圖像(諸如第一圖像和第二圖像)可為可表示或者解譯為二維矩陣或者陣列或者三維陣列的任何一種傳感器數(shù)據(jù)。
[0011]在本發(fā)明一個(gè)實(shí)施方式中，圖像(諸如第一圖像和第二圖像)可為單色或者多色照片。中性色單色圖像稱為灰度或者黑白圖像。
[0012]在本發(fā)明一個(gè)實(shí)施方式中，圖像(諸如第一圖像和第二圖像)可包括照片和高度圖中至少一個(gè)。高度圖可包括在給定點(diǎn)處高度值的二維陣列或者矩陣。高度圖也可為目標(biāo)區(qū)域的三維模型。例如，三維模型可包括(例如)一組點(diǎn)、一組線、一組向量、一組平面、一組三角形、一組任意地理形狀中至少一個(gè)。高度圖可與圖像相關(guān)聯(lián)，例如，作為元數(shù)據(jù)。
[0013]在本發(fā)明一個(gè)實(shí)施方式中，圖像(諸如第一圖像和第二圖像)可為高度圖。在本發(fā)明一個(gè)實(shí)施方式中，使用三維行掃描儀來(lái)捕捉高度圖。
[0014]在本發(fā)明一個(gè)實(shí)施方式中，逐圖像可能是指包括照片圖像和高度圖中至少一個(gè)的數(shù)據(jù)集合。照片圖像可為二維或者三維。
[0015]在本發(fā)明一個(gè)實(shí)施方式中，除圖像(諸如第一圖像和第二圖像)的另一個(gè)表示外，該圖像可使高度圖作為圖像一部分與它相關(guān)聯(lián)。
[0016]在本發(fā)明一個(gè)實(shí)施方式中，使用三維行掃描儀來(lái)捕捉高度圖。行掃描儀可為激光行掃描儀。例如，激光行掃描儀可包括具有位置編碼器和安裝硬件的平衡旋轉(zhuǎn)鏡和電機(jī)。掃描儀使傳感器的激光束偏轉(zhuǎn)90度，當(dāng)它旋轉(zhuǎn)時(shí)使它掃過(guò)一整圈。
[0017]在本發(fā)明一個(gè)實(shí)施方式中，比較所述第一圖像與所述第二圖像以判定所述目標(biāo)區(qū)域中至少一個(gè)無(wú)效區(qū)域的步驟還包括:比較所述第一圖像和所述第二圖像中區(qū)域的高度。所述區(qū)域可為任意大小或者形狀。第一圖像和第二圖像可為高度圖，或者它們可使單獨(dú)高度圖與它們相關(guān)聯(lián)。
[0018]在本發(fā)明一個(gè)實(shí)施方式中，比較所述第一圖像與所述第二圖像以判定所述目標(biāo)區(qū)域中至少一個(gè)無(wú)效區(qū)域的步驟還包括:選擇所述第一圖像或者所述第二圖像的高度圖之一；從選定的高度圖產(chǎn)生兩個(gè)新高度圖，所述兩個(gè)新高度圖可稱為最小圖(min-map)和最大圖(max-map),使用公式 min_map=erode (heightmap) - fudgefactor,逐像素計(jì)算最小圖，使用公式max_map=dilate (heightmap) +fudgefactor,逐像素計(jì)算最大圖；通過(guò)對(duì)于第二高度圖中每個(gè)像素h2 (X，y)校驗(yàn)是否滿足條件min-map (x, y) <h2 (x, y)〈max-map (x, y),比較第二高度圖h2 (即，另一個(gè)高度圖)與選定高度圖hi ;并且將未滿足所述條件的像素選定為所述至少一個(gè)無(wú)效區(qū)域像素(x，y)。膨脹函數(shù)為形態(tài)膨脹算子。腐蝕函數(shù)為形態(tài)腐蝕算子。敷衍因子為常數(shù)或者與像素有關(guān)的常數(shù)陣列。
[0019]在本發(fā)明一個(gè)實(shí)施方式中，比較所述第一圖像與所述第二圖像以判定所述目標(biāo)區(qū)域中至少一個(gè)無(wú)效區(qū)域的步驟還包括:形成選定高度圖的上限表面，所述選定高度圖為所述第一圖像或者所述第二圖像的高度圖；形成選定高度圖的下限表面；并且將在所述上限表面與所述下限表面之間所述另一個(gè)高度圖不適合的這些區(qū)域選定為所述至少一個(gè)無(wú)效區(qū)域，所述另一個(gè)高度圖為所述第一圖像或者所述第二圖像的高度圖。
[0020]在本發(fā)明一個(gè)實(shí)施方式中，比較所述第一圖像與所述第二圖像以判定所述目標(biāo)區(qū)域中至少一個(gè)無(wú)效區(qū)域的步驟還包括:將與所述第一圖像或者所述第二圖像相關(guān)聯(lián)的高度圖指派為第一高度圖；將與另一個(gè)圖像相關(guān)聯(lián)的高度圖指派為第二高度圖；形成所述第一高度圖的上限表面；形成所述第一高度圖的下限表面；并且將在所述上限表面與所述下限表面之間所述第二高度圖不適合的這些區(qū)域選定為所述至少一個(gè)無(wú)效區(qū)域。存在著與所述第一圖像相關(guān)聯(lián)的高度圖以及與所述第二圖像相關(guān)聯(lián)的高度圖。
[0021]在本發(fā)明一個(gè)實(shí)施方式中，比較所述第一圖像與所述第二圖像以判定所述目標(biāo)區(qū)域中至少一個(gè)無(wú)效區(qū)域的步驟還包括:將所述第一圖像或者所述第二圖像指派為第一高度圖；將另一個(gè)圖像指派為第二高度圖；形成所述第一高度圖的上限表面；形成所述第一高度圖的下限表面；并且將在所述上限表面與所述下限表面之間所述第二高度圖不適合的這些區(qū)域選定為所述至少一個(gè)無(wú)效區(qū)域。在本實(shí)施方式中，所述第一圖像和所述第二圖像為高度圖。
[0022]在本發(fā)明一個(gè)實(shí)施方式中，使用形態(tài)膨脹算子，逐像素計(jì)算上限表面。膨脹函數(shù)可定義為使得輸出像素的值為在輸入像素的相鄰的所有像素的最大值。在二進(jìn)制圖像中，如果任何所述像素設(shè)置為值1，那么輸出像素設(shè)置為I。敷衍因子可在計(jì)算中加或減到由膨脹函數(shù)提供的值。
[0023]在本發(fā)明一個(gè)實(shí)施方式中，使用形態(tài)腐蝕算子erode，逐像素計(jì)算下限表面。腐蝕函數(shù)可定義為使得輸出像素的值為在輸入像素的相鄰的所有像素的最小值。在二進(jìn)制圖像中，如果任意像素設(shè)置為0，那么輸出像素設(shè)置為O。敷衍因子可在計(jì)算中加或減到由腐蝕函數(shù)提供的值。
[0024]在本發(fā)明一個(gè)實(shí)施方式中，所述分揀動(dòng)是使用機(jī)撲手執(zhí)行的拾取動(dòng)作。拾取動(dòng)作也可稱為夾送。[0025]所述分揀動(dòng)作可能是不成功的拾取動(dòng)作。所述分揀動(dòng)作可為目標(biāo)區(qū)域中至少一個(gè)對(duì)象的移動(dòng)、試圖移動(dòng)或者觸碰。移動(dòng)可在任何方向上。
[0026]在本發(fā)明一個(gè)實(shí)施方式中，基于第一圖像以及在所述至少兩個(gè)傳感器測(cè)量值中至少第一傳感器測(cè)量值，可使用機(jī)械臂來(lái)執(zhí)行目標(biāo)區(qū)域中第一分揀動(dòng)作。
[0027]在本發(fā)明一個(gè)實(shí)施方式中，第二拾取動(dòng)作可為基于第一圖像和第二圖像中至少一個(gè)連同在所述至少兩個(gè)傳感器測(cè)量值中至少第二傳感器測(cè)量值。
[0028]在本發(fā)明一個(gè)實(shí)施方式中，在無(wú)效區(qū)域中測(cè)量第一傳感器測(cè)量值，并且在無(wú)效區(qū)域中未測(cè)量第二傳感器測(cè)量值。
[0029]在本發(fā)明一個(gè)實(shí)施方式中，通過(guò)使用第一攝像機(jī)捕捉目標(biāo)區(qū)域的圖像來(lái)形成第一圖像，并且通過(guò)使用第二攝像機(jī)捕捉目標(biāo)區(qū)域的圖像來(lái)形成第二圖像。
[0030]在本發(fā)明一個(gè)實(shí)施方式中，所述方法還包括以下步驟:使傳送帶運(yùn)行預(yù)定義長(zhǎng)度，所述目標(biāo)區(qū)域位于所述傳送帶上，所述預(yù)定義長(zhǎng)度對(duì)應(yīng)于第一攝像機(jī)與第二攝像機(jī)之間的距離。
[0031]在本發(fā)明一個(gè)實(shí)施方式中，所述方法還包括以下步驟:使用透視校正，將第一圖像和第二圖像中至少一個(gè)變換為由第一圖像和第二圖像共享的坐標(biāo)系。透視校正可補(bǔ)償就第一攝像機(jī)和第二攝像機(jī)朝向傳送帶的視角中而言的差異以及就第一攝像機(jī)和第二攝像機(jī)到傳送帶的距離而言的差異中至少一個(gè)。例如，透視校正可包括校正第一圖像與第二圖像之間垂直傾斜和水平傾斜中至少一個(gè)。
[0032]在本發(fā)明一個(gè)實(shí)施方式中，所述方法還包括以下步驟:使用具有已知形狀的測(cè)試對(duì)象，判定透視校正。透視校正可通過(guò)以下定義:當(dāng)傳送帶運(yùn)行時(shí)，使用第一攝像機(jī)捕捉多個(gè)第一測(cè)試圖像，使用第二攝像機(jī)捕捉多個(gè)第二測(cè)試圖像；并且在第一測(cè)試圖像和第二測(cè)試圖像中選擇表示測(cè)試對(duì)象的最佳匹配圖像。透視校正可定義為將最佳匹配第一測(cè)試圖像和最佳匹配第二測(cè)試圖像轉(zhuǎn)化為共同坐標(biāo)系所需的變換。
[0033]在本發(fā)明一個(gè)實(shí)施方式中，所述方法還包括以下步驟:當(dāng)傳送帶運(yùn)行時(shí)，使用第一攝像機(jī)捕捉多個(gè)第一測(cè)試圖像，使用第二攝像機(jī)捕捉多個(gè)第二測(cè)試圖像；在第一測(cè)試圖像和第二測(cè)試圖像中選擇表示測(cè)試對(duì)象的最佳匹配圖像；并且將傳送帶在所述圖像之間已經(jīng)運(yùn)行的長(zhǎng)度記錄為預(yù)定義長(zhǎng)度。
[0034]在本發(fā)明一個(gè)實(shí)施方式中，所述方法還包括以下步驟:對(duì)于第一圖像和第二圖像中至少一個(gè)進(jìn)行高通濾波。
[0035]在本發(fā)明一個(gè)實(shí)施方式中，比較第一圖像與第二圖像的步驟還包括:形成第一圖像和第二圖像的多個(gè)區(qū)域，所述多個(gè)區(qū)域?yàn)橹辽俨糠种丿B或者不同。利用窗口函數(shù)，所述多個(gè)區(qū)域可由第一圖像和第二圖像的整個(gè)區(qū)域形成。例如，窗口函數(shù)可為矩形窗口函數(shù)，或者它可為高斯窗口函數(shù)。所述區(qū)域可為定義高度和寬度的像素塊，例如，諸如30X30像素。所述多個(gè)區(qū)域在第一圖像和第二圖像中可具有相同像素并且可具有相同大小。
[0036]在本發(fā)明一個(gè)實(shí)施方式中，比較第一圖像與第二圖像的步驟還包括:利用平滑函數(shù)，使所述多個(gè)區(qū)域中每個(gè)區(qū)域平滑化。平滑函數(shù)可為高斯核。
[0037]在本發(fā)明一個(gè)實(shí)施方式中，比較第一圖像與第二圖像的步驟還包括:基于第一圖像與第二圖像之間的低相關(guān)性以及第一圖像內(nèi)的高方差，將多個(gè)區(qū)域判定為所述至少一個(gè)無(wú)效區(qū)域。[0038]在本發(fā)明一個(gè)實(shí)施方式中，將多個(gè)區(qū)域判定為所述至少一個(gè)無(wú)效區(qū)域的步驟還包括:對(duì)于每個(gè)區(qū)域，選擇第一圖像與第二圖像之間的最大相關(guān)性屈服位移；并且使用所述最大相關(guān)性屈服位移，對(duì)于每個(gè)區(qū)域，計(jì)算第一圖像與第二圖像之間相關(guān)性。所述位移是水平方向或者垂直方向上給定數(shù)目像素的位移。例如，像素?cái)?shù)目在任一方向上可小于五個(gè)或者三個(gè)像素。最大相關(guān)性屈服位移可通過(guò)單獨(dú)在水平方向或者垂直方向上嘗試每個(gè)所述位移來(lái)判定。
[0039]在本發(fā)明一個(gè)實(shí)施方式中，比較第一圖像與第二圖像的步驟還包括:在所述區(qū)域內(nèi)判定第一圖像內(nèi)具有最高方差的多個(gè)區(qū)域。
[0040]在本發(fā)明一個(gè)實(shí)施方式中，比較第一圖像與第二圖像的步驟還包括:判定第一圖像與第二圖像之間相關(guān)性最低的多個(gè)區(qū)域；并且將具有最高方差和最低相關(guān)性的區(qū)域判定為所述至少一個(gè)無(wú)效區(qū)域。
[0041]在本發(fā)明一個(gè)實(shí)施方式中，對(duì)于達(dá)到無(wú)效區(qū)域的區(qū)域，第一圖像內(nèi)必定超出的局部方差閾值以及第一圖像與第二圖像之間未必超出的局部相關(guān)性閾值也可用作無(wú)效區(qū)域選擇標(biāo)準(zhǔn)。
[0042]在本發(fā)明一個(gè)實(shí)施方式中，所述至少一個(gè)傳感器包括紅外傳感器、金屬探測(cè)器和激光掃描儀。紅外傳感器可為近紅外(NIR)傳感器。
[0043]在本發(fā)明一個(gè)實(shí)施方式中，所述攝像機(jī)為可見光攝像機(jī)、飛行時(shí)間三維攝像機(jī)、結(jié)構(gòu)化光三維攝像機(jī)或者紅外攝像機(jī)或者三維攝像機(jī)。
[0044]在本發(fā)明一個(gè)實(shí)施方式中，第一圖像和第二圖像使用單個(gè)三維攝像機(jī)來(lái)形成，例如，所述三維攝像機(jī)可為飛行時(shí)間三維攝像機(jī)或者結(jié)構(gòu)化光三維攝像機(jī)。
[0045]在本發(fā)明一個(gè)實(shí)施方式中，使用來(lái)自傳感器的數(shù)據(jù)，判定夾送或者拾取動(dòng)作成功。如果夾送未成功，那么機(jī)械臂然后移動(dòng)到不同位置進(jìn)行另一嘗試。
[0046]在本發(fā)明一個(gè)實(shí)施方式中，通過(guò)利用學(xué)習(xí)系統(tǒng)進(jìn)一步改良所述系統(tǒng)，所述學(xué)習(xí)系統(tǒng)可在所述設(shè)備中運(yùn)行。
[0047]在本發(fā)明一個(gè)實(shí)施方式中，計(jì)算機(jī)程序存儲(chǔ)于計(jì)算機(jī)可讀介質(zhì)上。計(jì)算機(jī)可讀介質(zhì)可為可移除存儲(chǔ)卡、可移除存儲(chǔ)模塊、磁盤、光盤、全息存儲(chǔ)器或者磁帶。例如，可移除存儲(chǔ)模塊可為USB記憶棒、PCMCIA卡或者智能存儲(chǔ)卡。
[0048]在本發(fā)明一個(gè)實(shí)施方式中，可使用三維圖像捕捉攝像機(jī)而不是兩個(gè)攝像機(jī)來(lái)捕捉第一圖像和第二圖像。三維圖像捕捉攝像機(jī)可包括兩個(gè)透鏡和圖像傳感器。
[0049]在本發(fā)明一個(gè)實(shí)施方式中，第一傳感器陣列和第二傳感器陣列可在靜止目標(biāo)區(qū)域上移動(dòng)以從第一傳感器陣列和第二傳感器陣列形成傳感器讀數(shù)矩陣。在這種情況下，沒有傳送帶。待拾取對(duì)象可放置于靜止目標(biāo)區(qū)域上。在這種情況下，也可使用單個(gè)二維攝像機(jī)或者單個(gè)三維攝像機(jī)來(lái)捕捉第一圖像和第二圖像。
[0050]在本發(fā)明一個(gè)實(shí)施方式中，傳送帶可利用旋轉(zhuǎn)盤或者盤片取代，待拾取對(duì)象放置于所述旋轉(zhuǎn)盤或者盤片上。在這種情況下，第一傳感器陣列和第二傳感器陣列沿著盤或者盤片半徑方向放置。
[0051]上文所述的本發(fā)明實(shí)施方式可以彼此任何組合來(lái)使用。一些實(shí)施方式可組合在一起以形成本發(fā)明又一個(gè)實(shí)施方式。與本發(fā)明相關(guān)的方法、系統(tǒng)、設(shè)備、計(jì)算機(jī)程序或者計(jì)算機(jī)程序產(chǎn)品可包括上文所述的本發(fā)明實(shí)施方式中至少一個(gè)。[0052]本發(fā)明益處與從機(jī)器人操作空間的對(duì)象選擇質(zhì)量提高相關(guān)。針對(duì)隨后拾取動(dòng)作的無(wú)效區(qū)域有關(guān)的信息使得在每次機(jī)械臂拾取動(dòng)作之后沒必要前后移動(dòng)傳送帶(這是因?yàn)樵诿總€(gè)拾取動(dòng)作之后，傳感器信息可能部分變?yōu)槭?。這節(jié)省了機(jī)器人系統(tǒng)的能量和處理時(shí)間。
【專利附圖】

【附圖說(shuō)明】
[0053]為了進(jìn)一步理解本發(fā)明而包括且構(gòu)成本說(shuō)明書一部分的附圖示出本發(fā)明實(shí)施方式并且連同說(shuō)明書一起有助于說(shuō)明本發(fā)明原理。附圖中:
[0054]圖1為示出在本發(fā)明一個(gè)實(shí)施方式中應(yīng)用兩個(gè)行傳感器陣列的機(jī)器人系統(tǒng)的框圖；
[0055]圖2示出在本發(fā)明一個(gè)實(shí)施方式中使用放置于傳送帶上校準(zhǔn)對(duì)象的兩個(gè)攝像機(jī)的校準(zhǔn)；
[0056]圖3為不出在本發(fā)明一個(gè)實(shí)施方式中機(jī)器人系統(tǒng)中在拾取動(dòng)作之后使傳感器測(cè)量值無(wú)效的方法的流程圖；
[0057]圖4為示出在本發(fā)明一個(gè)實(shí)施方式中在機(jī)器人系統(tǒng)中在拾取動(dòng)作之后使傳感器測(cè)量值無(wú)效的方法的流程圖；以及
[0058]圖5為示出在本發(fā)明一個(gè)實(shí)施方式中在機(jī)器人系統(tǒng)中判定目標(biāo)區(qū)域內(nèi)無(wú)效圖像區(qū)域的方法的流程圖。
【具體實(shí)施方式】
[0059]現(xiàn)將詳細(xì)參考本發(fā)明實(shí)施方式，本發(fā)明實(shí)施方式的例子在附圖中示出。
[0060]圖1為示出在本發(fā)明一個(gè)實(shí)施方式中應(yīng)用兩個(gè)行傳感器陣列的機(jī)器人系統(tǒng)的框圖。
[0061]圖1中，機(jī)器人系統(tǒng)100包括機(jī)器人110，例如工業(yè)機(jī)器人，所述機(jī)器人包括機(jī)械臂112。手爪114連接到機(jī)械臂116，手爪也可為夾具或者爪部。機(jī)械臂116能夠可在傳送帶102的操作區(qū)域102B內(nèi)移動(dòng)手爪112。機(jī)械臂112可包括許多電機(jī)，例如，伺服電機(jī)，所述伺服電機(jī)使機(jī)械臂旋轉(zhuǎn)、俯仰和夾送能夠受控。機(jī)械臂112和手爪114的各種移動(dòng)由致動(dòng)器實(shí)現(xiàn)。舉例來(lái)說(shuō)，致動(dòng)器可為電動(dòng)致動(dòng)器、氣動(dòng)致動(dòng)器或者液壓致動(dòng)器或者這些致動(dòng)器的任何組合。致動(dòng)器可使機(jī)器人110的各種元件移動(dòng)或者旋轉(zhuǎn)。與機(jī)器人110相關(guān)的，存在著計(jì)算機(jī)單元(未示出)，所述計(jì)算機(jī)單元將手爪114和機(jī)械臂112的目標(biāo)坐標(biāo)轉(zhuǎn)化為輸入到控制機(jī)械臂112和手爪114的致動(dòng)器的適當(dāng)電壓和功率電平。使用用于將指定夾送指令的目標(biāo)坐標(biāo)從設(shè)備120輸送到計(jì)算機(jī)單元的連接器(例如USB連接器)，控制與機(jī)器人110相關(guān)聯(lián)的計(jì)算機(jī)單元。響應(yīng)于來(lái)自設(shè)備120的控制信號(hào)，致動(dòng)器執(zhí)行各種機(jī)械功能，包括但并不一定限于:將手爪114定位于操作區(qū)域102B內(nèi)的特定位置上；使手爪114降或升；以及手爪114的閉合和打開。機(jī)器人110可包括各種傳感器。舉例來(lái)說(shuō)，傳感器包括各種位置傳感器(未示出)，所述位置傳感器指示機(jī)械臂112和手爪114的位置以及手爪114的打開/閉合狀態(tài)。手爪的打開/閉合狀態(tài)并不限于簡(jiǎn)單是/否位。在本發(fā)明一個(gè)實(shí)施方式中，手爪114在其每個(gè)手指方面可指示多位打開/閉合狀態(tài)，藉此可獲得手爪中(多個(gè))對(duì)象的大小和/或形狀的指示。除位置傳感器外，該組傳感器可包括應(yīng)變傳感器，也稱為應(yīng)變儀或者力反饋傳感器，所述應(yīng)變傳感器指示由機(jī)械臂112和手爪114的各種元件經(jīng)歷的應(yīng)變。在說(shuō)明性而非限制性實(shí)施例中，應(yīng)變傳感器包括可變電阻，其電阻值隨施加于它們的壓縮張力而變化。因?yàn)殡娮柚底兓c電阻絕對(duì)值相比為小，所以通常按照惠斯通電橋配置來(lái)測(cè)量可變電阻。
[0062]圖1中示出傳送帶102。在傳送帶上示出通過(guò)機(jī)器人110待分揀到許多目標(biāo)垃圾桶(未示出)的許多對(duì)象，例如，對(duì)象108和對(duì)象109。在傳送帶102上示出兩個(gè)行傳感器陣列，即，傳感器陣列103和傳感器陣列104。傳感器陣列包括許多等距傳感器，所述等距傳感器從在各自傳感器下方傳送帶102的條帶獲得讀數(shù)陣列。傳感器陣列可放置為使得它們與傳送帶102的邊正交。在本發(fā)明一個(gè)實(shí)施方式中，傳感器陣列中的傳感器可能不為等距，并且傳感器陣列可相對(duì)于傳送帶102的邊以非正交角度放置。傳感器陣列中的傳感器可為靜止，或者它們可移動(dòng)以掃描傳送帶102的更寬條帶。例如，傳感器陣列103可為近紅外(NIR)傳感器陣列。例如，傳感器陣列104可為激光掃描儀陣列。每個(gè)傳感器陣列負(fù)責(zé)獲得陣列，即，傳送帶的縱向條帶上的讀數(shù)時(shí)間數(shù)列。來(lái)自每個(gè)傳感器陣列的陣列可組合以形成傳感器讀數(shù)矩陣。
[0063]傳送帶102劃分為兩個(gè)邏輯區(qū)域，S卩，第一區(qū)域102A和第二區(qū)域102B。第一區(qū)域102A可稱為原始區(qū)域，其中傳送帶102上對(duì)象未移動(dòng)。第二區(qū)域102B為機(jī)器人110的操作區(qū)域，其中機(jī)器人110可夾送或者試圖夾送對(duì)象，諸如對(duì)象108。對(duì)象108示出為包括由電線連接的兩個(gè)部分。第一部分的移動(dòng)引起第二部分的移動(dòng)，第二部分的移動(dòng)又引起對(duì)象109的移動(dòng)，對(duì)象109部分在對(duì)象108的第二部分上。因此，區(qū)域102B內(nèi)對(duì)象108的移動(dòng)引起矩陣(即，許多矩陣元素)內(nèi)傳感器讀數(shù)區(qū)域無(wú)效。對(duì)于每個(gè)矩陣元素，假定設(shè)備120知道在第二區(qū)域102B內(nèi)與該元素對(duì)應(yīng)的區(qū)域。
[0064]圖1中，有第一攝像機(jī)105，該第一攝像機(jī)被配置為獲得第一圖像，該第一圖像取自區(qū)域102A。也有第二攝像機(jī)106，該第二攝像機(jī)被配置為獲得第二圖像，該第二圖像又取自區(qū)域102B。拍攝第一圖像以判定在采取夾送動(dòng)作之前傳送帶102上對(duì)象的配置。拍攝第二圖像以判定在已經(jīng)采取夾送動(dòng)作之后對(duì)象的配置。夾送動(dòng)作可能成功或者不成功。有特定傳感器101，該特定傳感器101可稱為帶編碼器，該帶編碼器用于判定帶位置的校正偏移，該校正偏移使得能夠獲得對(duì)應(yīng)第一圖像和第二圖像，其中對(duì)象相對(duì)于帶表面未移動(dòng)貌似在幾乎相同位置。帶編碼器101用于判定在給定時(shí)間窗口期間傳送帶102已經(jīng)運(yùn)行的步進(jìn)數(shù)。
[0065]機(jī)器人110連接到數(shù)據(jù)處理設(shè)備120 (簡(jiǎn)稱設(shè)備120)。設(shè)備120的內(nèi)部功能利用框140示出。設(shè)備120包括至少一個(gè)處理器142、隨機(jī)存取存儲(chǔ)器(RAM) 148和硬盤144。一個(gè)或多個(gè)處理器142通過(guò)執(zhí)行軟件實(shí)體150、152、154和156來(lái)控制機(jī)械臂。設(shè)備120至少還包括:攝像機(jī)接口 147 ;控制機(jī)器人110的機(jī)器人接口 146 ;和傳感器接口 145。機(jī)器人接口 146也可假定為控制傳送帶102的移動(dòng)。接口 145、146和147可為總線接口，例如，通用串行總線(USB)接口。終端130也連接到設(shè)備120，該終端至少包括顯示器和鍵盤。終端130可為使用局域網(wǎng)連接到設(shè)備120的膝上型計(jì)算機(jī)。
[0066]設(shè)備120的存儲(chǔ)器148包括程序集合，或者一般地，由至少一個(gè)處理器142執(zhí)行的軟件實(shí)體。有傳感器控制器實(shí)體150，該傳感器控制器實(shí)體經(jīng)由接口 145從傳感器陣列103獲得傳感器讀數(shù)矩陣，并且從傳感器陣列104獲得傳感器讀數(shù)矩陣。矩陣中元素表示當(dāng)傳送帶102運(yùn)行時(shí)在給定時(shí)刻來(lái)自給定傳感器陣列內(nèi)給定傳感器的傳感器讀數(shù)。存在著臂控制器實(shí)體152，該臂控制器實(shí)體152經(jīng)由機(jī)器人接口 146發(fā)出指令給機(jī)器人110以控制機(jī)械臂116和手爪112的旋轉(zhuǎn)、俯仰和夾送。臂控制器實(shí)體152也可接收與所測(cè)量機(jī)械臂112和手爪114的旋轉(zhuǎn)、俯仰和夾送有關(guān)的傳感器數(shù)據(jù)。臂控制器可利用基于經(jīng)由接口 146接收到設(shè)備120的反饋發(fā)出的新指令來(lái)致動(dòng)臂。臂控制器實(shí)體152被構(gòu)造為發(fā)出指令給機(jī)器人110以進(jìn)行明確定義的高級(jí)操作。高級(jí)操作例子為，將機(jī)械臂移動(dòng)到指定位置。還有攝像機(jī)控制器實(shí)體154，使用接口 147與攝像機(jī)105和106進(jìn)行通信。攝像機(jī)控制器實(shí)體引起攝像機(jī)105和106在指定時(shí)刻拍攝圖片。攝像機(jī)控制器實(shí)體154經(jīng)由接口 147獲得由攝像機(jī)105和106拍攝的圖片并且將圖片存儲(chǔ)于存儲(chǔ)器140中。
[0067]傳感器控制器實(shí)體150可使用至少一個(gè)傳感器從傳送帶102上目標(biāo)區(qū)域獲得至少一個(gè)傳感器測(cè)量值。攝像機(jī)控制器實(shí)體154可使用第一攝像機(jī)捕捉該目標(biāo)區(qū)域的第一圖像。臂控制器實(shí)體152可使傳送帶運(yùn)行預(yù)定義長(zhǎng)度，該預(yù)定義長(zhǎng)度對(duì)應(yīng)于第一攝像機(jī)與第二攝像機(jī)之間的距離?；谥辽僖粋€(gè)傳感器測(cè)量值和第一圖像中至少一個(gè)，臂控制器實(shí)體152可使用機(jī)械臂在目標(biāo)區(qū)域中執(zhí)行第一拾取或者分揀動(dòng)作。攝像機(jī)控制器實(shí)體154可使用第二攝像機(jī)捕捉目標(biāo)區(qū)域的第二圖像。圖像分析儀實(shí)體156可比較第一圖像與第二圖像以判定目標(biāo)區(qū)域中至少一個(gè)無(wú)效區(qū)域，并且指導(dǎo)臂控制器實(shí)體152在至少一個(gè)第二拾取或者分揀動(dòng)作中避開目標(biāo)區(qū)域中無(wú)效區(qū)域。
[0068]當(dāng)至少一個(gè)處理器執(zhí)行與本發(fā)明相關(guān)聯(lián)的功能實(shí)體時(shí)，存儲(chǔ)器包括諸如傳感器控制器實(shí)體150、臂控制器實(shí)體152、攝像機(jī)控制器實(shí)體154和圖像分析儀實(shí)體156的實(shí)體。圖1所示設(shè)備120內(nèi)的功能實(shí)體可以各種方式實(shí)現(xiàn)。它們可實(shí)現(xiàn)為在網(wǎng)絡(luò)節(jié)點(diǎn)的本機(jī)操作系統(tǒng)下執(zhí)行的進(jìn)程。實(shí)體可實(shí)現(xiàn)為單獨(dú)進(jìn)程或者線程，或者使得許多不同實(shí)體通過(guò)一個(gè)進(jìn)程或者線程實(shí)現(xiàn)。進(jìn)程或者線程可為包括許多例程的程序塊實(shí)例，即，例如程序和功能。功能實(shí)體可實(shí)現(xiàn)為單獨(dú)計(jì)算機(jī)程序或者包括實(shí)現(xiàn)該實(shí)體的幾個(gè)例程或者功能的單個(gè)計(jì)算機(jī)程序。程序塊存儲(chǔ)于至少一個(gè)計(jì)算機(jī)可讀介質(zhì)上，諸如，例如存儲(chǔ)電路、存儲(chǔ)卡、磁盤或者光盤。一些功能實(shí)體可實(shí)現(xiàn)為鏈接到另一個(gè)功能實(shí)體的程序模塊。圖1中功能實(shí)體也可存儲(chǔ)于單獨(dú)存儲(chǔ)器中并且由單獨(dú)處理器執(zhí)行，例如，單獨(dú)處理器經(jīng)由網(wǎng)絡(luò)節(jié)點(diǎn)內(nèi)消息總線或者內(nèi)部網(wǎng)絡(luò)進(jìn)行通信。這種消息總線的例子為外圍組件互連(PCI)總線。
[0069]在本發(fā)明一個(gè)實(shí)施方式中，軟件實(shí)體150至156可實(shí)現(xiàn)為單獨(dú)軟件實(shí)體，諸如，例如子例程、進(jìn)程、線程、方法、對(duì)象、模塊和程序代碼序列。它們也可只為設(shè)備120中軟件內(nèi)的邏輯功能，該邏輯功能還未分組為任何特定的單獨(dú)子例程、進(jìn)程、線程、方法、對(duì)象、模塊和程序代碼序列。它們的功能可能遍布設(shè)備120的軟件。一些功能可在設(shè)備120的操作系統(tǒng)中執(zhí)行。
[0070]在本發(fā)明一個(gè)實(shí)施方式中，可使用三維圖像捕捉攝像機(jī)，而不是攝像機(jī)105和106。三維圖像捕捉攝像機(jī)可包括兩個(gè)透鏡和圖像傳感器。在本發(fā)明一個(gè)實(shí)施方式中，攝像機(jī)為可見光攝像機(jī)、飛行時(shí)間三維攝像機(jī)、結(jié)構(gòu)化光三維攝像機(jī)或者紅外攝像機(jī)或者三維攝像機(jī)。
[0071]在本發(fā)明一個(gè)實(shí)施方式中，取代攝像機(jī)或者除攝像機(jī)外，可使用三維行掃描儀。
[0072]在本發(fā)明一個(gè)實(shí)施方式中，圖像(諸如第一圖像和第二圖像)可為可表示或者解譯為二維矩陣或者陣列或者三維陣列的任何一種傳感器數(shù)據(jù)。[0073]在本發(fā)明一個(gè)實(shí)施方式中，傳感器陣列103和傳感器陣列104可在靜止目標(biāo)區(qū)域上移動(dòng)以從傳感器陣列103和傳感器陣列104形成傳感器讀數(shù)矩陣。在這種情況下，沒有傳送帶。待拾取對(duì)象可放置于靜止目標(biāo)區(qū)域上。在這種情況下，也可使用單個(gè)二維攝像機(jī)或者單個(gè)三維攝像機(jī)來(lái)捕捉第一圖像和第二圖像。
[0074]在本發(fā)明一個(gè)實(shí)施方式中，傳送帶102可被旋轉(zhuǎn)盤或者盤片取代，待拾取對(duì)象放置于旋轉(zhuǎn)盤或者盤片上。在這種情況下，傳感器陣列103和傳感器陣列104沿著盤或者盤片半徑方向放置。在這種情況下，第一區(qū)域102A和第二區(qū)域102B為盤或者盤片中扇區(qū)。
[0075]上文就圖1而言所述的本發(fā)明實(shí)施方式可以彼此任何組合來(lái)使用。一些實(shí)施方式可組合在一起以形成本發(fā)明又一個(gè)實(shí)施方式。
[0076]圖2示出在本發(fā)明一個(gè)實(shí)施方式中使用放置于傳送帶上校準(zhǔn)對(duì)象的兩個(gè)攝像機(jī)的校準(zhǔn)。
[0077]在圖2的布置200中，有校準(zhǔn)對(duì)象，該校準(zhǔn)對(duì)象在傳送帶102兩個(gè)位置處示出為對(duì)象202A和202B。校準(zhǔn)對(duì)象包括臂203，該臂配置為直接指向攝像機(jī)105。臂203可配置為使得它垂直于攝像機(jī)105中透鏡平面。當(dāng)傳送帶102運(yùn)行時(shí)，攝像機(jī)105和106各拍攝多個(gè)圖片。從圖像中選擇來(lái)自攝像機(jī)105的第一圖像和來(lái)自攝像機(jī)106的第二圖像。第一圖像和第二圖像被選定為使得臂203在第一圖像中直接指向攝像機(jī)105而在第二圖像中直接指向攝像機(jī)106。一般地，由攝像機(jī)105和106拍攝的最佳匹配圖像被選定為第一圖像和第二圖像。在拍攝第一圖像和第二圖像之間傳送帶102已經(jīng)運(yùn)行的距離記錄為帶偏移210。帶偏移210可記錄為許多帶步長(zhǎng)。帶步長(zhǎng)可從帶編碼器101獲得。當(dāng)傳送帶102運(yùn)行時(shí)，帶編碼器101可提供信號(hào)序列給傳感器控制器150，該傳感器控制器指示何時(shí)遇到傳送帶102或者單獨(dú)定時(shí)帶上定時(shí)標(biāo)記或者指示符。定時(shí)標(biāo)記或者指示符可均勻地隔開。帶偏移210隨后可用于判定傳送帶102必須運(yùn)行的帶步長(zhǎng)數(shù)目，以對(duì)于就攝像機(jī)105而言在區(qū)域102A中傳送帶102上一些對(duì)象獲得就攝像機(jī)106而言在區(qū)域102B中的相似位置。第一圖像和第二圖像用于形成透視校正，以使第一圖像和第二圖像處于共同坐標(biāo)系。透視校正為第一圖像和第二圖像中至少一個(gè)中的點(diǎn)到坐標(biāo)系的映射，其中補(bǔ)償就攝像機(jī)105和攝像機(jī)106的位置差異而言相對(duì)于傳送帶102平面的差異。第一圖像和第二圖像可變換為第三透視平面。第三透視平面可正交于傳送帶102的平面。
[0078]上文就圖2而言所述的本發(fā)明實(shí)施方式可以彼此任何組合來(lái)使用。一些實(shí)施方式可組合在一起以形成本發(fā)明又一個(gè)實(shí)施方式。
[0079]圖3為不出在本發(fā)明一個(gè)實(shí)施方式中的機(jī)器人系統(tǒng)中在拾取動(dòng)作之后使傳感器測(cè)量值無(wú)效的方法的流程圖。
[0080]該方法可應(yīng)用于如圖1和圖2所示的機(jī)器人系統(tǒng)中。
[0081]在步驟300處，從傳送帶上目標(biāo)區(qū)域獲得至少一個(gè)傳感器測(cè)量值。
[0082]在本發(fā)明一個(gè)實(shí)施方式中，該至少一個(gè)傳感器測(cè)量值可為傳感器測(cè)量值矩陣。
[0083]在本發(fā)明一個(gè)實(shí)施方式中，通過(guò)使傳送帶運(yùn)行，從靜止傳感器陣列獲得傳感器測(cè)量值矩陣。傳送帶可運(yùn)行為使得它從每個(gè)傳感器捕捉測(cè)量值時(shí)間數(shù)列。該時(shí)間數(shù)列可表示矩陣中的列，而傳感器標(biāo)識(shí)符可表示矩陣中的行，或者反之亦然。
[0084]在步驟302處，使用安裝于傳送帶上方的攝像機(jī)，捕捉目標(biāo)區(qū)域的第一圖像。
[0085]在本發(fā)明一個(gè)實(shí)施方式中，攝像機(jī)安裝于傳送帶上方，使得傳感器陣列不妨礙整個(gè)目標(biāo)區(qū)域的圖像捕捉。
[0086]在步驟304處，傳送帶運(yùn)行預(yù)定義長(zhǎng)度。
[0087]在本發(fā)明一個(gè)實(shí)施方式中，預(yù)定義長(zhǎng)度被確定為使得第二攝像機(jī)可捕捉目標(biāo)區(qū)域的第二圖像，使得利用透視校正和滾動(dòng)中至少一個(gè)，第一圖像和第二圖像可變換為共同坐標(biāo)系。
[0088]在步驟306處，機(jī)械臂在目標(biāo)區(qū)域中執(zhí)行拾取動(dòng)作。該拾取動(dòng)作可能干擾目標(biāo)區(qū)域中至少一個(gè)對(duì)象的位置。
[0089]在步驟308處，在拾取動(dòng)作之后，使用第二攝像機(jī)捕捉目標(biāo)區(qū)域的第二圖像。
[0090]在步驟310處，使用第一圖像與第二圖像的比較，判定目標(biāo)區(qū)域中至少一個(gè)無(wú)效區(qū)域。
[0091]在本發(fā)明一個(gè)實(shí)施方式中，在比較第一圖像與第二圖像之前，使用任一圖像相對(duì)于另一個(gè)圖像的透視變換和滾動(dòng)中至少一個(gè)，第一圖像和第二圖像變換為共同坐標(biāo)系。
[0092]在本發(fā)明一個(gè)實(shí)施方式中，第一圖像和第二圖像可劃分為多個(gè)區(qū)域進(jìn)行比較。
[0093]在本發(fā)明一個(gè)實(shí)施方式中，多個(gè)區(qū)域從第一圖像和第二圖像形成。該多個(gè)區(qū)域可至少部分重疊或者不同。利用窗口函數(shù)，該多個(gè)區(qū)域可由第一圖像和第二圖像的整個(gè)區(qū)域形成。例如，窗口函數(shù)可為矩形窗口函數(shù)，或者它可為高斯窗口函數(shù)?？蓮膱D像整個(gè)區(qū)域獲得給定區(qū)域，使得像素值乘以窗口函數(shù)值。非零像素值或者超過(guò)預(yù)定義閾值的像素值可從圖像整個(gè)區(qū)域選定到所述區(qū)域。例如，該區(qū)域可為定義高度和寬度的像素塊，諸如，例如30X30像素。該多個(gè)區(qū)域在第一圖像和第二圖像中可具有相同像素并且可具有相同大小。
[0094]在本發(fā)明一個(gè)實(shí)`施方式中，在比較之前，高斯核可用于使第一圖像和第二圖像中至少一個(gè)平滑化。平滑化可在從第一圖像和第二圖像形成的多個(gè)區(qū)域中執(zhí)行。
[0095]在本發(fā)明一個(gè)實(shí)施方式中，在比較之前，第一圖像和第二圖像可進(jìn)行高通濾波。在本發(fā)明一個(gè)實(shí)施方式中，判定第一圖像中具有最高局部方差的區(qū)域。例如，使用公式1:^ S( Z1 (-V, V) * I, ( a., r)) -SiIlIx, V) * I1 (X, V))計(jì)算區(qū)域A的局部方差，其中S為平滑函數(shù)
fi tx.ru I
K , f(例如高斯核)，I1為第一圖像中像素，并且X和y為像素坐標(biāo)，η為區(qū)域A中像素?cái)?shù)目。
[0096]在本發(fā)明一個(gè)實(shí)施方式中，判定第一圖像與第二圖像之間具有最低局部相關(guān)性的
IS(/,(x,i')*/2(.T,v))
區(qū)域。例如，使用公式 n λ (λ-,y) * /, (χ v))* S(I2(x>') * I2 (x>>)))計(jì)算第一圖像和







9
第二圖像內(nèi)區(qū)域A的局部相關(guān)性，其中S為平滑函數(shù)(例如高斯核)，I1為第一圖像中像素，I2為第二圖像中像素，并且X和y為像素坐標(biāo)，η為區(qū)域A中像素?cái)?shù)目。
[0097]在本發(fā)明一個(gè)實(shí)施方式中，對(duì)于每個(gè)區(qū)域Α，判定第一圖像中區(qū)域A與第二圖像中區(qū)域B之間位移dx、dy,所述位移產(chǎn)生最高局部相關(guān)性,其中-m〈dx〈m, -m〈dy〈m,并且m為小自然數(shù)，例如，0=〈m〈5。區(qū)域A最高局部相關(guān)性被采用為區(qū)域A局部相關(guān)性。
[0098]在本發(fā)明一個(gè)實(shí)施方式中，具有最高局部方差和最低局部相關(guān)性的許多區(qū)域被選定為無(wú)效并且記錄于存儲(chǔ)器中。在隨后至少一個(gè)拾取動(dòng)作中避開無(wú)效區(qū)域。
[0099]在本發(fā)明一個(gè)實(shí)施方式中，在比較中，將第一圖像與第二圖像之間相關(guān)性低的區(qū)域選定為無(wú)效區(qū)域。在本發(fā)明一個(gè)實(shí)施方式中，在比較中，將第一圖像與第二圖像之間相關(guān)性低且第一圖像和第二圖像中至少一個(gè)內(nèi)局部方差高的區(qū)域選定為無(wú)效區(qū)域。
[0100]在本發(fā)明一個(gè)實(shí)施方式中，針對(duì)無(wú)效區(qū)域的選擇標(biāo)準(zhǔn)也可用作對(duì)于作為無(wú)效區(qū)域合格的區(qū)域，第一圖像內(nèi)必定超出的局部方差閾值以及第一圖像與第二圖像之間未必超出的局部相關(guān)性閾值。
[0101]在本發(fā)明一個(gè)實(shí)施方式中，對(duì)于矩陣中每個(gè)測(cè)量值，判定它是否屬于無(wú)效區(qū)域。
[0102]在步驟312處，在通過(guò)機(jī)械臂的隨后至少一個(gè)拾取動(dòng)作中避開目標(biāo)區(qū)域中至少一個(gè)無(wú)效區(qū)域。原因在于，在無(wú)效區(qū)域中執(zhí)行的傳感器測(cè)量值不再反映在拾取動(dòng)作之后對(duì)象的位置。
[0103]圖4為不出在本發(fā)明一個(gè)實(shí)施方式中的機(jī)器人系統(tǒng)中在拾取動(dòng)作之后使傳感器測(cè)量值無(wú)效的方法的流程圖。拾取動(dòng)作可能失敗，并且可能僅導(dǎo)致對(duì)象移動(dòng)或者對(duì)象位置或者形狀變化。拾取動(dòng)作可能僅為對(duì)象或者目標(biāo)區(qū)域的觸碰。
[0104]該方法可應(yīng)用于如圖1和圖2所示的機(jī)器人系統(tǒng)中。
[0105]在步驟400處，從目標(biāo)區(qū)域獲得至少兩個(gè)傳感器測(cè)量值。目標(biāo)區(qū)域可為靜止或者在傳送帶上移動(dòng)。
[0106]在本發(fā)明一個(gè)實(shí)施方式中，該至少兩個(gè)傳感器測(cè)量值可為傳感器測(cè)量值矩陣。
[0107]在本發(fā)明一個(gè)實(shí)施方式中，通過(guò)使傳送帶運(yùn)行，從靜止傳感器陣列獲得傳感器測(cè)量值矩陣。傳送帶可運(yùn)行為使得它從每個(gè)傳感器捕捉測(cè)量值時(shí)間數(shù)列。時(shí)間數(shù)列可表示矩陣中的列，而傳感器標(biāo)識(shí)符可表示矩陣中的行，或者反之亦然。
[0108]在本發(fā)明一個(gè)實(shí)施方式中，傳感器測(cè)量值矩陣使用靜止目標(biāo)區(qū)域上方移動(dòng)傳感器陣列來(lái)形成。
[0109]在步驟402處，使用目標(biāo)區(qū)域上方的圖像傳感器來(lái)捕捉目標(biāo)區(qū)域的第一圖像。在目標(biāo)區(qū)域上方有至少一個(gè)圖像傳感器。例如，該至少一個(gè)圖像傳感器可為攝像機(jī)、激光掃描儀或者三維攝像機(jī)。該至少一個(gè)圖像傳感器可能并不嚴(yán)格地在目標(biāo)區(qū)域上方，而是在沒有充當(dāng)妨礙其它對(duì)象的視野的障礙物的對(duì)象或者傳感器的情況下能夠捕捉目標(biāo)區(qū)域圖像的位置處。
[0110]在本發(fā)明一個(gè)實(shí)施方式中，攝像機(jī)安裝于傳送帶上方，使得傳感器陣列不妨礙整個(gè)目標(biāo)區(qū)域的圖像捕捉。
[0111]在本發(fā)明一個(gè)實(shí)施方式中，在獲得所述至少兩個(gè)傳感器測(cè)量值和捕捉第一圖像的步驟之后，傳送帶可運(yùn)行預(yù)定義長(zhǎng)度。
[0112]在本發(fā)明一個(gè)實(shí)施方式中，預(yù)定義長(zhǎng)度被確定為使得第二攝像機(jī)可捕捉目標(biāo)區(qū)域的第二圖像，使得利用透視校正和滾動(dòng)中至少一個(gè)，第一圖像和第二圖像可變換為共同坐標(biāo)系。
[0113]在步驟404處，機(jī)械臂在目標(biāo)區(qū)域中執(zhí)行拾取動(dòng)作。拾取動(dòng)作可能干擾目標(biāo)區(qū)域中至少一個(gè)對(duì)象的位置。
[0114]在步驟406處，在拾取動(dòng)作之后，使用目標(biāo)區(qū)域上方的圖像傳感器來(lái)捕捉目標(biāo)區(qū)域的第二圖像。在目標(biāo)區(qū)域上方有至少一個(gè)圖像傳感器。例如，該至少一個(gè)圖像傳感器可為攝像機(jī)、激光掃描儀或者三維攝像機(jī)。該至少一個(gè)圖像傳感器可能并不嚴(yán)格地在目標(biāo)區(qū)域上方，而是在沒有充當(dāng)妨礙其它對(duì)象的視野的障礙物的對(duì)象或者傳感器的情況下能夠捕捉目標(biāo)區(qū)域圖像的位置處。[0115]在步驟408處，使用第一圖像與第二圖像的比較，判定目標(biāo)區(qū)域中至少一個(gè)無(wú)效區(qū)域。
[0116]在本發(fā)明一個(gè)實(shí)施方式中，在比較第一圖像與第二圖像之前，使用任一圖像相對(duì)于另一個(gè)圖像的透視變換和滾動(dòng)中至少一個(gè)，第一圖像和第二圖像變換為共同坐標(biāo)系。
[0117]在本發(fā)明一個(gè)實(shí)施方式中，多個(gè)區(qū)域由第一圖像和第二圖像形成。該多個(gè)區(qū)域可至少部分重疊或者不同。該區(qū)域可為第一圖像和第二圖像的整個(gè)區(qū)域的子集。第一圖像和第二圖像的區(qū)域可具有相同像素，然而，在第一圖像和第二圖像中像素值不同。利用窗口函數(shù)，該多個(gè)區(qū)域可由第一圖像和第二圖像的整個(gè)區(qū)域形成。例如，窗口函數(shù)可為矩形窗口函數(shù)，或者它可為高斯窗口函數(shù)?？蓮膱D像整個(gè)區(qū)域獲得給定區(qū)域，使得像素值乘以窗口函數(shù)值。非零像素值或者超過(guò)預(yù)定義閾值的像素值可從圖像整個(gè)區(qū)域選定到所述區(qū)域。不同區(qū)域可從圖像整個(gè)區(qū)域形成，使得形成對(duì)于不同域產(chǎn)生相同值的窗口函數(shù)。例如，該區(qū)域可為定義高度和寬度的像素塊，諸如，例如30X30像素。該多個(gè)區(qū)域在第一圖像和第二圖像中可具有相同像素并且可具有相同大小。
[0118]在本發(fā)明一個(gè)實(shí)施方式中，在比較之前，高斯核可用于使第一圖像和第二圖像中至少一個(gè)平滑化。平滑化可在從第一圖像和第二圖像形成的多個(gè)區(qū)域中執(zhí)行。
[0119]在本發(fā)明一個(gè)實(shí)施方式中，在比較之前，第一圖像和第二圖像可進(jìn)行高通濾波。區(qū)域可為定義高度和寬度的像素塊，諸如，例如30X30像素。
[0120]在本發(fā)明一個(gè)實(shí)施方式中，判定第一圖像中具有最高局部方差的區(qū)域?？商鎿Q地，可判定超過(guò)預(yù)定義局部方差閾值的區(qū)域。例如，使用公式
【權(quán)利要求】
1.一種方法，包括: 使用至少一個(gè)傳感器從目標(biāo)區(qū)域中獲得至少兩個(gè)傳感器測(cè)量值； 形成所述目標(biāo)區(qū)域的第一圖像； 基于所述至少兩個(gè)傳感器測(cè)量值中的至少第一傳感器測(cè)量值，在所述目標(biāo)區(qū)域中執(zhí)行第一分揀動(dòng)作； 形成所述目標(biāo)區(qū)域的第二圖像； 比較所述第一圖像與所述第二圖像以判定所述目標(biāo)區(qū)域中的無(wú)效區(qū)域，其中，所述第一圖像與所述第二圖像之間具有低相關(guān)性的區(qū)域被選定為所述無(wú)效區(qū)域；以及 在至少一個(gè)第二分揀動(dòng)作中避開所述目標(biāo)區(qū)域中的所述無(wú)效區(qū)域，所述第二分揀動(dòng)作是基于在所述至少兩個(gè)傳感器測(cè)量值中的至少第二傳感器測(cè)量值。
2.根據(jù)權(quán)利要求1所述的方法，其中，所述第一圖像通過(guò)使用第一攝像機(jī)捕捉所述目標(biāo)區(qū)域的圖像來(lái)形成，并且所述第二圖像通過(guò)使用第二攝像機(jī)捕捉所述目標(biāo)區(qū)域的圖像來(lái)形成。
3.根據(jù)權(quán)利要求2所述的方法，所述方法還包括: 使目標(biāo)區(qū)域位于其上的傳送帶運(yùn)行預(yù)定義長(zhǎng)度，所述預(yù)定義長(zhǎng)度對(duì)應(yīng)于所述第一攝像機(jī)與第二攝像機(jī)之間的距離。
4.根據(jù)權(quán)利要求3所述的方法，所述方法還包括: 使用透視校正，將所述第一圖像和所述第二圖像中至少一個(gè)變換為由所述第一圖像和所述第二圖像共享的坐標(biāo)系。
5.根據(jù)權(quán)利要求3所述的方法，所述方法還包括: 使用具有已知形狀的測(cè)試對(duì)象，判定所述透視校正。
6.根據(jù)權(quán)利要求5所述的方法，所述方法還包括: 當(dāng)所述傳送帶運(yùn)行時(shí)，使用所述第一攝像機(jī)捕捉多個(gè)第一測(cè)試圖像，并且使用所述第二攝像機(jī)捕捉多個(gè)第二測(cè)試圖像； 在表示所述測(cè)試對(duì)象的所述第一測(cè)試圖像和所述第二測(cè)試圖像中選擇最佳匹配圖像；以及 將所述傳送帶在兩個(gè)所述圖像之間已經(jīng)運(yùn)行的長(zhǎng)度記錄為所述預(yù)定義長(zhǎng)度。
7.根據(jù)前述權(quán)利要求中任一項(xiàng)所述的方法，其中，比較所述第一圖像與所述第二圖像的步驟還包括: 對(duì)于所述第一圖像和所述第二圖像中的至少一個(gè)進(jìn)行高通濾波。
8.根據(jù)前述權(quán)利要求中任一項(xiàng)所述的方法，其中，比較所述第一圖像與所述第二圖像的步驟還包括: 形成所述第一圖像和所述第二圖像的多個(gè)區(qū)域，所述多個(gè)區(qū)域?yàn)椴糠种丿B或者不同。
9.根據(jù)權(quán)利要求8所述的方法，其中，比較所述第一圖像與所述第二圖像的步驟還包括: 利用平滑函數(shù)，使所述多個(gè)區(qū)域中每個(gè)區(qū)域平滑化。
10.根據(jù)權(quán)利要求8或9所述的方法，其中，比較所述第一圖像與所述第二圖像的步驟還包括: 基于所述第一圖像與所述第二圖像之間的低相關(guān)性以及所述第一圖像內(nèi)的高方差，將多個(gè)區(qū)域判定為所述至少一個(gè)無(wú)效區(qū)域。
11.根據(jù)權(quán)利要求10所述的方法，其中，將多個(gè)區(qū)域判定為所述至少一個(gè)無(wú)效區(qū)域的步驟還包括: 對(duì)于每個(gè)區(qū)域，選擇所述第一圖像與所述第二圖像之間的最大相關(guān)性屈服位移；并且使用所述最大相關(guān)性屈服位移，對(duì)于每個(gè)區(qū)域，計(jì)算所述第一圖像與所述第二圖像之間的相關(guān)性。
12.根據(jù)前述權(quán)利要求中任一項(xiàng)所述的方法，其中，所述至少一個(gè)傳感器包括紅外傳感器和激光掃描儀。
13.根據(jù)權(quán)利要求1所述的方法，其中，所述攝像機(jī)為可見光攝像機(jī)、飛行時(shí)間三維攝像機(jī)、結(jié)構(gòu)化光三維攝像機(jī)或者紅外攝像機(jī)。
14.根據(jù)權(quán)利要求1所述的方法，其中，所述第一圖像和所述第二圖像使用單個(gè)三維攝像機(jī)來(lái)形成。
15.根據(jù)權(quán)利要求1所述的方法，其中，所述分揀動(dòng)作使用機(jī)械臂來(lái)執(zhí)行。
16.根據(jù)權(quán)利要求1所述的方法，其中，比較所述第一圖像與所述第二圖像以判定所述目標(biāo)區(qū)域中的至少一個(gè)無(wú)效區(qū)域的步驟還包括: 將與所述第一圖像或者所述第二圖像相關(guān)的高度圖指派為第一高度圖； 將與另一個(gè)所述圖像相關(guān)的高度圖指派為第二高度圖； 形成所述第一高度圖的上限表面； 形成所述第一高度圖的下限表面；以及 將在所述上限表面與所述下限表面之間所述第二高度圖不擬合的區(qū)域選定為所述至少一個(gè)無(wú)效區(qū)域。
17.一種設(shè)備，所述設(shè)備包括: 用于使用至少一個(gè)傳感器從目標(biāo)區(qū)域中獲得至少兩個(gè)傳感器測(cè)量值的裝置； 用于形成所述目標(biāo)區(qū)域的第一圖像的裝置； 用于基于所述至少兩個(gè)傳感器測(cè)量值中的至少第一傳感器測(cè)量值在所述目標(biāo)區(qū)域中執(zhí)行第一分揀動(dòng)作的裝置； 用于形成所述目標(biāo)區(qū)域的第二圖像的裝置； 用于比較所述第一圖像與所述第二圖像以判定所述目標(biāo)區(qū)域中無(wú)效區(qū)域的裝置，其中，所述第一圖像與所述第二圖像之間具有低相關(guān)性的區(qū)域被選定為所述無(wú)效區(qū)域；以及用于在至少一個(gè)第二分揀動(dòng)作中避開所述目標(biāo)區(qū)域中所述無(wú)效區(qū)域的裝置，所述第二分揀動(dòng)作是基于在所述至少兩個(gè)傳感器測(cè)量值中的至少第二傳感器測(cè)量值。
18.一種計(jì)算機(jī)程序，所述計(jì)算機(jī)程序包括代碼，當(dāng)在數(shù)據(jù)處理系統(tǒng)上執(zhí)行時(shí)，所述代碼適于引起處理器執(zhí)行以下步驟: 使用至少一個(gè)傳感器從目標(biāo)區(qū)域中獲得至少兩個(gè)傳感器測(cè)量值； 形成所述目標(biāo)區(qū)域的第一圖像； 基于所述至少兩個(gè)傳感器測(cè)量值中的至少第一傳感器測(cè)量值，在所述目標(biāo)區(qū)域中執(zhí)行第一分揀動(dòng)作； 形成所述目標(biāo)區(qū)域的第二圖像； 比較所述第一圖像與所述第二圖像以判定所述目標(biāo)區(qū)域中無(wú)效區(qū)域，其中，所述第一圖像與所述第二圖像之間具有低相關(guān)性的區(qū)域被選定為所述無(wú)效區(qū)域；以及 在至少一個(gè)第二分揀動(dòng)作中避開所述目標(biāo)區(qū)域中所述無(wú)效區(qū)域，所述第二分揀動(dòng)作是基于在所述至少兩個(gè)傳感器測(cè)量值中的至少第二傳感器測(cè)量值。
19.根據(jù)權(quán)利要求18所述的計(jì)算機(jī)程序，其中，所述計(jì)算機(jī)程序存儲(chǔ)于計(jì)算機(jī)可讀介質(zhì)上。
【文檔編號(hào)】G05B19/418GK103764304SQ201280027436
【公開日】2014年4月30日 申請(qǐng)日期:2012年3月28日 優(yōu)先權(quán)日:2011年4月5日
【發(fā)明者】哈里·瓦爾波拉, 圖奧馬斯·盧卡 申請(qǐng)人:澤恩機(jī)器人有限公司